Presná definícia
Čo znamená ortogonálna inicializácia?
Ortogonálna inicializácia nastaví maticu váh tak, aby jej riadky alebo stĺpce tvorili ortonormálny systém po zohľadnení tvaru, často pomocou QR rozkladu náhodnej matice. Taká transformácia zachováva normu v podporovanom podpriestore a môže stabilizovať hlboké lineárne či rekurentné siete. Pri obdĺžnikovej vrstve nemožno súčasne ortogonalizovať oba smery.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pre rekurentnú maticu sa vytvorí ortogonálny blok a násobí zvoleným gainom. Tím numericky overí WᵀW alebo WWᵀ podľa rozmerov, potom sleduje singular values Jacobianov počas prvých krokov. Ortogonálny štart sa porovná s Xavierovým pri rovnakých seedoch. Výhoda po inicializácii sa nemusí zachovať počas tréningu, ak sa ortogonalita explicitne neobmedzuje.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo znamená ortogonálna matica?
Jej príslušný Gramov súčin je jednotková matica.
Môžu byť ortonormálne riadky aj stĺpce?
Nie, ak sa ich počty líšia.
Prečo sa matica škáluje?
Prispôsobí normu aktivačnej funkcii alebo dynamike.
Zostane ortogonálna navždy?
Nie bez osobitného obmedzenia.
Kde býva užitočná?
V hlbokých lineárnych a rekurentných transformáciách.