Presná definícia
Čo znamená stochastická hĺbka?
Stochastická hĺbka počas tréningu náhodne vynecháva celé reziduálne vetvy a ponecháva skratkovú cestu, takže každý krok používa sieť s inou efektívnou hĺbkou. Pri inferencii sa aktivujú všetky bloky a ich príspevok sa škáluje podľa použitej konvencie. Metóda regularizuje ko-adaptáciu vrstiev a skracuje priemernú tréningovú cestu bez zmenšenia finálneho modelu.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Používa sa v hlbokých ResNetoch a vizuálnych transformátoroch pod názvom drop path. Pravdepodobnosť vynechania často rastie s hĺbkou bloku; maska sa zvyčajne zdieľa cez všetky priestorové pozície jednej vzorky. Tím overí train/eval režim a škálovanie očakávanej aktivácie jednotkovým testom. Príliš vysoký drop rate môže nechať neskoré bloky slabo natrénované. Pri porovnaní sa uvádza maximálna aj priemerná hĺbka počas učenia.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo sa vynecháva?
Celá reziduálna vetva alebo blok pre danú vzorku.
Prečo sieť zostane funkčná?
Identitná alebo projekčná cesta naďalej prenesie reprezentáciu.
Sú bloky náhodne vypínané?
Nie, bežne sa používajú všetky s príslušným škálovaním.
Je to ten istý pojem?
V moderných architektúrach zvyčajne označuje rovnaké vynechávanie vetvy.
Prečo meniť pravdepodobnosť po vrstvách?
Neskorším blokom možno priradiť väčšiu regularizáciu než skorým.