Presná definícia
Čo znamená dropout?
Dropout počas tréningu náhodne nuluje aktivácie s pravdepodobnosťou p a zostávajúce zvyčajne škáluje faktorom 1/(1-p), aby sa zachovala očakávaná hodnota. Pri inferencii sa maska vypne. Pôsobí ako stochastická regularizácia a obmedzuje spoluzávislosť jednotiek, no nehodí sa rovnako do každej architektúry a interaguje s normalizáciou.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Do klasifikačnej hlavy sa dropout vloží medzi skryté vrstvy a p sa ladí na validácii. Tím overí, že v tréningovom režime sa dva prechody líšia a v evaluačnom sú zhodné. Sleduje medzeru medzi tréningovou a validačnou chybou; vyššie p nie je automaticky lepšie. Pri Monte Carlo dropoute sa zámerne ponechá náhodnosť pri inferencii, no taký režim sa musí oddeliť od bežnej predikcie.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo sa náhodne nuluje?
Aktivácie jednotiek alebo prvkov podľa variantu.
Prečo 1/(1-p)?
Zachová približnú očakávanú hodnotu aktivácie.
Je dropout aktívny?
Bežne nie; model musí byť v evaluačnom režime.
Čo znamená p?
Pravdepodobnosť vypnutia, nie ponechania, v bežných API.
Čo je Monte Carlo dropout?
Viac náhodných inferencií používaných ako aproximácia neistoty.