Presná definícia
Čo znamená funkcia softmax?
Softmax prevádza vektor logitov zᵢ na kladné hodnoty exp(zᵢ)/Σⱼexp(zⱼ), ktoré sa sčítajú na jedna. Zachováva poradie logitov a je invariantný voči pripočítaniu rovnakej konštanty všetkým zložkám. Pre numerickú stabilitu sa od logitov odčíta maximum. Pravdepodobnostná interpretácia vyžaduje kalibráciu a platí vzhľadom na presne vymedzenú množinu tried.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri viac-triednej klasifikácii sa model trénuje cross-entropy priamo zo surových logitov, pretože knižnica vykoná stabilný log-softmax. Softmax sa používa až na zobrazenie pravdepodobností a výber triedy. Tím kontroluje správnu os, teplotnú kalibráciu a prípady mimo známych tried; vysoké maximum neznamená, že vstup patrí do tréningovej distribúcie. Pri maskovaní sa zakázané pozície vylúčia pred normalizáciou.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Na čo sa sčítajú výstupy?
Na jednotku pozdĺž zvolenej osi.
Prečo odčítať maximum?
Zabráni pretečeniu exponenciál pri zachovaní výsledku.
Musí sa softmax aplikovať pred cross-entropy?
Zvyčajne nie, stabilná strata ho obsahuje.
Je vhodný pre nezávislé štítky?
Nie, tam sa používajú samostatné sigmoidálne výstupy.
Dokazuje vysoká hodnota správnosť?
Nie, model môže byť nekalibrovaný alebo mimo distribúcie.