Presná definícia
Čo znamená sigmoidálna funkcia?
Sigmoidálna logistická funkcia σ(x)=1/(1+e⁻ˣ) mapuje reálne číslo do intervalu (0,1). Je vhodná na parametrizáciu Bernoulliho pravdepodobnosti alebo brán, no pri veľkých absolútnych vstupoch saturuje a jej derivácia sa blíži k nule. Výstupy nie sú navzájom normalizované, preto sa pri viacoznačkovej klasifikácii používa jedna sigmoida na každý nezávislý logit.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri predikcii viacerých súčasne platných štítkov vracia sieť jeden logit na štítok a numericky stabilná binary cross-entropy kombinuje sigmoidálnu transformáciu so stratou. Prahy sa nastavujú na validácii osobitne podľa ceny chýb. Tím neaplikuje sigmoid dvakrát a sleduje saturáciu logitov. Pri skrytých vrstvách uprednostní nesaturujúce aktivácie, ak nie je dôvod používať brány.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Aké hodnoty vracia?
Čísla striktne medzi nulou a jednotkou.
Je každý sigmoidový výstup kalibrovaný?
Nie, potrebuje vhodný tréning a overenie kalibrácie.
Sčítajú sa výstupy na jedna?
Nie, na to slúži softmax.
Kedy gradient slabne?
Pri veľmi kladných alebo záporných vstupoch.
Prečo používať BCE s logits?
Je numericky stabilnejšia než samostatná sigmoida a logaritmus.