Presná definícia
Čo znamená aktivácia ELU?
ELU je aktivačná funkcia, ktorá pre kladné vstupy vracia x a pre záporné α(eˣ-1). Záporná vetva je hladká, saturuje k -α a umožňuje záporné priemerné aktivácie. Oproti ReLU nemá nulovú zápornú vetvu, no exponenciálny výpočet je drahší a v hlbokej negatívnej saturácii gradient tiež slabne.
Skúsenosť a kontext
Ako sa pojem používa v praxi
ELU sa skúsi v sieti, kde je žiaduca hladká záporná odozva. Parameter α, inicializácia a normalizácia zostanú explicitné; aktivácie sa monitorujú pre hromadenie pri -α. Porovnanie s ReLU a GELU používa rovnaký počet krokov a ladený optimalizátor. Pri zmiešanej presnosti sa overí numerická stabilita exponenciálnej vetvy a export do cieľového runtime.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako sa správa pre x > 0?
Lineárne, ELU(x)=x.
Kam saturuje?
K hodnote -α.
Je na zápornom polopriestore nulový?
Nie, okrem asymptotického slabnutia v hlbokej saturácii.
Čo určuje α?
Dolnú asymptotu a mierku záporného výstupu.
Prečo je drahšia než ReLU?
Záporná vetva používa exponenciálu.