Presná definícia
Čo znamená aktivácia Swish?
Swish je hladká aktivačná funkcia x·σ(βx); pri β=1 sa v knižniciach často nazýva SiLU. Nie je monotónna v malej zápornej oblasti a na rozdiel od ReLU prepúšťa záporné hodnoty. Parameter β môže byť pevný alebo učený podľa variantu. Hladkosť môže pomôcť optimalizácii, no neznamená univerzálne zlepšenie oproti ReLU či GELU.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri novom konvolučnom modeli sa použije SiLU s β=1 a inicializácia vhodná pre danú architektúru. Benchmark zahŕňa rovnaký tréning s ReLU, presnosť, čas a podporu cieľového hardvéru. Ak sa používa učené β, uloží sa ako parameter a sleduje jeho stabilita. Pri kvantizácii sa overí chyba aproximácie, pretože zložitejšia hladká funkcia môže mať inú implementačnú cenu.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako sa počíta základný Swish?
x násobené sigmoidou vstupu.
Je SiLU to isté?
Bežne označuje Swish s pevným β=1.
Je funkcia monotónna?
Nie, v malej zápornej oblasti má mierny pokles.
Musí sa β učiť?
Nie, často je pevne jedna.
Je vždy lepšia než ReLU?
Nie, prínos závisí od modelu, dát a hardvéru.