Presná definícia
Čo znamená aktivácia GELU?
GELU, Gaussian Error Linear Unit, násobí vstup hodnotou štandardnej normálnej distribučnej funkcie: GELU(x)=xΦ(x). Na rozdiel od ReLU nevytvára tvrdý prah, ale plynule váži vstupy podľa ich veľkosti; malé záporné hodnoty môžu prejsť. Často sa používa v transformeroch a môže sa počítať presne alebo aproximáciou, čo treba zhodnotiť pri exporte.
Skúsenosť a kontext
Ako sa pojem používa v praxi
V transformačnom bloku sa GELU ponechá podľa predtrénovanej architektúry; svojvoľná výmena za ReLU by zmenila kompatibilitu checkpointu. Pri novom modeli sa porovná presná a tanh aproximácia z hľadiska rýchlosti, numerickej odchýlky a validačného výkonu. Tím overí implementáciu pri zmiešanej presnosti a zaznamená variant aproximácie, aby tréning a inferenčný engine počítali rovnakú funkciu.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo znamená Φ(x)?
Distribučnú funkciu štandardného normálneho rozdelenia.
Má tvrdú nulu ako ReLU?
Nie, prechod je hladký.
Môžu prejsť?
Áno, malé záporné vstupy majú záporný nenulový výstup.
Prečo existuje?
Presná Φ môže byť drahšia; často sa používa tanh aproximácia.
Možno ju vymeniť bez pretrénovania?
Nie bezpečne, zmenila by výpočet predtrénovaného modelu.