Presná definícia
Čo znamená ALiBi?
ALiBi (Attention with Linear Biases) vkladá informáciu o polohe pridaním lineárneho záporného biasu k skóre pozornosti podľa vzdialenosti medzi tokenmi. Jednotlivé attention hlavy majú rôzne pevné sklony, takže niektoré uprednostňujú lokálny a iné širší kontext. Metóda nepoužíva samostatné absolútne pozičné embeddingy.
Skúsenosť a kontext
Ako sa pojem používa v praxi
ALiBi sa volí pri modeloch, ktoré majú pracovať aj s dĺžkami väčšími než počas tréningu. Implementácia musí správne vytvoriť kauzálne vzdialenosti a sklony pre počet hláv. Evaly porovnávajú kvalitu pri tréningovej aj extrapolovanej dĺžke a kontrolujú, či bias príliš nepotláča vzdialené relevantné dôkazy.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje ALiBi?
K surovému attention logitu sa pripočíta m_h·distance so záporným sklonom m_h; softmax potom systematicky zvýhodní bližšie pozície.
Kedy má ALiBi praktický význam?
ALiBi sa volí pri modeloch, ktoré majú pracovať aj s dĺžkami väčšími než počas tréningu.
S čím si pojem nezamieňať?
RoPE kóduje relatívnu pozíciu rotáciou vektorov, zatiaľ čo ALiBi nemení query ani key a upravuje ich skóre.
Ako sa výsledok kontroluje?
Kontroluje sa matica biasov, smer znamienka, kauzálna maska, výkon podľa vzdialenosti a extrapolácia na dlhšie vstupy.
Na čo si dať pozor?
Silná preferencia blízkosti môže oslabiť dlhé závislosti a úspech pri jednej dĺžke sa nemusí preniesť na výrazne dlhšie kontexty.