Presná definícia
Čo znamená logity?
Logity sú nesnormalizované reálne skóre modelu pred aplikáciou softmaxu alebo inej výstupnej transformácie. V jazykovom modeli je pre každý krok jeden logit na položku slovníka; rozdiely logitov určujú pomery pravdepodobností. Ich absolútny posun o rovnakú konštantu softmax nezmení, preto ich nemožno čítať ako pravdepodobnosti.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Používajú sa pri výbere tokenu, kalibrácii, filtrovaní a výpočte krížovej entropie. Pred softmaxom možno aplikovať teplotu, masku zakázaných tokenov alebo penalizácie. Diagnostika kontroluje konečné hodnoty, rozsah, poradie top tokenov a stabilný výpočet po odčítaní maxima, najmä pri nižšej presnosti.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje logity?
Výstupná projekcia prevedie skrytý stav na vektor skóre; softmax exponenciálne normalizuje tieto hodnoty na súčet jedna.
Kedy má logity praktický význam?
Používajú sa pri výbere tokenu, kalibrácii, filtrovaní a výpočte krížovej entropie.
S čím si pojem nezamieňať?
Pravdepodobnosť je normalizovaný výstup závislý od všetkých logitov, kým logit je iba nesnormalizované skóre jednej možnosti.
Ako sa výsledok kontroluje?
Kontroluje sa zhoda softmaxu, numerická stabilita, poradie kandidátov, rozsah hodnôt a výsledok po aplikácii masiek a penalizácií.
Na čo si dať pozor?
Extrémne logity môžu spôsobiť numerické pretečenie; nesprávne poradie operácií zmení distribúciu a sťažuje reprodukciu.