Presná definícia
Čo znamená penalizácia frekvencie?
Penalizácia frekvencie znižuje logit kandidátneho tokenu úmerne počtu jeho doterajších výskytov v generovanom texte. Cieľom je obmedziť opakované používanie tých istých jednotiek; sila a presný vzorec sú vlastnosťou konkrétneho API. Účinok sa uplatňuje na tokeny, takže nemusí presne zodpovedať opakovaniu slov.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Používa sa pri dlhších odpovediach, ktoré sa vracajú k rovnakým frázam. Nastavenie sa skúša na typických textoch aj na úlohách, kde je opakovanie správne - tabuľky, citácie, mená a kód. Tím sleduje, či sa znížili slučky bez straty terminologickej presnosti, a uvádza hodnotu spolu s ostatnými parametrami.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje penalizácia frekvencie?
Pre každý kandidátny token sa od základného logitu odčíta koeficient násobený jeho doterajším počtom a až potom sa normalizuje distribúcia.
Kedy má penalizácia frekvencie praktický význam?
Používa sa pri dlhších odpovediach, ktoré sa vracajú k rovnakým frázam.
S čím si pojem nezamieňať?
Presence penalty trestá už samotnú prítomnosť tokenu bez ďalšieho rastu za každý výskyt; frekvenčná penalizácia rastie s počtom.
Ako sa výsledok kontroluje?
Meria sa opakovanie tokenov a n-gramov, lexikálna rozmanitosť, správnosť povinných názvov a úlohový výkon pri viacerých hodnotách.
Na čo si dať pozor?
Tokenové delenie môže penalizovať bežný fragment vo viacerých slovách; vysoká hodnota vedie k vyhýbaniu sa potrebným termínom.