Presná definícia
Čo znamená penalizácia opakovania?
Penalizácia opakovania je dekódovacia úprava, ktorá znižuje skóre tokenov už prítomných v generovanom alebo zadanom texte podľa implementačne špecifického pravidla. V niektorých knižniciach sa kladné a záporné logity násobia či delia koeficientom. Nie je štandardizovaná a nemožno ju zamieňať s frekvenčnou penalizáciou.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Používa sa pri modeloch náchylných na slučky, najmä v otvorenom generovaní. Koeficient sa ladí na dlhých výstupoch a kontroluje sa správne opakovanie mien, kódu a odborných termínov. Dokumentácia musí uviesť knižnicu, verziu, rozsah tokenov a poradie voči top-k/top-p, inak sa nastavenie nedá preniesť.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje penalizácia opakovania?
Pred výberom ďalšieho tokenu sa logit položky, ktorá už bola v sledovanej sekvencii, upraví koeficientom a potom sa vykonajú ďalšie filtre.
Kedy má penalizácia opakovania praktický význam?
Používa sa pri modeloch náchylných na slučky, najmä v otvorenom generovaní.
S čím si pojem nezamieňať?
Frequency penalty rastie s počtom výskytov a presence penalty typicky reaguje binárne; repetition penalty môže používať odlišné násobkové pravidlo.
Ako sa výsledok kontroluje?
Sleduje sa miera n-gramového opakovania, úlohová presnosť, zachovanie povinných termínov a zmeny kandidátov pred a po penalizácii.
Na čo si dať pozor?
Príliš silné nastavenie poškodí gramatiku, konzistentné názvy, refrény alebo kód a môže vyvolať neprirodzené synonymá.