Presná definícia
Čo znamená vyhladzovanie označení?
Vyhladzovanie označení nahrádza one-hot cieľ rozdelením, ktoré ponechá väčšinu hmotnosti správnej triede a malú časť pridelí ostatným. Cross-entropy tak netlačí logit správnej triedy k nekonečnému náskoku a môže znížiť prehnanú sebaistotu. Nejde o opravu chybných labelov: parameter smoothing zavádza konkrétny predpoklad o cieľovom rozdelení.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Používa sa pri viac-triedovej klasifikácii a sekvenčných modeloch. Tím musí overiť konvenciu knižnice: či sa ε rozdeľuje medzi všetky triedy alebo iba nesprávne. Pri paddingu a ignorovaných indexoch sa strata počíta len na platných tokenoch. Okrem presnosti sa sleduje log-loss a kalibrácia; smoothing môže zlepšiť generalizáciu, ale zmeniť pravdepodobnosti a sťažiť knowledge distillation. Hodnota sa ladí na validácii.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako sa zmení one-hot vektor?
Správna trieda dostane menej než 1 a zvyšok sa rozdelí medzi triedy.
Je rozdelenie ε univerzálne?
Nie, implementácie sa líšia zahrnutím správnej triedy.
Čo obmedzuje?
Tlak cross-entropy na extrémny rozdiel logitov.
Zaručí lepšie pravdepodobnosti?
Nie; treba priamo merať kalibračnú chybu a log-loss.
Ako s ignorovanými tokenmi?
Najprv sa maskujú, aby neprispeli ani vyhladeným cieľom.