Presná definícia
Čo znamená teplota?
Teplota pri dekódovaní je kladný parameter T, ktorým sa pred softmaxom delia logity. T<1 zostruje rozdelenie a uprednostňuje najpravdepodobnejšie tokeny, T>1 ho splošťuje a zvyšuje náhodnosť; pri limite T→0 sa správanie približuje výberu maxima. Teplota nemení naučené vedomosti ani neopravuje chybnú kalibráciu.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Nižšia teplota sa volí pri extrakcii a štruktúrovanom výstupe, vyššia pri tvorbe variantov. Nastavenie sa ladí spolu s top-p alebo top-k na úlohovom evale a zaznamenáva sa so semenom. Pri porovnávaní modelov sa používajú rovnaké dekódovacie pravidlá, inak sa mieša kvalita modelu s náhodnosťou výberu.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje teplota?
Softmax počíta exp(logit/T); zmena T mení pomery medzi kandidátmi bez zmeny ich základného poradia, ak sa neuplatnia ďalšie operácie.
Kedy má teplota praktický význam?
Nižšia teplota sa volí pri extrakcii a štruktúrovanom výstupe, vyššia pri tvorbe variantov.
S čím si pojem nezamieňať?
Top-k a top-p odstraňujú časť kandidátov; teplota ponecháva slovník, ale mení relatívnu ostrosť pravdepodobností.
Ako sa výsledok kontroluje?
Meria sa úspešnosť úlohy, rozmanitosť, entropia tokenov, opakovanie, platnosť formátu a variancia medzi semenami.
Na čo si dať pozor?
Vysoká teplota zvyšuje nezmyselné voľby, veľmi nízka môže opakovať stereotypný výstup; účinok nie je porovnateľný medzi rôzne kalibrovanými modelmi.