Presná definícia
Čo znamená hodnotiaci model?
Hodnotiaci model priraďuje odpovedi skóre, triedu alebo poradie podľa zadanej rubriky a niekedy referenčných odpovedí. Používa sa pri evaloch alebo výbere kandidátov. Jeho verdikt je meranie s vlastnou chybou, citlivosťou na poradie, štýl a identitu modelu.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri porovnaní dvoch chatbotov judge hodnotí faktickosť, úplnosť a dodržanie pokynu v náhodnom poradí. Vzorka sa dvojito anotuje ľuďmi a sleduje sa zhoda. Kritické metriky sa neopierajú iba o jedného modelového hodnotiteľa.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje hodnotiaci model?
Model spracuje kandidáta, rubriku, prípadný referenčný text a kontext a vráti štruktúrované skóre alebo párovú preferenciu.
Kedy má hodnotiaci model praktický význam?
Pri porovnaní dvoch chatbotov judge hodnotí faktickosť, úplnosť a dodržanie pokynu v náhodnom poradí.
S čím si pojem nezamieňať?
Reward model poskytuje tréningový signál pre optimalizáciu; judge model môže byť použitý iba pri hodnotení bez aktualizácie hodnoteného systému.
Ako sa výsledok kontroluje?
Kontroluje sa zhoda s ľuďmi, test-retest, order a verbosity bias, self-preference, kalibrácia, robustnosť promptu a medzihodnotiteľská zhoda.
Na čo si dať pozor?
Model môže uprednostniť vlastný štýl, dlhšiu odpoveď alebo sebavedomé tvrdenie a zmeniť verdikt pri prehodení poradia kandidátov.