Slovník výrazov AI/Hodnotenie a metriky

Hodnotenie a metriky

bodové hodnotenie

Anglický výraz pointwise evaluation

základnéheslo č. 10115 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená bodové hodnotenie?

Bodové hodnotenie priradí každému výstupu samostatné skóre alebo kategóriu podľa pevnej stupnice, bez priameho porovnania s iným kandidátom. Umožňuje absolútne prahy, no vyžaduje dobre ukotvenú rubriku a zhodu medzi hodnotiteľmi.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Odpoveď asistenta dostane 0 až 3 body za faktickosť. Rubrika uvádza pozorovateľné podmienky každého bodu a kalibračné príklady; tím porovná rozdelenie skóre medzi verziami.

Overiteľnosť

Odborné zdroje

  1. NIST/SEMATECH - Statistical significanceitl.nist.gov
  2. NIST - AI Risk Management Framework 1.0doi.org

Praktické odpovede

Často kladené otázky

Čo presne znamená bodové hodnotenie?

Bodové hodnotenie priradí každému výstupu samostatné skóre alebo kategóriu podľa pevnej stupnice, bez priameho porovnania s iným kandidátom.

Kedy sa bodové hodnotenie používa?

Odpoveď asistenta dostane 0 až 3 body za faktickosť.

Od čoho treba bodové hodnotenie odlíšiť?

Párová metóda volí lepší z dvoch výstupov; bodová metóda posudzuje každý voči spoločnej stupnici.

Ako sa bodové hodnotenie kontroluje?

Sleduje sa zhoda hodnotiteľov, používanie celej stupnice, citlivosť na poradie a výsledky na kotviacich príkladoch.

Aké obmedzenie má bodové hodnotenie?

Rozdiel medzi susednými bodmi nemusí byť rovnaký a hodnotitelia môžu používať stupnicu odlišne.