Presná definícia
Čo znamená automatizované hodnotenie?
Automatizované hodnotenie používa program alebo model na výpočet skóre bez ručného posudku každého príkladu. Môže merať presnú zhodu, podobnosť, pravidlá či bezpečnostnú klasifikáciu, ale jeho platnosť závisí od zhody s cieľom a ľudským úsudkom.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pipeline po každej zmene spustí regresný balík, vypočíta faktickú zhodu a skontroluje zakázané údaje. Náhodnú vzorku zároveň pravidelne hodnotia ľudia, aby sa odhalil posun automatického skórovača.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená automatizované hodnotenie?
Automatizované hodnotenie používa program alebo model na výpočet skóre bez ručného posudku každého príkladu.
Kedy sa automatizované hodnotenie používa?
Pipeline po každej zmene spustí regresný balík, vypočíta faktickú zhodu a skontroluje zakázané údaje.
Od čoho treba automatizované hodnotenie odlíšiť?
Automatizované hodnotenie je spôsob vykonania; konkrétna metrika určuje, akú vlastnosť výstupu prekladá na číslo.
Ako sa automatizované hodnotenie kontroluje?
Skóre sa kalibruje na nezávislých ľudských posudkoch a testuje na hraničných, kontrastných aj zámerne chybných prípadoch.
Aké obmedzenie má automatizované hodnotenie?
Model môže optimalizovať povrchový znak metriky a získať vysoké skóre napriek vecne slabému výsledku.