Presná definícia
Čo znamená skreslenie hodnotenia?
Skreslenie hodnotenia vzniká, keď dataset, metrika, hodnotitelia alebo protokol systematicky zvýhodňujú určité systémy či prípady a neodrážajú cieľové použitie. Výsledok môže byť reprodukovateľný, ale nesprávne generalizovaný.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Slovenský chatbot sa nevyhodnocuje iba na anglických benchmarkoch. Tím pridá miestne dialógy, kritické úlohy, skupinové segmenty a ľudských hodnotiteľov oboznámených s kontextom.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená skreslenie hodnotenia?
Skreslenie hodnotenia vzniká, keď dataset, metrika, hodnotitelia alebo protokol systematicky zvýhodňujú určité systémy či prípady a neodrážajú cieľové použitie.
Kedy sa skreslenie hodnotenia používa?
Slovenský chatbot sa nevyhodnocuje iba na anglických benchmarkoch.
Od čoho treba skreslenie hodnotenia odlíšiť?
Dataset bias môže ovplyvniť učenie; evaluation bias sa týka spôsobu, ktorým sa kvalita vyhlasuje a porovnáva.
Ako sa skreslenie hodnotenia kontroluje?
Audit porovná cieľové použitie s úlohami, populáciou, rubrikou, metrikami, anotátormi, agregáciou a kontamináciou.
Aké obmedzenie má skreslenie hodnotenia?
Model možno optimalizovať na test, ktorý meria ľahko skórovateľnú náhradu namiesto reálnej užitočnosti alebo bezpečnosti.