Slovník výrazov AI/Hodnotenie a metriky

Hodnotenie a metriky

ľudské hodnotenie

Anglický výraz human evaluation

základnéheslo č. 10085 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená ľudské hodnotenie?

Ľudské hodnotenie je zber štruktúrovaných posudkov od ľudí podľa rubriky, školenia a protokolu. Používa sa tam, kde kvalitu nemožno spoľahlivo odvodiť z automatickej metriky, napríklad pri užitočnosti, štýle alebo kontextovej správnosti odpovede.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Dvaja vyškolení hodnotitelia anonymne posúdia odpovede podľa správnosti, úplnosti a citácií. Nezhody rieši tretí posudzovateľ; tím zverejní zhodu aj príklady hraničných rozhodnutí.

Overiteľnosť

Odborné zdroje

  1. NIST - AI Risk Management Framework 1.0doi.org
  2. European Commission - Ethics Guidelines for Trustworthy AIdigital-strategy.ec.europa.eu

Praktické odpovede

Často kladené otázky

Čo presne znamená ľudské hodnotenie?

Ľudské hodnotenie je zber štruktúrovaných posudkov od ľudí podľa rubriky, školenia a protokolu.

Kedy sa ľudské hodnotenie používa?

Dvaja vyškolení hodnotitelia anonymne posúdia odpovede podľa správnosti, úplnosti a citácií.

Od čoho treba ľudské hodnotenie odlíšiť?

Používateľský prieskum zbiera skúsenosť respondenta; ľudské hodnotenie posudzuje konkrétny výstup podľa rubriky.

Ako sa ľudské hodnotenie kontroluje?

Kontroluje sa zaslepenie, poradie, školenie, zhodnosť hodnotiteľov, reprezentatívnosť a konflikty záujmov.

Aké obmedzenie má ľudské hodnotenie?

Únava, kultúrne rozdiely, nejasná rubrika a poznanie autora môžu systematicky meniť verdikty.