Presná definícia
Čo znamená zhoda anotátorov?
Zhoda anotátorov je miera, do akej nezávislí ľudia priraďujú tým istým položkám rovnaké alebo podobné značky nad rámec náhody. Voľba metriky závisí od počtu anotátorov, typu škály, chýbajúcich hodnotení a nerovnováhy tried.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri pilotnej anotácii tím vypočíta Krippendorffovo alfa pre ordinálne hodnotenie a zároveň zobrazí maticu nezhôd. Nízku zhodu pri jednej triede rieši úpravou definície, nie iba spriemerovaním celkového čísla.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje zhoda anotátorov?
Viacerí anotátori označia prekrývajúcu sa vzorku a štatistika porovná pozorovanú nezhodu s očakávanou náhodou.
Kedy má zhoda anotátorov praktický význam?
Pri pilotnej anotácii tím vypočíta Krippendorffovo alfa pre ordinálne hodnotenie a zároveň zobrazí maticu nezhôd.
S čím si pojem nezamieňať?
Zhoda meria konzistentnosť medzi ľuďmi; presnosť vyžaduje nezávislé referenčné označenie alebo adjudikáciu.
Ako sa výsledok kontroluje?
Uvádza sa metrika, interval neistoty, prevalencia tried, počet položiek a matica typov nezhôd.
Na čo si dať pozor?
Vysoká zhoda môže znamenať aj spoločné nepochopenie pravidla; nízka zhoda môže odrážať skutočnú neurčitosť javu.