Presná definícia
Čo znamená pokyny pre anotáciu?
Pokyny pre anotáciu sú verziovaný pracovný dokument, ktorý pre každý štítok uvádza definíciu, rozhodovací postup, pozitívne a negatívne príklady, hraničné prípady a eskaláciu. Premieňajú abstraktnú taxonómiu na opakovateľné rozhodnutia ľudí.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri označovaní sťažností pilotná skupina zapisuje dôvody neistoty. Redaktor doplní kontrapríklady a rozhodovací strom; zmena verzie pokynov spustí opätovnú kontrolu položiek, ktorých sa nové pravidlo týka.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje pokyny pre anotáciu?
Anotátor podľa kritérií prechádza prípad, zaznamená voľbu alebo neistotu a sporné položky smerujú na adjudikáciu.
Kedy má pokyny pre anotáciu praktický význam?
Pri označovaní sťažností pilotná skupina zapisuje dôvody neistoty.
S čím si pojem nezamieňať?
Pokyny riadia aplikáciu značiek; datasheet dokumentuje vznik, zloženie a použitie celého datasetu.
Ako sa výsledok kontroluje?
Kontroluje sa úspech na kalibračnej sade, zhoda pred a po školení, typy otázok a rozdiely medzi verziami pokynov.
Na čo si dať pozor?
Nejasné alebo priebežne menené pravidlá vytvoria časové vrstvy štítkov, ktoré už nemajú rovnaký význam.