Presná definícia
Čo znamená označenie?
Označenie je pozorovaná alebo priradená hodnota cieľovej premennej pri konkrétnej inštancii, z ktorej sa model s učiteľom učí požadovaný výstup. Môže pochádzať z merania, ľudského posúdenia, administratívneho záznamu alebo slabého pravidla. Nie je synonymom pravdy: nesie definíciu triedy, čas pozorovania, neistotu anotátora aj systematické chyby procesu, ktorý ho vytvoril.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri označovaní škodlivých komentárov sa pripraví manuál s hraničnými príkladmi a možnosťou „neisté“, nie iba dve tlačidlá. Časť položiek hodnotia viacerí anotátori; meria sa zhoda a spory rieši odborník podľa zaznamenaného dôvodu. Uchováva sa verzia pravidiel, pôvod a čas označenia, aby sa dali odlíšiť zmeny politiky od zhoršenia modelu. Výber komentárov má zahŕňať jazyky a skupiny z prevádzky. Pri hodnotení sa citlivosť výsledku preverí aj voči sporným označeniam, pretože vyššie skóre proti nekonzistentnej referencii nemusí znamenať lepšie rozhodovanie.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako sa označenie líši od cieľovej premennej?
Cieľ určuje predpovedaný koncept; označenie je jeho hodnota pri jednej inštancii.
Je označenie základná pravda?
Je referenciou pre učenie, ale môže byť neúplné, neisté alebo systematicky chybné.
Prečo merať zhodu anotátorov?
Odhaľuje nejasné pravidlá a prirodzenú subjektivitu úlohy.
Ako naložiť so spornou položkou?
Uchovať rozdelenie hlasov alebo príznak neistoty, nie spor násilne skryť.
Môže označenie spôsobiť únik údajov?
Áno, ak sa jeho budúca hodnota alebo odvodený záznam dostane medzi vstupné príznaky.