Dáta pre AI

manuálna anotácia

Anglický výraz manual annotation

základnéheslo č. 9125 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená manuálna anotácia?

Manuálna anotácia je vytváranie štítkov človekom, ktorý interpretuje dátovú jednotku podľa písomných pravidiel. Je vhodná tam, kde rozhoduje kontext alebo odbornosť; musí evidovať verziu pokynov, anotátora, nejasnosť a prípadné rozhodnutie arbitra.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Právne dokumenty označujú vyškolení anotátori po vetách a pri neistote vyberú dôvod. Sporné prípady posúdi seniorný právnik; výsledný štítok sa neprepíše bez zachovania pôvodných hlasov.

Overiteľnosť

Odborné zdroje

  1. Artstein & Poesio - Inter-Coder Agreement for Computational Linguisticsaclanthology.org
  2. Bender & Friedman - Data Statements for NLPaclanthology.org

Praktické odpovede

Často kladené otázky

Ako funguje manuálna anotácia?

Človek prečíta alebo prezrie jednotku, zvolí značku a systém uloží rozhodnutie spolu s auditnou stopou.

Kedy má manuálna anotácia praktický význam?

Právne dokumenty označujú vyškolení anotátori po vetách a pri neistote vyberú dôvod.

S čím si pojem nezamieňať?

Manuálna anotácia pochádza priamo od človeka; automatická anotácia je návrh alebo výsledok algoritmu.

Ako sa výsledok kontroluje?

Overuje sa kalibračná sada, zhoda medzi ľuďmi, presnosť oproti adjudikácii, čas na položku a systematické rozdiely.

Na čo si dať pozor?

Únava, nedostatok kontextu a odlišné chápanie pokynov môžu vytvoriť konzistentnú, no chybnú skupinu štítkov.