Dáta pre AI

referenčná pravda

Anglický výraz ground truth

základnéheslo č. 9185 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená referenčná pravda?

Referenčná pravda je najlepšie dostupné cieľové označenie alebo meranie, voči ktorému sa model učí či hodnotí. Nie vždy je absolútnou pravdou: môže vzniknúť meraním, konsenzom expertov, adjudikáciou alebo neskorším pozorovaným výsledkom a musí uvádzať neistotu.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Pri predikcii poruchy sa za referenciu nepoužije hlásenie technika, ale potvrdený výsledok diagnostiky do 30 dní. Sporné prípady zostanú označené ako neisté a pri hodnotení sa analyzujú samostatne.

Overiteľnosť

Odborné zdroje

  1. Gebru et al. - Datasheets for Datasetsarxiv.org
  2. Artstein & Poesio - Inter-Coder Agreement for Computational Linguisticsaclanthology.org

Praktické odpovede

Často kladené otázky

Ako funguje referenčná pravda?

Definovaný postup prevedie pozorovanie alebo rozhodnutie expertov na cieľ a zachová jeho zdroj aj čas.

Kedy má referenčná pravda praktický význam?

Pri predikcii poruchy sa za referenciu nepoužije hlásenie technika, ale potvrdený výsledok diagnostiky do 30 dní.

S čím si pojem nezamieňať?

Referenčná pravda je konkrétny cieľ pre položku; zlatý dataset je kurátorovaná kolekcia takýchto položiek.

Ako sa výsledok kontroluje?

Auditujú sa zdroj a čas cieľa, slepé posúdenie, zhoda expertov, chybovosť merania a citlivosť metrík na neistotu.

Na čo si dať pozor?

Ak cieľ vzniká z rozhodnutia ovplyvneného starším modelom, spätná väzba môže zamaskovať jeho skutočné chyby.