Dáta pre AI

kvalita dát

Anglický výraz data quality

špecializovanéheslo č. 9505 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená kvalita dát?

Kvalita dát je vhodnosť údajov na konkrétny účel vyjadrená rozmermi, ako sú správnosť, úplnosť, konzistentnosť, jedinečnosť, aktuálnosť a reprezentatívnosť. Nie je jedným univerzálnym skóre: rovnaký dataset môže byť vhodný na agregáciu a nevhodný na rozhodovanie o jednotlivcovi.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Pred tréningom predikcie zásob tím stanoví testy rozsahov, chýbania, duplicít a oneskorenia podľa stĺpca. Výsledky sleduje aj po regiónoch; zlyhaný kritický test zastaví publikovanie novej verzie.

Overiteľnosť

Odborné zdroje

  1. TensorFlow - TensorFlow Data Validationtensorflow.org
  2. Breck et al. - The ML Test Scoreresearch.google

Praktické odpovede

Často kladené otázky

Ako funguje kvalita dát?

Profilovanie a pravidlá porovnávajú dáta so schémou, referenciami, historickým základom a požiadavkami použitia.

Kedy má kvalita dát praktický význam?

Pred tréningom predikcie zásob tím stanoví testy rozsahov, chýbania, duplicít a oneskorenia podľa stĺpca.

S čím si pojem nezamieňať?

Kvalita hodnotí vhodnosť a chyby dát; čistota je užší výsledok konkrétnych oprav a filtrov.

Ako sa výsledok kontroluje?

Použijú sa prahy s vlastníkom, trend v čase, vzorkové overenie reality, segmentové metriky a dopad na model.

Na čo si dať pozor?

Optimalizácia ľahko merateľných kontrol môže ignorovať nesprávne definície, chýbajúce skupiny alebo chybný cieľ.