Dáta pre AI

prijímanie dát

Anglický výraz data ingestion

základnéheslo č. 9045 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená prijímanie dát?

Prijímanie dát je vstupná vrstva, ktorá dopravuje dávkové alebo prúdové udalosti zo zdrojov do dátovej platformy. Riadi formát, čas udalosti, opakovanie, poradie, schému a chybové fronty tak, aby sa dáta nestrácali ani nekopírovali bez kontroly.

Skúsenosť a kontext

Ako sa pojem používa v praxi

E-shop prijíma kliknutia cez front udalostí. Každá udalosť má identifikátor a čas vzniku; duplicitné doručenie sa zneškodní a neplatné záznamy idú do karantény s dôvodom, nie priamo do tréningovej tabuľky.

Overiteľnosť

Odborné zdroje

  1. TensorFlow - Understanding TFX Pipelinestensorflow.org
  2. Xin et al. - Production Machine Learning Pipelinesresearch.google

Praktické odpovede

Často kladené otázky

Ako funguje prijímanie dát?

Konektory čítajú zdroje, serializujú záznamy a zapisujú ich dávkovo alebo priebežne s potvrdením spracovania.

Kedy má prijímanie dát praktický význam?

E-shop prijíma kliknutia cez front udalostí.

S čím si pojem nezamieňať?

Ingestion dopravuje dáta dovnútra; transformácia mení ich hodnoty alebo štruktúru na ďalšie použitie.

Ako sa výsledok kontroluje?

Meria sa oneskorenie, strata a duplicita správ, úspešnosť zápisu, kompatibilita schémy a veľkosť chybovej fronty.

Na čo si dať pozor?

Nesprávna práca s opakovaným doručením alebo časom udalosti môže skresliť frekvencie a poradie javov.