Presná definícia
Čo znamená dátový pipeline?
Dátový pipeline je opakovateľný sled závislých krokov, ktoré prenášajú, validujú a premieňajú dáta medzi zdrojom a spotrebiteľom. Má explicitné vstupy, výstupy, poradie, verzie kódu, pravidlá obnovy a pozorovateľnosť; nie je to iba jednorazový skript.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Banka zreťazí import transakcií, validáciu schémy, odstránenie identifikátorov, výpočet agregátov a zápis tréningovej verzie. Orchestrátor krok zopakuje len vtedy, keď je operácia idempotentná a vstup nezmenený.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje dátový pipeline?
Orchestrátor spúšťa uzly grafu podľa závislostí a odovzdáva medzi nimi verziované datasety alebo artefakty.
Kedy má dátový pipeline praktický význam?
Banka zreťazí import transakcií, validáciu schémy, odstránenie identifikátorov, výpočet agregátov a zápis tréningovej verzie.
S čím si pojem nezamieňať?
Dátový pipeline pripravuje a presúva dáta; trénovací pipeline navyše vytvára a hodnotí model.
Ako sa výsledok kontroluje?
Sleduje sa čerstvosť, úplnosť, schéma, čas behov, kontrolné súčty, zlyhané uzly a zhoda výstupu pri opakovaní.
Na čo si dať pozor?
Tichá zmena upstream schémy sa môže rozšíriť do všetkých ďalších krokov a vytvoriť platne vyzerajúci chybný dataset.