Presná definícia
Čo znamená filtrovanie dát?
Filtrovanie dát je výber alebo vyradenie záznamov podľa explicitných pravidiel kvality, rozsahu, licencie, bezpečnosti či relevancie. Filter má evidovať dôvod a počet zásahov, pretože mení cieľovú distribúciu a môže neúmyselne odstrániť ťažké prípady.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Tím pri korpuse vyradí poškodené súbory a dokumenty bez licencie, no nízke skóre kvality iba označí. Pred a po filtri porovná jazyky, regióny a typy dokumentov, aby očista nezúžila populáciu.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje filtrovanie dát?
Každé pravidlo vypočíta podmienku prijatia, zamietnutia alebo karantény a uloží rozhodnutie s verziou.
Kedy má filtrovanie dát praktický význam?
Tím pri korpuse vyradí poškodené súbory a dokumenty bez licencie, no nízke skóre kvality iba označí.
S čím si pojem nezamieňať?
Filtrovanie mení, ktoré riadky zostanú; čistenie môže hodnoty aj opraviť bez vyradenia celého záznamu.
Ako sa výsledok kontroluje?
Sledujú sa počty podľa pravidla, prieniky filtrov, distribúcie pred a po, ručný audit hraničných prípadov a downstream výkon.
Na čo si dať pozor?
Filter založený na modeli môže odstrániť neštandardný jazyk alebo menšinové dáta a zakryť skutočné zlyhania.