Presná definícia
Čo znamená únik údajov?
Únik údajov je použitie informácie pri tréningu alebo predikcii, ktorá by v deklarovanom čase rozhodnutia nebola dostupná, prípadne neprípustne prenikla z hodnotenia. Môže byť cieľový, časový, skupinový alebo procesný: napríklad príznak vytvorený po výsledku, imputácia z budúcnosti či kód zásahu reagujúceho na cieľ. Vedie k optimistickému odhadu a často sa skrýva v pôvode dát, nie v samotnom algoritme.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri modeli nesplácania sa pre každý príznak eviduje zdroj, čas vzniku a čas, keď ho systém skutočne poznal. Premenné ako dátum vymáhania alebo konečný stav účtu sa vylúčia, hoci silno korelujú s cieľom. Agregácie sa počítajú iba z minulosti a transformácie sa fitujú vo vnútri tréningových častí. Rozdelenie kopíruje okamih reálneho schvaľovania. Audit prejde najprediktívnejšie príznaky, nezvyčajne dobré metriky a rozdiel medzi offline a tieňovou prevádzkou. Oprava vyžaduje znovu vytvoriť dataset aj vyhodnotenie; odčítanie jedného stĺpca po ladení nestačí.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo je časový únik?
Vstup využije udalosť, ktorá nastala až po okamihu predikcie.
Čo je cieľový únik?
Príznak priamo alebo nepriamo kóduje výsledok, ktorý sa má predpovedať.
Ako úniku bráni pipeline?
Fit transformácií prebehne iba na tréningovej časti každého rozdelenia.
Je veľmi vysoké skóre dôkazom úniku?
Nie, ale je silným podnetom skontrolovať pôvod a dostupnosť príznakov.
Prečo model po úniku zlyhá v prevádzke?
Informácia, o ktorú sa opieral offline, pri skutočnom rozhodnutí chýba.