Slovník výrazov AI/Bezpečnosť a súkromie

Bezpečnosť a súkromie

otrávenie trénovacích dát

Anglický výraz training data poisoning

pokročiléheslo č. 11215 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená otrávenie trénovacích dát?

Otrávenie trénovacích dát je zámerná manipulácia záznamov, štítkov alebo zdrojového zastúpenia pred učením s cieľom zmeniť správanie výsledného modelu. Útok môže znižovať celkovú kvalitu alebo cieliť len konkrétnu triedu, osobu či spúšťač.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Tím prijíma externé dáta do karantény, uchováva pôvod a kontrolné súčty a porovnáva nové prírastky s historickými rozdeleniami. Podozrivý príspevok skúma cez vplyv na model a môže ho spätne odstrániť.

Overiteľnosť

Odborné zdroje

  1. NIST - Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigationsdoi.org
  2. Gu et al. - BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chainarxiv.org

Praktické odpovede

Často kladené otázky

Čo presne znamená otrávenie trénovacích dát?

Otrávenie trénovacích dát je zámerná manipulácia záznamov, štítkov alebo zdrojového zastúpenia pred učením s cieľom zmeniť správanie výsledného modelu.

Kedy sa otrávenie trénovacích dát používa?

Tím prijíma externé dáta do karantény, uchováva pôvod a kontrolné súčty a porovnáva nové prírastky s historickými rozdeleniami.

Od čoho treba otrávenie trénovacích dát odlíšiť?

Všeobecný poisoning môže zasiahnuť aj spätnú väzbu či federované aktualizácie; training data poisoning konkrétne manipuluje tréningovú kolekciu.

Ako sa otrávenie trénovacích dát kontroluje?

Kontroluje sa oprávnenie zdroja, zmeny štítkov, zhluky, duplicity, vplyv bodov, reprodukcia na čistej verzii a audit prírastkov.

Aké obmedzenie má otrávenie trénovacích dát?

Sofistikovaná otrava môže zostať v distribučných limitoch a bežné čistenie môže odstrániť legitímne zriedkavé prípady namiesto útoku.