Slovník výrazov AI/Bezpečnosť a súkromie

Bezpečnosť a súkromie

otravovací útok

Anglický výraz poisoning attack

základnéheslo č. 11075 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená otravovací útok?

Otravovací útok zámerne vkladá, mení alebo vyberá dáta či spätnú väzbu tak, aby poškodil učenie modelu alebo doň vložil želané správanie. Môže cieliť celkový výkon, konkrétne prípady alebo skrytý spúšťač.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Pipeline oddelí externé príspevky od schválených dát, sleduje pôvod a náhle zhluky a pred tréningom vyžaduje kontroly integrity. Podozrivý zdroj možno vyradiť a model obnoviť z čistej verzie.

Overiteľnosť

Odborné zdroje

  1. NIST - Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigationsdoi.org
  2. MITRE - Adversarial Threat Landscape for AI Systems (ATLAS)atlas.mitre.org

Praktické odpovede

Často kladené otázky

Čo presne znamená otravovací útok?

Otravovací útok zámerne vkladá, mení alebo vyberá dáta či spätnú väzbu tak, aby poškodil učenie modelu alebo doň vložil želané správanie.

Kedy sa otravovací útok používa?

Pipeline oddelí externé príspevky od schválených dát, sleduje pôvod a náhle zhluky a pred tréningom vyžaduje kontroly integrity.

Od čoho treba otravovací útok odlíšiť?

Evasion mení vstup po natrénovaní; poisoning ovplyvňuje proces, z ktorého vzniknú parametre modelu.

Ako sa otravovací útok kontroluje?

Overí sa pôvod, oprávnenia na zápis, kontrolné súčty, distribučné anomálie, vplyv jednotlivých zdrojov a čistý referenčný tréning.

Aké obmedzenie má otravovací útok?

Malé množstvo strategických bodov môže prejsť bežnou kontrolou kvality a otrava sa môže prejaviť až pri úzkom cieli.