Slovník výrazov AI/Bezpečnosť a súkromie

Bezpečnosť a súkromie

adversariálny útok

Anglický výraz adversarial attack

základnéheslo č. 11055 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená adversariálny útok?

Adversariálny útok je zámerná manipulácia vstupu, dát, modelu alebo jeho prevádzky s cieľom narušiť dôvernosť, integritu alebo dostupnosť AI. Útok sa opisuje cieľom, fázou, znalosťou, prístupom a obmedzeniami útočníka.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Organizácia modeluje, či aktér môže meniť vstupy, prispievať do tréningových dát alebo iba volať API. Pre každý scenár určí preventívne kontroly, detekciu, limit dopadu a reakciu.

Overiteľnosť

Odborné zdroje

  1. NIST - Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigationsdoi.org
  2. MITRE - Adversarial Threat Landscape for AI Systems (ATLAS)atlas.mitre.org

Praktické odpovede

Často kladené otázky

Čo presne znamená adversariálny útok?

Adversariálny útok je zámerná manipulácia vstupu, dát, modelu alebo jeho prevádzky s cieľom narušiť dôvernosť, integritu alebo dostupnosť AI.

Kedy sa adversariálny útok používa?

Organizácia modeluje, či aktér môže meniť vstupy, prispievať do tréningových dát alebo iba volať API.

Od čoho treba adversariálny útok odlíšiť?

Adversariálny príklad je konkrétny manipulovaný vstup; adversariálny útok je širšia činnosť a stratégia protivníka.

Ako sa adversariálny útok kontroluje?

Test sa vykoná autorizovane, s presným rozsahom, kontrolnými prípadmi, adaptívnym variantom, logmi a bezpečným ukončením.

Aké obmedzenie má adversariálny útok?

Výsledok jedného útoku nemožno zovšeobecniť na všetkých protivníkov a zverejnenie detailov môže zvýšiť riziko zneužitia.