Slovník výrazov AI/Bezpečnosť a súkromie

Bezpečnosť a súkromie

adversariálny príklad

Anglický výraz adversarial example

základnéheslo č. 11045 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená adversariálny príklad?

Adversariálny príklad je vstup úmyselne upravený tak, aby model urobil želanú chybu, hoci úprava spĺňa podmienky zvoleného modelu hrozieb. Jeho význam závisí od typu zmeny, rozpočtu, znalostí útočníka a realizovateľnosti vo fyzickom svete.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Tím pri obrazovom modeli testuje obmedzené digitálne aj tlačené zmeny a hodnotí úspech na viacerých zariadeniach. Vzorky používa na diagnostiku, nie ako dôkaz všeobecnej odolnosti.

Overiteľnosť

Odborné zdroje

  1. NIST - Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigationsdoi.org
  2. Cohen, Rosenfeld & Kolter - Certified Adversarial Robustness via Randomized Smoothingarxiv.org

Praktické odpovede

Často kladené otázky

Čo presne znamená adversariálny príklad?

Adversariálny príklad je vstup úmyselne upravený tak, aby model urobil želanú chybu, hoci úprava spĺňa podmienky zvoleného modelu hrozieb.

Kedy sa adversariálny príklad používa?

Tím pri obrazovom modeli testuje obmedzené digitálne aj tlačené zmeny a hodnotí úspech na viacerých zariadeniach.

Od čoho treba adversariálny príklad odlíšiť?

Bežný ťažký príklad môže byť prirodzene nejednoznačný; adversariálny príklad je vytvorený so zámerom vyvolať chybu.

Ako sa adversariálny príklad kontroluje?

Kontroluje sa pôvodný správny výsledok, povolená zmena, cieľ útoku, prenositeľnosť, opakovateľnosť a vnímateľnosť.

Aké obmedzenie má adversariálny príklad?

Matematicky malá perturbácia nemusí byť v doméne realistická a naopak významovo malá zmena nemusí mať malú normu.