Slovník výrazov AI/Bezpečnosť a súkromie

Bezpečnosť a súkromie

odolnosť voči adversariálnym útokom

Anglický výraz adversarial robustness

pokročiléheslo č. 11265 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená odolnosť voči adversariálnym útokom?

Odolnosť voči adversariálnym útokom je schopnosť modelu a systému zachovať definovanú funkciu pri zámerne manipulovaných vstupoch alebo podmienkach v rámci modelu hrozieb. Musí sa uvádzať voči konkrétnym schopnostiam a rozpočtu protivníka.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Tím reportuje čistú presnosť aj robustnú presnosť proti viacerým adaptívnym testom a fyzickým transformáciám. Model nasadí spolu s validáciou vstupu, možnosťou zdržať sa rozhodnutia a prevádzkovým monitorovaním.

Overiteľnosť

Odborné zdroje

  1. NIST - Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigationsdoi.org
  2. Cohen, Rosenfeld & Kolter - Certified Adversarial Robustness via Randomized Smoothingarxiv.org

Praktické odpovede

Často kladené otázky

Čo presne znamená odolnosť voči adversariálnym útokom?

Odolnosť voči adversariálnym útokom je schopnosť modelu a systému zachovať definovanú funkciu pri zámerne manipulovaných vstupoch alebo podmienkach v rámci modelu hrozieb.

Kedy sa odolnosť voči adversariálnym útokom používa?

Tím reportuje čistú presnosť aj robustnú presnosť proti viacerým adaptívnym testom a fyzickým transformáciám.

Od čoho treba odolnosť voči adversariálnym útokom odlíšiť?

Bežná robustnosť zahŕňa náhodný šum a posun; adversarial robustness hodnotí protivníka, ktorý cielene hľadá slabinu.

Ako sa odolnosť voči adversariálnym útokom kontroluje?

Použijú sa silné a adaptívne útoky, viac reštartov, nezávislá implementácia, kontrola gradient masking a realistické scenáre.

Aké obmedzenie má odolnosť voči adversariálnym útokom?

Odolnosť voči jednej norme alebo typu útoku sa neprenáša automaticky na sémantické, fyzické či systémové manipulácie.