Slovník výrazov AI/Bezpečnosť a súkromie

Bezpečnosť a súkromie

útok zadnými vrátkami

Anglický výraz backdoor attack

základnéheslo č. 11085 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená útok zadnými vrátkami?

Útok zadnými vrátkami vytvorí v modeli skryté správanie, ktoré sa aktivuje špecifickým spúšťačom, zatiaľ čo na bežných vstupoch zostáva výkon zdanlivo normálny. Zadné vrátka môžu vzniknúť otravou dát alebo kompromitovaným modelom.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Organizácia pri preberaní cudzieho modelu overuje pôvod, podpis a správanie na kontrolných aj systematicky generovaných spúšťačoch. Citlivé nasadenie vyžaduje izolovaný test a možnosť model rýchlo odvolať.

Overiteľnosť

Odborné zdroje

  1. Gu et al. - BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chainarxiv.org
  2. NIST - Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigationsdoi.org

Praktické odpovede

Často kladené otázky

Čo presne znamená útok zadnými vrátkami?

Útok zadnými vrátkami vytvorí v modeli skryté správanie, ktoré sa aktivuje špecifickým spúšťačom, zatiaľ čo na bežných vstupoch zostáva výkon zdanlivo normálny.

Kedy sa útok zadnými vrátkami používa?

Organizácia pri preberaní cudzieho modelu overuje pôvod, podpis a správanie na kontrolných aj systematicky generovaných spúšťačoch.

Od čoho treba útok zadnými vrátkami odlíšiť?

Všeobecný poisoning znižuje alebo presúva výkon; backdoor cieli podmienené správanie viazané na spúšťač.

Ako sa útok zadnými vrátkami kontroluje?

Kontroluje sa čistá presnosť, úspech známych a obmenených triggerov, aktivácie, pôvod tréningu a opakovanie po očistení.

Aké obmedzenie má útok zadnými vrátkami?

Neznámy spúšťač sa ťažko hľadá a model môže prejsť štandardným benchmarkom bez jediného prejavu kompromitácie.