Slovník výrazov AI/Bezpečnosť a súkromie

Bezpečnosť a súkromie

extrakcia modelu

Anglický výraz model extraction

základnéheslo č. 11105 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená extrakcia modelu?

Extrakcia modelu je útok, pri ktorom protivník z odpovedí rozhrania odhaduje funkciu, parametre alebo rozhodovacie hranice cieľového modelu. Výsledkom môže byť približná kópia, poznatok pre ďalší útok alebo odhalenie chráneného know-how.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Prevádzkovateľ API sleduje neobvyklé systematické dotazy, obmedzuje detail výstupu a rýchlosť a používa zmluvné aj technické kontroly. Reakcia rozlišuje výskum, legitímne dávkové použitie a podozrivú extrakciu.

Overiteľnosť

Odborné zdroje

  1. Tramèr et al. - Stealing Machine Learning Models via Prediction APIsusenix.org
  2. NIST - Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigationsdoi.org

Praktické odpovede

Často kladené otázky

Čo presne znamená extrakcia modelu?

Extrakcia modelu je útok, pri ktorom protivník z odpovedí rozhrania odhaduje funkciu, parametre alebo rozhodovacie hranice cieľového modelu.

Kedy sa extrakcia modelu používa?

Prevádzkovateľ API sleduje neobvyklé systematické dotazy, obmedzuje detail výstupu a rýchlosť a používa zmluvné aj technické kontroly.

Od čoho treba extrakcia modelu odlíšiť?

Bežné učenie z verejných dát nevypytuje cieľový model; extraction využíva jeho predikcie ako informačný zdroj.

Ako sa extrakcia modelu kontroluje?

Red team meria vernosť náhradného modelu, počet dotazov, citlivosť na skryté pravdepodobnosti a účinnosť limitov.

Aké obmedzenie má extrakcia modelu?

Silné obmedzenia môžu poškodiť legitímne použitie a aj jednoduché triedne odpovede môžu pri mnohých dotazoch prezradiť veľa.