Slovník výrazov AI/Bezpečnosť a súkromie

Bezpečnosť a súkromie

model s trójskym koňom

Anglický výraz trojaned model

základnéheslo č. 11095 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená model s trójskym koňom?

Model s trójskym koňom je distribuovaný alebo nasadený model, ktorý obsahuje zámerne vloženú skrytú funkcionalitu, typicky zadné vrátka, popri očakávanom správaní. Riziko sa týka artefaktu aj jeho pôvodu, zostavenia a dodávateľského reťazca.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Tím nepreberie model iba podľa názvu repozitára. Overí digest, podpis, pôvod, licenciu a nezávislé testy a spúšťa ho najprv bez prístupu k citlivým systémom.

Overiteľnosť

Odborné zdroje

  1. Gu et al. - BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chainarxiv.org
  2. NIST - Secure Software Development Frameworkcsrc.nist.gov

Praktické odpovede

Často kladené otázky

Čo presne znamená model s trójskym koňom?

Model s trójskym koňom je distribuovaný alebo nasadený model, ktorý obsahuje zámerne vloženú skrytú funkcionalitu, typicky zadné vrátka, popri očakávanom správaní.

Kedy sa model s trójskym koňom používa?

Tím nepreberie model iba podľa názvu repozitára.

Od čoho treba model s trójskym koňom odlíšiť?

Backdoor je skrytý mechanizmus správania; trojaned model je kompromitovaný artefakt, ktorý ho nesie.

Ako sa model s trójskym koňom kontroluje?

Kontroluje sa reťazec pôvodu, reprodukovateľné zostavenie, váhy a konfigurácia, nečakané vrstvy, behaviorálne sondy a oprávnenia.

Aké obmedzenie má model s trójskym koňom?

Bez pôvodných dát a tréningového receptu nemožno neprítomnosť trojanu úplne potvrdiť iba prehliadkou váh.