Slovník výrazov AI/Bezpečnosť a súkromie

Bezpečnosť a súkromie

penetračné testovanie AI

Anglický výraz penetration testing for AI

pokročiléheslo č. 11295 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená penetračné testovanie AI?

Penetračné testovanie AI je autorizované praktické preverenie, či možno zneužiť zraniteľnosti modelovej aplikácie, infraštruktúry, API, nástrojov alebo dátových tokov. Má presný rozsah, limity dopadu a pravidlá pre ochranu získaných údajov.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Tester v izolovanom prostredí preverí autentifikáciu, oddelenie tenantov, prístup k modelom, injekcie promptu a eskaláciu nástrojov. Produkčné kroky podliehajú osobitnému povoleniu a bezpečnostným brzdám.

Overiteľnosť

Odborné zdroje

  1. NIST - Secure Software Development Frameworkcsrc.nist.gov
  2. MITRE - Adversarial Threat Landscape for AI Systems (ATLAS)atlas.mitre.org

Praktické odpovede

Často kladené otázky

Čo presne znamená penetračné testovanie AI?

Penetračné testovanie AI je autorizované praktické preverenie, či možno zneužiť zraniteľnosti modelovej aplikácie, infraštruktúry, API, nástrojov alebo dátových tokov.

Kedy sa penetračné testovanie AI používa?

Tester v izolovanom prostredí preverí autentifikáciu, oddelenie tenantov, prístup k modelom, injekcie promptu a eskaláciu nástrojov.

Od čoho treba penetračné testovanie AI odlíšiť?

Vulnerability assessment vyhľadáva potenciálne slabiny; penetration test kontrolovane overuje ich skutočnú zneužiteľnosť.

Ako sa penetračné testovanie AI kontroluje?

Posudzuje sa povolenie, rozsah, evidencia krokov, dopad, reprodukcia, ochrana dát, oprava a nezávislý retest.

Aké obmedzenie má penetračné testovanie AI?

Test môže narušiť službu alebo údaje, ak nemá bezpečné limity, a úspech mimo dohodnutého modelu hrozieb môže byť zavádzajúci.