Presná definícia
Čo znamená red teaming?
Red teaming je autorizované adversariálne hodnotenie, pri ktorom tím napodobňuje realistických protivníkov alebo škodlivé použitia s cieľom odhaliť zlyhania pred incidentom. Zahŕňa pravidlá zapojenia, bezpečné prostredie, evidenciu a nápravu.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pred spustením agenta red team testuje únik dát, neprimerané nástrojové akcie, prompt injection a zneužitie oprávnení. Každé zistenie má závažnosť, reprodukciu, vlastníka opravy a regresný test.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená red teaming?
Red teaming je autorizované adversariálne hodnotenie, pri ktorom tím napodobňuje realistických protivníkov alebo škodlivé použitia s cieľom odhaliť zlyhania pred incidentom.
Kedy sa red teaming používa?
Pred spustením agenta red team testuje únik dát, neprimerané nástrojové akcie, prompt injection a zneužitie oprávnení.
Od čoho treba red teaming odlíšiť?
Penetračný test sa sústreďuje na technicky zneužiteľné zraniteľnosti; AI red teaming môže zahŕňať aj škodlivé výstupy a sociotechnické scenáre.
Ako sa red teaming kontroluje?
Kontroluje sa rozsah hrozieb, realistickosť, povolenie, bezpečnosť testu, pokrytie, reprodukovateľnosť, náprava a retest.
Aké obmedzenie má red teaming?
Jednorazový red team nemôže preukázať neprítomnosť neznámych slabín a môže zvýhodniť skúsenosti konkrétneho tímu.