Slovník výrazov AI/Bezpečnosť a súkromie

Bezpečnosť a súkromie

bezpečnostný klasifikátor

Anglický výraz safety classifier

pokročiléheslo č. 11395 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená bezpečnostný klasifikátor?

Bezpečnostný klasifikátor odhaduje, či vstup, výstup alebo plán akcie patrí do kategórie rizika definovanej bezpečnostnou politikou. Môže fungovať ako guardrail, ale jeho chyby a rozhodovací prah musia byť posudzované podľa následkov.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Pred vykonaním nástrojovej akcie klasifikátor označí možné zdieľanie citlivých dát. Vysoké riziko blokuje, neisté prípady posiela na potvrdenie a všetky zásahy sa spätne analyzujú.

Overiteľnosť

Odborné zdroje

  1. NIST - AI Risk Management Framework 1.0doi.org
  2. NIST - Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigationsdoi.org

Praktické odpovede

Často kladené otázky

Čo presne znamená bezpečnostný klasifikátor?

Bezpečnostný klasifikátor odhaduje, či vstup, výstup alebo plán akcie patrí do kategórie rizika definovanej bezpečnostnou politikou.

Kedy sa bezpečnostný klasifikátor používa?

Pred vykonaním nástrojovej akcie klasifikátor označí možné zdieľanie citlivých dát.

Od čoho treba bezpečnostný klasifikátor odlíšiť?

Content filter typicky rieši obsah; safety classifier môže posudzovať aj úmysel, kontext, akciu alebo systémový stav.

Ako sa bezpečnostný klasifikátor kontroluje?

Kontroluje sa taxonómia, referenčné štítky, záchyt kritických tried, false positives, kalibrácia, adversariálne vstupy a drift.

Aké obmedzenie má bezpečnostný klasifikátor?

Klasifikátor môže zdieľať slepé miesta s hlavným modelom a útočník môže prispôsobiť formuláciu známemu prahu.