Slovník výrazov AI/Bezpečnosť a súkromie

Bezpečnosť a súkromie

filtrovanie výstupu

Anglický výraz output filtering

pokročiléheslo č. 11375 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená filtrovanie výstupu?

Filtrovanie výstupu je kontrola a prípadná úprava alebo zablokovanie modelovej odpovede pred jej zobrazením či odovzdaním ďalšiemu systému. Môže hľadať citlivé údaje, zakázaný obsah, neplatnú schému alebo nebezpečné akcie.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Pred odoslaním e-mailu systém overí štruktúru, príjemcov, prítomnosť tajomstiev a povolenú doménu. Textový filter dopĺňa pravidlo, že model nemôže sám schváliť transakciu.

Overiteľnosť

Odborné zdroje

  1. OWASP - Top 10 for Large Language Model Applicationsgenai.owasp.org
  2. NIST - Zero Trust Architecturecsrc.nist.gov

Praktické odpovede

Často kladené otázky

Čo presne znamená filtrovanie výstupu?

Filtrovanie výstupu je kontrola a prípadná úprava alebo zablokovanie modelovej odpovede pred jej zobrazením či odovzdaním ďalšiemu systému.

Kedy sa filtrovanie výstupu používa?

Pred odoslaním e-mailu systém overí štruktúru, príjemcov, prítomnosť tajomstiev a povolenú doménu.

Od čoho treba filtrovanie výstupu odlíšiť?

Content filter sa sústreďuje na kategórie obsahu; output filtering zahŕňa aj technickú schému, tajomstvá a oprávnenia akcie.

Ako sa filtrovanie výstupu kontroluje?

Kontroluje sa záchyt a falošné blokovanie, viac jazykov, kódovanie, kontext, štruktúrované polia, logovanie a bezpečný fallback.

Aké obmedzenie má filtrovanie výstupu?

Filter môže byť obídený parafrázou a už vygenerovaný citlivý údaj sa môže dostať do interných logov pred blokovaním.