Promptovanie

obídenie ochranných pravidiel (jailbreak)

Anglický výraz jailbreak

špecializovanéheslo č. 5965 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená obídenie ochranných pravidiel (jailbreak)?

Jailbreak je pokus vyvolať správanie, ktoré modelové alebo aplikačné ochranné pravidlá zakazujú, pomocou manipulatívnej formulácie, hrania rolí, kódovania alebo viacťahového kontextu. Pojem opisuje cieľ útoku, nie záruku úspechu. Obrana musí sledovať výsledný zámer a dopad, nielen konkrétne frázy.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Bezpečnostný tím používa kontrolované testy s neškodnými zástupnými cieľmi, aby overil konzistentnosť odmietnutia a zachovanie užitočnej alternatívy. Produkcia kombinuje trénovanie, klasifikátory, obmedzenia nástrojov a monitoring. Nové vzory sa zaznamenajú ako regresné prípady bez zverejňovania použiteľných návodov na obchádzanie.

Overiteľnosť

Odborné zdroje

  1. NIST AI 100-2e2025 - Adversarial Machine Learningdoi.org
  2. OWASP - Prompt Injection Prevention Cheat Sheetcheatsheetseries.owasp.org

Praktické odpovede

Často kladené otázky

Ako funguje obídenie ochranných pravidiel (jailbreak)?

Útočný prompt vytvára konflikt alebo maskuje zakázaný cieľ tak, aby model nesprávne zmenil klasifikáciu či prioritu pokynu.

Kedy má obídenie ochranných pravidiel (jailbreak) praktický význam?

Bezpečnostný tím používa kontrolované testy s neškodnými zástupnými cieľmi, aby overil konzistentnosť odmietnutia a zachovanie užitočnej alternatívy.

S čím si pojem nezamieňať?

Prompt injection môže presmerovať ľubovoľnú úlohu; jailbreak sa špecificky snaží prekonať ochranné obmedzenie výstupu alebo akcie.

Ako sa výsledok kontroluje?

Meria sa attack success rate, správnosť odmietnutia, neškodná užitočnosť, viacťahová odolnosť a skutočné oprávnenia nástrojov.

Na čo si dať pozor?

Príliš agresívna obrana blokuje legitímne otázky a zoznam známych fráz nepokrýva nové či viacjazyčné varianty.