Presná definícia
Čo znamená injekcia promptu?
Injekcia promptu je útok alebo zlyhanie, pri ktorom nedôveryhodný vstup presvedčí model, aby uprednostnil cudzie pokyny pred zamýšľanou úlohou. Môže meniť odpoveď, pokúsiť sa získať dáta alebo zneužiť nástroj. Vzniká z miešania riadenia a dát v prirodzenom jazyku a nemožno ju odstrániť jedinou vetou v prompte.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Obrana kombinuje hierarchiu pokynov, izoláciu nedôveryhodného obsahu, minimálne oprávnenia, validáciu argumentov a potvrdenie citlivých akcií. E-maily a webové stránky sa považujú za dáta aj vtedy, keď obsahujú imperatívny text. Testy pokrývajú priame aj zakódované varianty a sledujú reálny dopad, nie iba text odpovede.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje injekcia promptu?
Útočný text sa dostane do kontextu a model ho môže chybne interpretovať ako inštrukciu s vyššou prioritou.
Kedy má injekcia promptu praktický význam?
Obrana kombinuje hierarchiu pokynov, izoláciu nedôveryhodného obsahu, minimálne oprávnenia, validáciu argumentov a potvrdenie citlivých akcií.
S čím si pojem nezamieňať?
Jailbreak cieli najmä na obídenie bezpečnostného správania; prompt injection širšie presmeruje úlohu alebo nástroje cez vstup.
Ako sa výsledok kontroluje?
Použijú sa red-team prípady, canary dáta, kontrola oprávnení, audit tool calls a meranie úspechu útoku podľa dopadu.
Na čo si dať pozor?
Filtre založené na slovách sa dajú obísť parafrázou a aj neúspešný textový útok môže uspieť cez neopatrne autorizovaný nástroj.