Presná definícia
Čo znamená útok injekciou promptu?
Útok injekciou promptu vkladá do vstupu jazykového modelu pokyny, ktoré sa snažia zmeniť zamýšľané správanie aplikácie, prekonať nadradené pravidlá alebo zneužiť pripojené nástroje. Základným problémom je miešanie dát a inštrukcií v jednom textovom kanáli.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Aplikácia považuje dokumenty používateľa za nedôveryhodné dáta, oddeľuje ich od systémových pravidiel a pred každou akciou overuje oprávnenie a parametre mimo modelu. Citlivé kroky vyžadujú potvrdenie.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená útok injekciou promptu?
Útok injekciou promptu vkladá do vstupu jazykového modelu pokyny, ktoré sa snažia zmeniť zamýšľané správanie aplikácie, prekonať nadradené pravidlá alebo zneužiť pripojené nástroje.
Kedy sa útok injekciou promptu používa?
Aplikácia považuje dokumenty používateľa za nedôveryhodné dáta, oddeľuje ich od systémových pravidiel a pred každou akciou overuje oprávnenie a parametre mimo modelu.
Od čoho treba útok injekciou promptu odlíšiť?
Jailbreak cieli obídenie bezpečnostnej politiky modelu; prompt injection môže meniť logiku aplikácie aj bez zakázaného obsahu.
Ako sa útok injekciou promptu kontroluje?
Red team skúša priame aj nepriame vstupy, viac kôl, kódovanie, nástrojové volania, únik tajomstiev a účinnosť nezávislých kontrol.
Aké obmedzenie má útok injekciou promptu?
Žiadny textový prompt spoľahlivo neoddelí všetky škodlivé inštrukcie; ochrana musí obmedziť právomoci a dopad.