Promptovanie

nepriama injekcia promptu

Anglický výraz indirect prompt injection

špecializovanéheslo č. 5955 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená nepriama injekcia promptu?

Nepriama injekcia promptu vzniká, keď škodlivé pokyny nie sú v priamej správe používateľa, ale v obsahu, ktorý systém načíta - napríklad na webovej stránke, v e-maile, dokumente alebo výsledku nástroja. Model môže tento obsah zameniť za riadenie a konať v mene používateľa bez jeho informovaného zámeru.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Agent pri sumarizovaní stránky nesmie nasledovať pokyny ukryté v texte ani odosielať dáta na uvedenú adresu. Retriever zachová pôvod, runtime odstráni nástroje nepotrebné pre čítanie a každá externá akcia má vlastnú autorizáciu. Bezpečnostná sada vkladá útoky do dokumentov, metadát aj obrázkového textu.

Overiteľnosť

Odborné zdroje

  1. OpenAI - Understanding prompt injectionsopenai.com
  2. OWASP - Prompt Injection Prevention Cheat Sheetcheatsheetseries.owasp.org

Praktické odpovede

Často kladené otázky

Ako funguje nepriama injekcia promptu?

Útočník kontaminuje externý zdroj; retrieval alebo tool result ho vloží do kontextu a model ho môže nesprávne povýšiť na pokyn.

Kedy má nepriama injekcia promptu praktický význam?

Agent pri sumarizovaní stránky nesmie nasledovať pokyny ukryté v texte ani odosielať dáta na uvedenú adresu.

S čím si pojem nezamieňať?

Priama injection prichádza v aktívnom používateľskom vstupe; nepriama sa prenesie z tretej strany cez načítané dáta.

Ako sa výsledok kontroluje?

Testuje sa oddelenie zdrojov, úspech útoku na nástroje, exfiltrácia, potvrdenia a správanie pri viacerých kontaminovaných dokumentoch.

Na čo si dať pozor?

Dôveryhodná doména môže hostiť používateľský obsah a útok môže byť skrytý v bielom texte, metadátach či OCR.