Presná definícia
Čo znamená otrávenie nástroja?
Otrávenie nástroja je manipulácia popisu, schémy, odpovede alebo metadát nástroja tak, aby agent vybral nesprávnu funkciu, odhalil údaje alebo vykonal neželanú akciu. Zneužíva dôveru medzi modelom, registrom nástrojov a výsledkami volaní.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Platforma povoľuje iba podpísané verzie nástrojov, kontroluje zmeny popisov a výsledok označuje ako nedôveryhodné dáta. Citlivé akcie majú samostatnú autorizáciu mimo rozhodnutia modelu.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená otrávenie nástroja?
Otrávenie nástroja je manipulácia popisu, schémy, odpovede alebo metadát nástroja tak, aby agent vybral nesprávnu funkciu, odhalil údaje alebo vykonal neželanú akciu.
Kedy sa otrávenie nástroja používa?
Platforma povoľuje iba podpísané verzie nástrojov, kontroluje zmeny popisov a výsledok označuje ako nedôveryhodné dáta.
Od čoho treba otrávenie nástroja odlíšiť?
Prompt injection manipuluje textový kontext; tool poisoning kompromituje prvok nástrojového ekosystému alebo jeho reprezentáciu.
Ako sa otrávenie nástroja kontroluje?
Kontroluje sa pôvod a podpis nástroja, zmena schémy, oprávnenia, nečakané ciele, obsah odpovedí, audit volaní a odvolanie verzie.
Aké obmedzenie má otrávenie nástroja?
Aj legitímny nástroj môže byť neskôr aktualizovaný alebo kompromitovaný a získať viac právomocí, než naznačuje jeho názov.