Slovník výrazov AI/Bezpečnosť a súkromie

Bezpečnosť a súkromie

otrávenie vyhľadávania

Anglický výraz retrieval poisoning

základnéheslo č. 11205 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená otrávenie vyhľadávania?

Otrávenie vyhľadávania je zámerné vloženie alebo zvýhodnenie obsahu v indexe či znalostnej báze tak, aby vyhľadávací komponent vracal zavádzajúce, škodlivé alebo inštrukčné pasáže. Ovplyvňuje kontext modelu bez zmeny jeho váh.

Skúsenosť a kontext

Ako sa pojem používa v praxi

RAG systém overuje pôvod dokumentov, oddeľuje dôveryhodné zbierky a sleduje náhle zmeny rankingu. Citlivé odpovede vyžadujú viac nezávislých zdrojov a citácie, ktoré možno spätne skontrolovať.

Overiteľnosť

Odborné zdroje

  1. OWASP - Top 10 for Large Language Model Applicationsgenai.owasp.org
  2. MITRE - Adversarial Threat Landscape for AI Systems (ATLAS)atlas.mitre.org

Praktické odpovede

Často kladené otázky

Čo presne znamená otrávenie vyhľadávania?

Otrávenie vyhľadávania je zámerné vloženie alebo zvýhodnenie obsahu v indexe či znalostnej báze tak, aby vyhľadávací komponent vracal zavádzajúce, škodlivé alebo inštrukčné pasáže.

Kedy sa otrávenie vyhľadávania používa?

RAG systém overuje pôvod dokumentov, oddeľuje dôveryhodné zbierky a sleduje náhle zmeny rankingu.

Od čoho treba otrávenie vyhľadávania odlíšiť?

Training data poisoning mení učenie parametrov; retrieval poisoning mení dokumenty dodané modelu pri konkrétnom dotaze.

Ako sa otrávenie vyhľadávania kontroluje?

Testujú sa manipulované dokumenty, duplicity, autorita zdroja, ranking, recency, citácie, prístupové filtre a odstránenie z indexu.

Aké obmedzenie má otrávenie vyhľadávania?

Útočník môže optimalizovať obsah pre retriever a získať vysoké skóre relevancie bez faktickej dôveryhodnosti.