Presná definícia
Čo znamená multimodálna halucinácia?
Multimodálna halucinácia je výstup, ktorý tvrdí objekt, atribút, vzťah, udalosť alebo text nepodporený poskytnutými multimodálnymi vstupmi. Môže vzniknúť dominanciou jazykového prioru, slabým ukotvením alebo chybným zarovnaním; plynulosť odpovede jej pravdivosť nezvyšuje.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Asistent pri fotografii inventára má rozlíšiť viditeľný predmet od odhadu. Odpoveď sa porovná s anotovanými objektmi a pri nečitateľnom štítku požiada o detail. Produkcia zobrazuje obrazový dôkaz a neumožní halucinovanému údaju automaticky meniť evidenciu.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje multimodálna halucinácia?
Jazykový dekóder generuje pravdepodobný token aj pri slabom vizuálnom dôkaze; testy preto porovnávajú tvrdenia s regiónmi, objektmi a kontrafaktuálnymi vstupmi.
Kedy má multimodálna halucinácia praktický význam?
Asistent pri fotografii inventára má rozlíšiť viditeľný predmet od odhadu.
S čím si pojem nezamieňať?
Textová halucinácia odporuje textovému kontextu alebo faktom; multimodal hallucination konkrétne zlyháva vo väzbe na obraz, zvuk či video.
Ako sa výsledok kontroluje?
Kontroluje sa object hallucination, precision tvrdení, POPE alebo podobné kontrastné otázky, grounding, kalibrácia a ľudská verifikácia.
Na čo si dať pozor?
Automatické metriky môžu prehliadnuť parafrázu nepravdivého tvrdenia a model môže halucináciu zosilniť pri následných otázkach.