Halucinácie AI

Halucinácia nie je náhodná technická porucha oddelená od fungovania LLM. Vzniká z toho, že model optimalizuje pravdepodobné pokračovanie, nie automatické overenie každého tvrdenia.

Keď jazykový model uvedie neexistujúci rozsudok, zamení autora vedeckej práce, doplní do súhrnu udalosť, ktorá v zdroji nie je, alebo presvedčivo vysvetlí chybný predpoklad otázky, hovoríme zvyčajne o halucinácii. Tento pojem označuje jeden z najvýznamnejších problémov generatívnej AI: systém dokáže vytvoriť jazykovo kvalitný text aj vtedy, keď pre jeho tvrdenia nemá spoľahlivú oporu. Halucinácia neznamená, že model „klame“ v ľudskom psychologickom zmysle. Klamstvo predpokladá presvedčenie, poznanie pravdy a úmysel uviesť niekoho do omylu. Samotný LLM je však pravdepodobnostný model tokenových sekvencií, ako sme vysvetlili v kapitole 1. Jeho bezprostrednou operáciou je výpočet pravdepodobností ďalšieho tokenu, nie konzultácia vnútornej encyklopédie s garantovanými záznamami. Preto môže byť nepravdivý výstup plynulý, štruktúrovaný a štylisticky nerozoznateľný od správneho. Táto kapitola vytvorí presný slovník, vysvetlí hlavné príčiny a ukáže, ako sa halucinácie merajú, odhaľujú a obmedzujú. Detailný návrh systémov s externými zdrojmi rozoberie kapitola 7 - Retrieval Augmented Generation, všeobecné hranice schopností kapitola 12 - Limity jazykových modelov a rozhodovanie o praktickej dôvere kapitola 15 - Kedy AI dôverovať a kedy nie.

Ťažisko tvoria časti „Čo presne nazývame halucináciou“, „Prečo je slovo „halucinácia“ iba metafora“ a „Faktickosť a vernosť nie sú to isté“. Nejde iba o vysvetlenie pojmov. Kapitola ich prepája s rozhodnutiami, príkladmi a hranicami, ktoré treba poznať pri reálnom použití.

Po prečítaní budete vedieť rozlíšiť faktickú chybu, neistotu a neaktuálnu informáciu a vysvetliť príčiny presvedčivo formulovaných omylov. Praktickým výsledkom bude schopnosť navrhnúť overovanie podľa dopadu odpovede.

Kapitola odpovedá aj na otázku „Prečo halucinácia znie tak presvedčivo?“ Model je trénovaný na tvorbu jazykovo pravdepodobného textu. Plynulosť a sebavedomý štýl preto nemusia korešpondovať s faktickou istotou.