Retrieval Augmented Generation (RAG)

RAG nie je iba vloženie dokumentu do promptu. Je to celý reťazec od spracovania a oprávnení cez vyhľadanie správnej pasáže až po odpoveď, citáciu a meranie kvality.

Moderný jazykový model dokáže plynulo formulovať odpoveď, no jeho parametre nie sú živou, úplnou ani transparentnou databázou. Nevie automaticky, čo sa v organizácii zmenilo včera, z ktorého dokumentu pochádza konkrétny údaj ani či používateľ smie daný dokument vidieť. Retrieval Augmented Generation, skrátene RAG, rieši časť tohto problému tým, že pred generovaním alebo počas neho vyhľadá relevantné externé podklady a vloží ich do pracovného kontextu modelu. Používateľ sa napríklad opýta, dokedy možno reklamovať konkrétny produkt. Systém nežiada model, aby sa spoliehal iba na pravdepodobnosti uložené vo váhach. Najprv vyhľadá platné obchodné podmienky, získa príslušné odseky, pridá ich do promptu s identifikátormi zdrojov a až potom požiada model o odpoveď. Ak je systém správne navrhnutý, odpoveď sa opiera o dohľadateľný dôkaz a pri zmene smernice stačí aktualizovať zdrojový korpus. RAG však nie je automatická záruka pravdy. Retriever môže vybrať nesprávny dokument, parser stratiť tabuľku, index obsahovať starú verziu, generátor môže dôkaz ignorovať a citácia môže iba zdanlivo podporovať tvrdenie. Kapitola preto nadväzuje na halucinácie AI, kontextové okno a fine-tuning.

Ťažisko tvoria časti „Čo presne znamená Retrieval Augmented Generation“, „Prečo RAG vznikol“ a „Dve pamäte a pravdepodobnostný pohľad“. Nejde iba o vysvetlenie pojmov. Kapitola ich prepája s rozhodnutiami, príkladmi a hranicami, ktoré treba poznať pri reálnom použití.

Po prečítaní budete vedieť opísať komponenty produkčného RAG systému a rozlíšiť chybu vyhľadávania od chyby generovania. Praktickým výsledkom bude schopnosť navrhnúť hodnotenie relevancie, vernosti a oprávnení.

Kapitola odpovedá aj na otázku „Čo rieši RAG?“ Dodáva modelu relevantné externé pasáže v čase odpovede, čo pomáha pracovať s internými alebo aktuálnymi informáciami bez pretrénovania základného modelu.