Multimodálne modely

Multimodálny systém spája text, obraz, zvuk alebo video do spoločnej úlohy. Každá modalita však prináša vlastnú neistotu, náklady a bezpečnostné hranice.

ChatGPT a ďalšie moderné AI systémy už nie sú iba textové rozhrania. Používateľ môže nahrať fotografiu, odfotiť tabuľu, diktovať otázku, analyzovať graf, viesť hlasový rozhovor alebo požiadať o vytvorenie obrázka. Za jednoduchým používateľským zážitkom sa však skrýva viac možných architektúr. Niekedy jedna neurónová sieť pracuje s tokenmi rôznych modalít, inokedy aplikácia spája samostatný model na rozpoznávanie reči, jazykový model a syntetizátor hlasu. Produkt preto môže pôsobiť multimodálne, aj keď jeho jadro tvorí reťazec špecializovaných komponentov. Táto kapitola vysvetľuje, ako sa obraz, zvuk a video menia na reprezentácie, s ktorými dokáže pracovať transformer; ako sa modality prepájajú pri tréningu; v čom sa líši porozumenie od generovania; a prečo multimodalita rozširuje schopnosti aj priestor na chyby. Nadväzuje najmä na tokeny a ich význam, tréning modelov, halucinácie AI a kontextové okno. Bez týchto základov by sa multimodálny model ľahko javil ako stroj, ktorý jednoducho „vidí a počuje“. Presnejšie je povedať, že sa učí matematicky spracúvať a spájať štruktúrované signály. Text je diskrétna sekvencia symbolov, ktorú jazykový model zvyčajne rozdelí na tokeny. Digitálny obraz je mriežka hodnôt pixelov.

Ťažisko tvoria časti „Čo je modalita“, „Kedy je model multimodálny“ a „Multimodálny systém nie je nevyhnutne jeden model“. Nejde iba o vysvetlenie pojmov. Kapitola ich prepája s rozhodnutiami, príkladmi a hranicami, ktoré treba poznať pri reálnom použití.

Po prečítaní budete vedieť vysvetliť základný princíp práce s viacerými modalitami a rozpoznať chyby OCR, obrazu, reči a časového kontextu. Praktickým výsledkom bude schopnosť navrhnúť kontrolu multimodálneho pracovného postupu.

Kapitola odpovedá aj na otázku „Čo znamená multimodálny model?“ Dokáže prijímať alebo vytvárať viac druhov informácií, napríklad text, obraz, zvuk či video, a prepájať ich v jednej úlohe.