Budúcnosť LLM: čo sledovať namiesto hádania dátumu AGI

Budúcnosť LLM nebude iba príbehom väčších modelov. Výsledok vytvoria efektívnejší tréning, výpočet počas odpovede, multimodalita, nástroje, menšie lokálne modely, energia a schopnosť preukázať kontrolu.

Predpovede o jazykových modeloch často miešajú tri odlišné veci: čo už bolo demonštrované v laboratóriu, čo sa dá spoľahlivo prevádzkovať a čo by raz mohlo byť možné. Zodpovedný pohľad ich oddeľuje a pomenúva neistotu. Predikcia tvrdí, čo je najpravdepodobnejšie. Scenár opisuje konzistentnú možnosť a jej dôsledky. Rozhodnutie určuje, čo urobíme dnes napriek neistote. Pri rýchlom technologickom vývoji je scenárové myslenie robustnejšie než presný kalendár. Výrok „AGI príde v roku X“ bez merateľnej definície AGI a kalibrovanej neistoty nie je praktický plán. Organizácia potrebuje skôr vedieť, ktoré úlohy automatizovať, aké dáta pripraviť a kde ponechať zodpovedného človeka. Scaling laws ukázali pravidelné zlepšovanie tréningovej straty s rastom modelu, dát a výpočtu v skúmaných režimoch. Práca Chinchilla zároveň zdôraznila, že veľkosť modelu a množstvo tréningových tokenov treba vyvažovať. Z toho nevyplýva nekonečný automatický rast všetkých praktických schopností. Hrubý počet parametrov bude čoraz slabším opisom systému. Model s menej aktívnymi parametrami môže vďaka nástrojom a test-time compute prekonať väčší model na konkrétnej úlohe. Klasický chatbot vytvorí jednu trajektóriu tokenov.

Ťažisko tvoria časti „Predikcia, scenár a záväzné rozhodnutie“, „Smer 1: scaling pokračuje, ale mení tvar“ a „Smer 2: viac výpočtu počas odpovede“. Nejde iba o vysvetlenie pojmov. Kapitola ich prepája s rozhodnutiami, príkladmi a hranicami, ktoré treba poznať pri reálnom použití.

Po prečítaní budete vedieť odlíšiť demonštráciu, produkčnú schopnosť a špekulatívnu predpoveď a sledovať merateľné signály vo výpočte, agentnosti, evaloch a infraštruktúre. Praktickým výsledkom bude schopnosť pripraviť stratégiu odolnú voči viacerým scenárom vývoja.

Kapitola odpovedá aj na otázku „Budú budúce modely iba väčšie?“ Nie nevyhnutne. Výkon môže rásť aj cez kvalitnejšie dáta, efektívnejšie architektúry, test-time compute, nástroje, verifikáciu a špecializované menšie modely.