Chain of Thought: kedy pomáha rozklad problému a prečo odôvodnenie nie je dôkaz

Rozklad problému môže pomôcť pri viacstupňových úlohách, no dlhé odôvodnenie nie je dôkaz pravdy ani verný záznam interného výpočtu modelu.

Chain-of-Thought prompting vznikol ako technika, pri ktorej model pred finálnou odpoveďou vytvára medzikroky podobné riešeniu príkladu. Pri niektorých matematických, symbolických a viacstupňových úlohách významne zlepšil výsledky skúmaných modelov. Z toho však nevyplýva, že každý model treba nútiť zverejniť celý „vnútorný monológ“. Práca Weiho a kolegov ukázala, že niekoľko príkladov s medzikrokmi môže pri dostatočne veľkých vtedajších modeloch zlepšiť riešenie aritmetických a logických úloh. Neskôr zero-shot prístup pridal jednoduchú výzvu k postupnému riešeniu bez ručne pripravených ukážok. Tieto výsledky platili pre konkrétne modely, datasety a protokoly. Dnešné modely majú odlišný post-training a niektoré samy používajú reasoning režim. Aktuálna dokumentácia providera preto má prednosť pred univerzálnou radou z roku 2022. Pre dôveru je najcennejšia tretia kategória. Verejný text „najprv som si uvedomil…“ môže byť užitočné vysvetlenie, ale nemusí presne opisovať mechanizmus, ktorý viedol k odpovedi. Pri preklade jednej vety, extrakcii poľa alebo jednoduchej klasifikácii zvyšuje latenciu a tokeny bez jasného prínosu. Pri chýbajúcom aktuálnom fakte model nemá čo „premyslieť“ - potrebuje zdroj. Pri hodnotovej otázke môže dlhý reťazec iba racionalizovať nevyslovenú preferenciu.

Ťažisko tvoria časti „Pôvod techniky“, „Tri veci, ktoré sa často volajú „premýšľanie““ a „Kedy rozklad pomáha“. Nejde iba o vysvetlenie pojmov. Kapitola ich prepája s rozhodnutiami, príkladmi a hranicami, ktoré treba poznať pri reálnom použití.

Po prečítaní budete vedieť rozlíšiť verejné medzikroky od interného reasoningu a vyžiadať overiteľné pracovné artefakty. Praktickým výsledkom bude schopnosť porovnať priamu odpoveď, rozklad a reasoning režim na rovnakom evale.

Kapitola odpovedá aj na otázku „Mám vždy žiadať „mysli krok za krokom“?“ Nie. Pri jednoduchých úlohách to zvyšuje dĺžku bez jasného prínosu a pri reasoning modeloch môže byť vhodnejší priamy cieľ s overiteľným výstupom.