Presná definícia
Čo znamená Optimalizácia Kahneman-Tversky?
Optimalizácia Kahneman-Tversky (KTO) je metóda zarovnania jazykových modelov inšpirovaná vyhliadkovou teóriou (Prospect Theory) ekonómov Daniela Kahnemana a Amosa Tverského. Na rozdiel od DPO alebo RLHF nevyžaduje párové preferenčné dáta (porovnanie dvoch odpovedí na ten istý prompt), ale dokáže model trénovať priamo zo samostatných signálov označujúcich výstup ako „dobrý“ alebo „zlý“.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Využíva sa na zjednodušenie a zlacnenie procesu zarovnania modelov v reálnych produkčných prostrediach, kde vývojári disponujú iba nesparovanou spätnou väzbou (napr. používateľské hodnotenia palcom hore / palcom dole).
Overiteľnosť
Odborné zdroje
- Ethayarajh, K., et al. (Contextual AI & Stanford University, 2024). KTO: Model Alignment as Prospect Theoretic Optimization. arXiv:2402.01306.arxiv.org
Contextual AI (2024). Kahneman-Tversky Optimization Technical Report and Open Source Release.
Praktické odpovede
Často kladené otázky
V čom spočíva hlavná výhoda KTO oproti DPO?
KTO nevyžaduje párové dáta (kde pre jeden prompt musia existovať dve rôzne odpovede), čo výrazne zjednodušuje zber reálnych produkčných dát.
Ako KTO aplikuje vyhliadkovú teóriu z ekonómie?
Modeluje ľudskú torziu k stratám (loss aversion) - pri trénovaní prikladá vyššiu váhu vyvarovaniu sa zlých odpovedí než maximálnemu zlepšovaniu už dobrých odpovedí.
Aký typ dát je potrebný pre trénovanie KTO?
Postačuje datasety obsahujúce prompt, vygenerovanú odpoveď a binárny štítok (1 pre prijateľnú odpoveď, 0 pre neprijateľnú odpoveď).
Dosahuje KTO porovnateľnú kvalitu výstupov ako metódy založené na párových preferenciách?
Podľa empirických štúdií dosahuje KTO pri dostatočnom objeme nepárových dát rovnaké alebo dokonca lepšie výsledky než DPO, najmä pri väčších modeloch.
Kedy je výhodnejšie zvoliť KTO namiesto DPO?
KTO je výhodnejšie najmä vtedy, keď získavanie párových porovnávacích dát od anonymných používateľov alebo anotátorov je príliš nákladné alebo technicky nereálne.