Presná definícia
Čo znamená Optimalizácia pomerom šancí?
Optimalizácia pomerom šancí (ORPO) je jednofázový algoritmus zarovnania (alignment) jazykových modelov, ktorý kombinuje riadené doladenie (Supervised dolaďovanie - SFT) a preferenčné učenie do jedinej stratovej funkcie. ORPO eliminuje potrebu samostatného referenčného modelu a penalty za Kullbackovu-Leiblerovu divergenciu, čím zjednodušuje a zrýchľuje proces trénovania.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Využíva sa pri efektívnom trénovaní a doladení otvorených jazykových modelov na vlastných preferenčných dátach pri výrazne nižšej spotrebe pamäte VRAM a kratšom čase trénovania v porovnaní s DPO a RLHF.
Overiteľnosť
Odborné zdroje
- Hong, J., Lee, N., & Thorne, J. (KAIST, 2024). ORPO: Monolithic Preference Optimization without Reference Model. arXiv:2403.07691.arxiv.org
Hugging Face Alignment Handbook (2024). Integrating ORPO for Memory-Efficient LLM Fine-Tuning.
Praktické odpovede
Často kladené otázky
V čom spočíva hlavná výhoda ORPO oproti DPO (Direct Preference Optimization)?
DPO vyžaduje v pamäti VRAM naraz dva modely (trénovaný a referenčný SFT model). ORPO spája SFT a preferenčné učenie do jedného kroku bez referenčného modelu, čo šetrí VRAM.
Ako ORPO matematicky penalizuje nežiaduce odpovede?
K štandardnej SFT stratovej funkcii pridáva odchýlku pomeru šancí (odds ratio penalty), ktorá aktívne znižuje pravdepodobnosť vygenerovania odmietnutých odpovedí voči akceptovaným.
Vyžaduje ORPO predchádzajúcu samostatnú fázu SFT trénovania?
Nie, ORPO dokáže trénovať model priamo zo základného (base) modelu na datasete obsahujúcom prompty, preferované odpovede a odmietnuté odpovede.
Aké sú nároky ORPO na trénovacie dáta?
Vyžaduje štruktúrované trojice dáta: [prompt, chosen_response, rejected_response].
Dosahuje ORPO porovnateľné výsledky v štandardných benchmarkoch?
Štúdie ukazujú, že modely trénované pomocou ORPO dosahujú rovnaké alebo lepšie výsledky v textových benchmarkoch (napr. MT-Bench, AlpacaEval) pri menšom počte výpočtových krokov.