Presná definícia
Čo znamená Trénovanie v čase testovania?
Trénovanie v čase testovania (TTT) je sekvenčná architektúra a paradigma, pri ktorej sa skrytý stav (hidden state) modelu nahradí samostatným vnútro-modelovým kompresorom. Váhy tohto vnútorného modelu sa dynamicky aktualizujú pomocou gradientového zostupu priamo počas spracovávania kontextu (pri inferencii) na základe sebariadenej (self-supervised) straty.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Slúži ako nová alternatívna architektúra k Transformerom a RNN pre prácu s extrémne dlhými sekvenciami (milióny tokenov), kde zabezpečuje lineárnu časovú zložitosť pri zachovaní vysokej kapacity pamäte a expresivity.
Overiteľnosť
Odborné zdroje
- Sun, Y., et al. (UC Berkeley, Stanford, Meta, 2024). Learning to (Learn at Test Time): RNNs with Expressive Hidden States. arXiv:2407.04620.arxiv.org
Hardt, M., et al. (2024). Test-Time Training Layers for Long-Context Sequence Modeling.
Praktické odpovede
Často kladené otázky
V čom sa TTT líši od výpočtu v čase inferencie (Inference-Time Compute)?
Inference-time compute generuje viac tokenov alebo vyhľadáva v strome možností, zatiaľ čo TTT priamo mení váhy svojho vnútorného modelu gradientovým zostupom pri čítaní vstupu.
Ako TTT rieši pamäťový problém s dlhým kontextom?
Namiesto ukladania obrovskej KV cache ukladá informácie zo spracovaného textu priamo do dočasne upravených váh vnútorného modelu.
Je výpočet TTT efektívny na grafických kartách (GPU)?
Áno. Keďže krok učenia v TTT využíva paralelné maticové násobenie (rovnako ako štandardné trénovanie), je na GPU výrazne efektívnejší než klasické rekurentné siete (RNN).
Akú stratovú funkciu používa TTT počas inferencie?
Používa sebariadenú úlohu, napríklad rekonštrukciu maskovaných častí vstupnej sekvencie (Masked Language Modeling) z predchádzajúceho kontextu.
Dá sa TTT kombinovať s Transformerovými vrstvami?
Áno, najvýkonnejšie hybridné architektúry kombinujú TTT vrstvy na spracovanie dlhého kontextu s občasnými vrstvami Self-Attention pre presné lokálne vyhľadávanie.