Presná definícia
Čo znamená Modely stavového priestoru?
Modely stavového priestoru (SSM) sú trieda architektúr hlbokého učenia inšpirovaná teóriou riadenia spojitých systémov, ktoré mapujú vstupné sekvencie na výstupné prostredníctvom skrytého stavu. Na rozdiel od Transformerov dosahujú lineárnu výpočtovú a pamäťovú zložitosť O(N) vzhľadom na dĺžku sekvencie, čo umožňuje efektívne spracovanie extrémne dlhých kontextov.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Slúžia ako alternatíva alebo doplnok k Transformerom na spracovanie dlhých sekvencií (textu, zvuku, časových radov či DNA sekvencií) na zariadeniach s obmedzenou pamäťou VRAM.
Overiteľnosť
Odborné zdroje
- Gu, A., & Dao, T. (2023). Mamba: Linear-Time Sequence Modeling with Selective State Spaces. arXiv:2312.00752.arxiv.org
Gu, A., Goel, K., & Ré, C. (Stanford University, 2021). Efficiently Modeling Long Sequences with Structured State Spaces (S4). ICLR 2022.
Praktické odpovede
Často kladené otázky
V čom spočíva hlavná výhoda SSM oproti architektúre Transformer?
Transformer má pri predlžovaní kontextu kvadratickú náročnosť O(N^2), zatiaľ čo SSM spracúva dáta s lineárnou náročnosťou O(N), čím spotrebúva násobne menej pamäte pri inferencii.
Čo priniesla architektúra Mamba do oblasti SSM?
Zavedla takzvaný selektívny mechanizmus (Selective SSM), ktorý modelu umožňuje dynamicky filtrovať a ukladať len tie informácie, ktoré sú pre danú úlohu relevantné.
Ako sa SSM správa počas trénovania a počas inferencie?
Počas trénovania sa správa ako paralelná konvolučná sieť (rýchly výpočet), zatiaľ čo počas inferencie funguje ako rekurentná sieť (RNN) s konštantnou spotrebou pamäte na token.
Aké sú známe limity modelov stavového priestoru?
Pri kratších textoch môžu vykazovať mierne slabšiu schopnosť presného vyhľadávania a presného kopírovania špecifických faktov (copypaste retrieval) v porovnaní s mechanizmom Attention.
Čo sú to hybridné architektúry (napr. Jamba)?
Sú to modely spájajúce vrstvy Mamba/SSM s klasickými vrstvami Attention z Transformerov, čím dosahujú vysokú presnosť pri zachovaní nízkej pamäťovej náročnosti.