Presná definícia
Čo znamená autoregresný model?
Autoregresný model rozkladá spoločnú pravdepodobnosť sekvencie na súčin podmienených pravdepodobností: každý prvok predikuje z predchádzajúcich prvkov v zvolenom poradí. Presná vierohodnosť je dostupná, no generovanie je zvyčajne sekvenčné, pretože nový token, pixel alebo vzorka sa stáva vstupom ďalšieho kroku.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Používa sa v jazykových modeloch, syntéze reči, obrazoch aj časových radoch. V textovom systéme sa po každom kroku vyberie ďalší token a pridá do kontextu; vo forecastingu sa predikcia môže vracať ako ďalší vstup. Prevádzka má sledovať kumuláciu chýb, latenciu s rastúcou dĺžkou a citlivosť na poradie prvkov.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje autoregresný model?
Sieť odhaduje p(x_t|x_{<t}); počas tréningu často vidí pravú minulosť, počas generovania vlastné predchádzajúce výstupy.
Kedy má autoregresný model praktický význam?
Používa sa v jazykových modeloch, syntéze reči, obrazoch aj časových radoch.
S čím si pojem nezamieňať?
Difúzny model iteratívne odstraňuje šum z celého objektu, kým autoregresný model vytvára usporiadané prvky jeden po druhom.
Ako sa výsledok kontroluje?
Meria sa negatívna log-vierohodnosť alebo perplexita, kvalita dlhých sekvencií, rýchlosť dekódovania a stabilita pri voľnom generovaní.
Na čo si dať pozor?
Sekvenčné vzorkovanie môže byť pomalé a skorá chyba ovplyvní všetky ďalšie kroky; zvolené poradie môže do modelu vniesť nevhodný predpoklad.