Presná definícia
Čo znamená dĺžka sekvencie?
Dĺžka sekvencie je počet usporiadaných prvkov v jednom modelovom príklade, najčastejšie tokenov po tokenizácii. V dávke sa kratšie sekvencie často dopĺňajú paddingom na spoločný rozmer a maska určí, ktoré pozície sú platné. Hodnota ovplyvňuje pamäť, výpočtovú zložitosť a počet tréningových predikcií.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri tréningu sa volí maximálna dĺžka, spôsob balenia dokumentov a padding tak, aby sa znížilo plytvanie výpočtom. Pri inferencii sa osobitne sleduje vstupná a generovaná dĺžka. Testy musia zahrnúť krátke aj hranične dlhé prípady, pretože chyba masky môže nepozorovane používať padding alebo cudziu sekvenciu.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje dĺžka sekvencie?
Tokenizér vytvorí L ID, batching ich zarovná a attention mask odlíši obsah od doplnených pozícií; pozičný mechanizmus rozlíši poradie.
Kedy má dĺžka sekvencie praktický význam?
Pri tréningu sa volí maximálna dĺžka, spôsob balenia dokumentov a padding tak, aby sa znížilo plytvanie výpočtom.
S čím si pojem nezamieňať?
Kontextové okno je maximálna kapacita modelu, kým dĺžka sekvencie je skutočná alebo tréningom nastavená hodnota konkrétneho tenzora.
Ako sa výsledok kontroluje?
Kontroluje sa distribúcia L, podiel paddingu, pamäť, priepustnosť, správnosť masky a výkon na dlhých príkladoch.
Na čo si dať pozor?
Príliš krátky limit odreže závislosti; príliš dlhý znižuje veľkosť dávky a pri kvadratickej pozornosti prudko zvyšuje náklady.