Presná definícia
Čo znamená výpočtová priepustnosť?
Výpočtová priepustnosť je počet užitočných operácií alebo spracovaných vstupov za jednotku času. Môže sa vyjadriť v FLOP/s, tokenoch/s či inferenciách/s a musí uvádzať presnosť, batch a podmienky merania.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Tím meria tokeny za sekundu pri pevnom počte používateľov a súčasne p99 latenciu. Výsledok uvádza s dtype, batchom, dĺžkou vstupu a hardvérom.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená výpočtová priepustnosť?
Výpočtová priepustnosť je počet užitočných operácií alebo spracovaných vstupov za jednotku času.
Kedy sa výpočtová priepustnosť používa?
Tím meria tokeny za sekundu pri pevnom počte používateľov a súčasne p99 latenciu.
Od čoho treba výpočtová priepustnosť odlíšiť?
Latencia meria čas jednej požiadavky. Priepustnosť meria množstvo práce dokončenej za čas a často rastie batchingom.
Ako sa výpočtová priepustnosť kontroluje?
Overuje sa definícia jednotky, warm-up, batch, concurrency, vstupné tvary, dtype, trvanie testu, využitie zariadenia a SLO.
Aké obmedzenie má výpočtová priepustnosť?
Vysoká priepustnosť môže vzniknúť za cenu neprijateľnej latencie alebo spracovania jednoduchších vstupov než v produkcii.