Presná definícia
Čo znamená sada benchmarkov?
Sada benchmarkov je kurátorovaná kolekcia viacerých úloh, datasetov a hodnotiacich protokolov určená na porovnanie systémov naprieč schopnosťami. Každá časť musí mať rozsah použitia, licenciu, verziu a pravidlo agregácie.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Dodávateľský tím nepoužije iba test otázok. Pridá extrakciu údajov, prácu s dlhým kontextom, odmietanie nebezpečných pokynov a slovenské prípady; výsledky uvedie po úlohách aj celkovo.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená sada benchmarkov?
Sada benchmarkov je kurátorovaná kolekcia viacerých úloh, datasetov a hodnotiacich protokolov určená na porovnanie systémov naprieč schopnosťami.
Kedy sa sada benchmarkov používa?
Dodávateľský tím nepoužije iba test otázok.
Od čoho treba sada benchmarkov odlíšiť?
Jednotlivý benchmark meria jednu definovanú úlohu; sada benchmarkov skladá viac odlišných pohľadov.
Ako sa sada benchmarkov kontroluje?
Overí sa pokrytie cieľových schopností, kontaminácia, váhy úloh, stabilita skórovania a reprodukovateľnosť verzie.
Aké obmedzenie má sada benchmarkov?
Súhrnné skóre môže zakryť kritické zlyhanie malej úlohy alebo zvýhodniť model trénovaný na známych testoch.