Slovník výrazov AI/Hodnotenie a metriky

Hodnotenie a metriky

rebríček

Anglický výraz leaderboard

základnéheslo č. 10055 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená rebríček?

Rebríček je zoradené zobrazenie výsledkov systémov podľa definovaného skóre a pravidiel oprávnenosti. Je platný iba pre konkrétnu verziu dát, protokol, metriku a čas; poradie samo osebe nepreukazuje vhodnosť modelu na inú úlohu.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Organizátor zverejní skóre aj interval neistoty, náklady, dátum odovzdania a počet pokusov. Pri tesných výsledkoch označí štatistickú remízu namiesto predstierania presného poradia.

Overiteľnosť

Odborné zdroje

  1. scikit-learn - Model selection and evaluationscikit-learn.org
  2. NIST/SEMATECH - Statistical significanceitl.nist.gov

Praktické odpovede

Často kladené otázky

Čo presne znamená rebríček?

Rebríček je zoradené zobrazenie výsledkov systémov podľa definovaného skóre a pravidiel oprávnenosti.

Kedy sa rebríček používa?

Organizátor zverejní skóre aj interval neistoty, náklady, dátum odovzdania a počet pokusov.

Od čoho treba rebríček odlíšiť?

Rebríček prezentuje poradie; benchmark vytvára meranie, z ktorého poradie vzniká.

Ako sa rebríček kontroluje?

Kontroluje sa jednotný protokol, skryté testy, počet odoslaní, intervaly, remízy a audit zmien verzie.

Aké obmedzenie má rebríček?

Opakované ladenie na verejné skóre a nepatrné rozdiely môžu vytvoriť súťaž bez reálneho prínosu.