Slovník výrazov AI/Hodnotenie a metriky

Hodnotenie a metriky

párové hodnotenie

Anglický výraz pairwise evaluation

základnéheslo č. 10105 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená párové hodnotenie?

Párové hodnotenie porovnáva dva výstupy pre ten istý vstup a zaznamená preferenciu A, B alebo remízu. Znižuje nároky na absolútnu stupnicu, no výsledok závisí od párovania, poradia, kritéria a modelu agregácie preferencií.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Pri súhrnoch článkov hodnotiteľ vidí dve anonymizované verzie a vyberie presnejšiu podľa rovnakej rubriky. Strany sa náhodne prehadzujú a výsledky sa analyzujú podľa témy aj dĺžky textu.

Overiteľnosť

Odborné zdroje

  1. NIST/SEMATECH - Statistical significanceitl.nist.gov
  2. NIST - AI Risk Management Framework 1.0doi.org

Praktické odpovede

Často kladené otázky

Čo presne znamená párové hodnotenie?

Párové hodnotenie porovnáva dva výstupy pre ten istý vstup a zaznamená preferenciu A, B alebo remízu.

Kedy sa párové hodnotenie používa?

Pri súhrnoch článkov hodnotiteľ vidí dve anonymizované verzie a vyberie presnejšiu podľa rovnakej rubriky.

Od čoho treba párové hodnotenie odlíšiť?

Bodové hodnotenie posudzuje každý výstup samostatne; párové hodnotenie určuje relatívnu preferenciu medzi dvoma.

Ako sa párové hodnotenie kontroluje?

Vyváži sa poradie strán, zahrnú remízy, opakované páry, zhoda hodnotiteľov a interval preferenčného podielu.

Aké obmedzenie má párové hodnotenie?

Netranzitívne preferencie a nevhodný výber súperov môžu vytvoriť nestabilné poradie viacerých modelov.