Slovník výrazov AI/Hodnotenie a metriky

Hodnotenie a metriky

chybovosť slov

Anglický výraz word error rate

špecializovanéheslo č. 10455 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená chybovosť slov?

Chybovosť slov WER je minimálny počet substitúcií, vynechaní a vložení potrebných na premenu rozpoznaného textu na referenciu, vydelený počtom slov referencie. Hodnota môže presiahnuť 100 %, ak systém vloží veľa slov.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Call centrum meria WER po jednotnej normalizácii čísel, interpunkcie a skratiek. Výsledky rozdelí podľa hluku, dialektu a typu hovoru a doplní mierou správne zachytených kľúčových údajov.

Overiteľnosť

Odborné zdroje

  1. scikit-learn - Metrics and scoring: quantifying prediction qualityscikit-learn.org
  2. NIST - AI Risk Management Framework 1.0doi.org

Praktické odpovede

Často kladené otázky

Čo presne znamená chybovosť slov?

Chybovosť slov WER je minimálny počet substitúcií, vynechaní a vložení potrebných na premenu rozpoznaného textu na referenciu, vydelený počtom slov referencie.

Kedy sa chybovosť slov používa?

Call centrum meria WER po jednotnej normalizácii čísel, interpunkcie a skratiek.

Od čoho treba chybovosť slov odlíšiť?

Character error rate používa znaky a lepšie odráža niektoré morfologické či bezmedzerové jazyky; WER používa slová.

Ako sa chybovosť slov kontroluje?

Overí sa tokenizácia, normalizačný skript, dynamické zarovnanie, počty S/D/I, menovateľ a príklady s prázdnou referenciou.

Aké obmedzenie má chybovosť slov?

Jedno číslo nerozlišuje, či chyba zmenila význam, a citlivo reaguje na pravidlá delenia slov a zápisu čísel.