Slovník výrazov AI/Hodnotenie a metriky

Hodnotenie a metriky

skóre METEOR

Anglický výraz METEOR score

špecializovanéheslo č. 10435 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená skóre METEOR?

METEOR je metrika prekladu, ktorá vytvára zarovnanie unigrams medzi kandidátom a referenciou pomocou presnej zhody, kmeňov a voliteľných synonymických väzieb. Kombinuje precíznosť so záchytom a penalizuje rozdrobené poradie zhôd.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Tím použije METEOR pre jazyk, pre ktorý má podporované jazykové zdroje, a zdokumentuje ich verziu. Výsledok porovná s BLEU a ľudským posúdením prekladových posunov.

Overiteľnosť

Odborné zdroje

  1. Banerjee & Lavie - METEOR: An Automatic Metric for MT Evaluationaclanthology.org
  2. Zhang et al. - BERTScore: Evaluating Text Generation with BERTarxiv.org

Praktické odpovede

Často kladené otázky

Čo presne znamená skóre METEOR?

METEOR je metrika prekladu, ktorá vytvára zarovnanie unigrams medzi kandidátom a referenciou pomocou presnej zhody, kmeňov a voliteľných synonymických väzieb.

Kedy sa skóre METEOR používa?

Tím použije METEOR pre jazyk, pre ktorý má podporované jazykové zdroje, a zdokumentuje ich verziu.

Od čoho treba skóre METEOR odlíšiť?

BERTScore používa kontextové embeddingy; METEOR pracuje s explicitným slovným zarovnaním a jazykovými zdrojmi.

Ako sa skóre METEOR kontroluje?

Overí sa jazykový modul, normalizácia, váhy precíznosti a záchytu, fragmentačná penalizácia a verzia implementácie.

Aké obmedzenie má skóre METEOR?

Dostupnosť stemmera a synonymického slovníka sa medzi jazykmi líši, preto skóre nemá všade rovnakú výpovednú hodnotu.