Slovník výrazov AI/Hodnotenie a metriky

Hodnotenie a metriky

skóre BLEU

Anglický výraz BLEU score

špecializovanéheslo č. 10415 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená skóre BLEU?

BLEU je korpusová metrika strojového prekladu založená na modifikovanej precíznosti n-gramov medzi kandidátom a referenciami, geometrickom priemere a penalizácii príliš krátkeho výstupu. Meria povrchovú zhodu, nie úplnú správnosť významu.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Pri porovnaní prekladových modelov tím použije rovnakú tokenizáciu a viac referencií. BLEU uvedie za celý korpus a doplní ľudským hodnotením významu, terminológie a chýb na úrovni viet.

Overiteľnosť

Odborné zdroje

  1. Papineni et al. - BLEU: a Method for Automatic Evaluation of Machine Translationaclanthology.org
  2. Banerjee & Lavie - METEOR: An Automatic Metric for MT Evaluationaclanthology.org

Praktické odpovede

Často kladené otázky

Čo presne znamená skóre BLEU?

BLEU je korpusová metrika strojového prekladu založená na modifikovanej precíznosti n-gramov medzi kandidátom a referenciami, geometrickom priemere a penalizácii príliš krátkeho výstupu.

Kedy sa skóre BLEU používa?

Pri porovnaní prekladových modelov tím použije rovnakú tokenizáciu a viac referencií.

Od čoho treba skóre BLEU odlíšiť?

Sentence-level podobnosť nie je pôvodným cieľom BLEU; korpusové skóre agreguje n-gramové štatistiky naprieč súborom.

Ako sa skóre BLEU kontroluje?

Overí sa verzia tokenizácie, maximálny rád n-gramu, smoothing, počet referencií, brevity penalty a reprodukcia známym nástrojom.

Aké obmedzenie má skóre BLEU?

Správna parafráza môže dostať nízke skóre, zatiaľ čo lexikálne podobný preklad môže zachovať vážnu významovú chybu.