Presná definícia
Čo znamená BERTScore?
BERTScore porovnáva tokeny kandidáta a referencie cez kosínusovú podobnosť ich kontextových embeddingov a agreguje presnosť, záchyt alebo F1. Dokáže zachytiť parafrázy lepšie než presná n-gramová zhoda, no dedí vlastnosti zvoleného enkódera.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri hodnotení slovenských odpovedí tím vyberie viacjazyčný enkóder, uloží jeho presnú verziu a testuje koreláciu skóre s expertmi. Prípady s vysokým skóre a chybným faktom analyzuje osobitne.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená BERTScore?
BERTScore porovnáva tokeny kandidáta a referencie cez kosínusovú podobnosť ich kontextových embeddingov a agreguje presnosť, záchyt alebo F1.
Kedy sa BERTScore používa?
Pri hodnotení slovenských odpovedí tím vyberie viacjazyčný enkóder, uloží jeho presnú verziu a testuje koreláciu skóre s expertmi.
Od čoho treba BERTScore odlíšiť?
BLEU porovnáva n-gramy povrchovej formy; BERTScore používa kontextové vektorové reprezentácie tokenov.
Ako sa BERTScore kontroluje?
Kontroluje sa model a vrstva embeddingov, tokenizácia, baseline rescaling, váhy IDF, viac referencií a batchová zhoda.
Aké obmedzenie má BERTScore?
Sémanticky blízke tokeny môžu dostať vysokú podobnosť aj vtedy, keď negácia alebo zamenená entita mení pravdivosť.