Presná definícia
Čo znamená referenčná odpoveď?
Referenčná odpoveď je očakávaný správny výstup alebo množina prijateľných výstupov, voči ktorým sa porovnáva predikcia. Musí odrážať skutočné kritérium úlohy; pri otvorených otázkach jedna formulácia často nepokrýva všetky správne možnosti.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri extrakcii sumy sa uloží kanonická hodnota aj pravidlá jednotiek. Pri sumarizácii sa použije viac expertných referencií a automatické skóre doplní kontrola faktov, aby sa netrestala legitímna parafráza.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená referenčná odpoveď?
Referenčná odpoveď je očakávaný správny výstup alebo množina prijateľných výstupov, voči ktorým sa porovnáva predikcia.
Kedy sa referenčná odpoveď používa?
Pri extrakcii sumy sa uloží kanonická hodnota aj pravidlá jednotiek.
Od čoho treba referenčná odpoveď odlíšiť?
Zlatý štítok býva cieľ jednej položky; referenčná odpoveď môže obsahovať štruktúru, viac variantov alebo vysvetlenie.
Ako sa referenčná odpoveď kontroluje?
Referencie prejdú dvojitou anotáciou, kontrolou konzistencie, verziovaním a testom, či podporujú skutočne prijateľné odpovede.
Aké obmedzenie má referenčná odpoveď?
Neúplná alebo chybná referencia zmení dobrú odpoveď na zdanlivú chybu a prenesie omyl do všetkých metrík.