Presná definícia
Čo znamená testovacia množina promptov?
Testovacia množina promptov je verzovaná kolekcia vstupných prípadov s očakávaniami, referenciami alebo rubrikami, na ktorej sa hodnotí modelový systém. Má pokrývať bežné, hraničné, regresné a adversariálne scenáre a zostať oddelená od optimalizácie. Jeden prompt môže mať viac prijateľných odpovedí, preto sa často používa rubrika.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pre asistenta sada obsahuje reálne anonymizované otázky, viac jazykov, nejasnosti, chýbajúce dôkazy a pokusy o zmenu pravidiel. Každý prípad má tag, závažnosť a metódu skórovania. Časť ostáva skrytá pred autormi promptu a pravidelne sa obnovuje podľa prevádzkových incidentov bez vymazania historických regresií.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje testovacia množina promptov?
Runner parametrizuje prípady, zostaví požiadavky a porovná výstupy s referenciou, invariantmi alebo ľudskou rubrikou.
Kedy má testovacia množina promptov praktický význam?
Pre asistenta sada obsahuje reálne anonymizované otázky, viac jazykov, nejasnosti, chýbajúce dôkazy a pokusy o zmenu pravidiel.
S čím si pojem nezamieňať?
Tréningová alebo vývojová sada slúži na iteráciu; testovacia sada má poskytovať nezávislý odhad generalizácie.
Ako sa výsledok kontroluje?
Audit kontroluje pokrytie, duplicitu, únik, kvalitu rubrík, zhodu hodnotiteľov a reprezentatívnosť prevádzky.
Na čo si dať pozor?
Statická sada zastará, malé segmenty dávajú hlučné závery a opakované ladenie na výsledkoch z nej z nej spraví vývojovú sadu.