Testovanie promptov: ako nahradiť dojem dôkazom

Jedna pôsobivá odpoveď nie je dôkaz. Prompt treba porovnať s baseline na reprezentatívnej golden set a samostatne sledovať kritické chyby, segmenty, stabilitu, cenu a latenciu.

Prompt nemožno seriózne hodnotiť jednou ukážkou. Jazykové modely pracujú s rôznorodými vstupmi, ich odpovede môžu kolísať a malá zmena modelu, dát či šablóny môže opraviť jednu skupinu prípadov a pokaziť inú. Testovanie promptov preto pripomína produktový experiment aj softvérovú regresiu. Výsledok ovplyvňuje model, prompt, kontext, nástroje, nastavenia, post-processing a vstupné dáta. Ak zmeníte viac vrstiev naraz, neviete, čo spôsobilo rozdiel. Experiment preto eviduje: Pri konverzačnom systéme testujte aj viac kôl, nie iba izolovanú otázku. Zlyhanie sa môže objaviť po oprave používateľa alebo po dlhej histórii. Niektoré chyby majú rozdielnu váhu. Nesprávna čiarka a vymyslená zdravotná rada nemôžu mať rovnaký bodový trest. Kritická chyba môže znamenať automatické nesplnenie release prahu. Sadu rozdeľte na vývojovú a držanú testovaciu časť. Ak prompt stále ladíte na rovnakých dvadsiatich prípadoch, môžete ich „preučiť“ bez zlepšenia v prevádzke. Golden set má vlastníka, verziu a proces dopĺňania. OpenAI opisuje takú sadu ako živú autoritatívnu referenciu pre konkrétny workflow, nie jednorazový benchmark.

Ťažisko tvoria časti „Čo presne testujete“, „Z požiadavky vytvorte metriku“ a „Golden set je živá referenčná sada“. Nejde iba o vysvetlenie pojmov. Kapitola ich prepája s rozhodnutiami, príkladmi a hranicami, ktoré treba poznať pri reálnom použití.

Po prečítaní budete vedieť vytvoriť reprezentatívnu golden set s držanou časťou a kombinovať deterministické, ľudské a modelové hodnotenie. Praktickým výsledkom bude schopnosť nastaviť release prahy, monitoring a regresné testy.

Kapitola odpovedá aj na otázku „Koľko testovacích prípadov stačí?“ Neexistuje univerzálne číslo. Sada musí pokryť bežné vstupy, hranice a všetky chyby s vysokým následkom; dôležitejšie je pokrytie než samotný počet.