Čo AI dokáže a kde má limity

Nástroj správne preloží náročný odsek a vzápätí nesprávne prečíta dátum v jednoduchej tabuľke. Tento rozpor nie je výnimočnou logickou záhadou. Výkon modelu sa líši podľa úlohy, vstupu a spôsobu spracovania. Z jednej úspešnej odpovede sa nedá odvodiť všeobecná spoľahlivosť.

Po tejto kapitole budete vedieť vybrať vhodný spôsob kontroly. Rozlíšite plynulosť, správnosť, úplnosť a použiteľnosť výstupu. Naučíte sa tiež čítať údaj o úspešnosti bez toho, aby ste mu pripisovali širší význam, než poskytuje.

Schopnosť treba viazať na konkrétnu úlohu

AI môže pomáhať pri triedení, odhadoch, vyhľadávaní, transformácii obsahu a viacstupňovej práci. Slovo dokáže však potrebuje podmienky. Aké vstupy? Aký požadovaný výsledok? S akou chybovosťou? S akou ľudskou podporou?

Model môže dobre sumarizovať krátke oznamy a horšie pracovať s dlhou zmluvou. Môže úspešne rozpoznať bežný predmet na jasnej fotografii a zlyhať na drobnom poškodení. Rozdiel často vyplýva z dát, reprezentácie a nárokov úlohy.

Stanford AI Index 2026 opisuje nerovnomernosť schopností a výsledkov v rozličných testoch. Aj výrazný pokrok v náročnej oblasti môže sprevádzať slabší výkon pri inej úlohe. Taký prehľad poskytuje kontext, nie hodnotenie vášho konkrétneho pracovného postupu. Stanford HAI: AI Index 2026.

Pri výbere nástroja preto začnite vlastnou sadou prípadov. Pokryte bežné zadania aj tie, pri ktorých je chyba dôležitá. Výber najlepších ukážok z reklamy nepredstavuje test použiteľnosti.

Plynulosť a pravdivosť sú rozdielne hodnotenia

Plynulosť znamená, že text dobre nadväzuje a je jazykovo prirodzený. Pravdivosť vyžaduje zhodu tvrdení so skutočnosťou. Úplnosť znamená, že nechýba potrebná časť. Výstup môže spĺňať jednu vlastnosť a zlyhať v ďalšej.

V modelovom zhrnutí oznamu je správny dátum a pekná formulácia, ale chýba výnimka pre jednu skupinu návštevníkov. Text môže byť pravdivý v tom, čo uvádza, a zároveň nevhodný na použitie, pretože je neúplný.

Pri odbornom vysvetlení môže jazyková istota zakrývať nesprávny pojem. Čitateľ bez predchádzajúcej znalosti nemá ľahký spôsob, ako chybu spoznať. Preto je zdroj a kontrola významu zvlášť dôležitá pri vzdelávacom obsahu.

Nežiadajte iba „napíš odborne“. Určte, čo musí byť zachované, ktoré tvrdenia potrebujú oporu a ako sa má označiť neistota. Dobre nastavená úloha pomáha hodnoteniu, ale nenahrádza overenie.

Halucinácia je presvedčivý obsah bez dostatočnej opory

Pri generatívnej AI sa halucináciou označuje vytvorenie nepravdivého alebo nepodloženého obsahu. Môže ísť o vymyslený zdroj, nesprávny údaj alebo vlastnosť dokumentu, ktorú text neobsahuje. NIST túto oblasť opisuje aj pojmom konfabulácia. NIST: Generative Artificial Intelligence Profile.

Halucinácia nemusí byť úplne absurdná. Práve malé a vierohodné odchýlky sa ťažko odhaľujú. Názov skutočnej knihy môže byť spojený s nesprávnym autorom. Platný paragraf môže byť citovaný v otázke, ktorú neupravuje.

Pre používateľa je podstatný postup. Rozdeľte odpoveď na overiteľné tvrdenia. Pri čísle skontrolujte jednotku a obdobie. Pri zdroji názov a obsah. Pri dokumente konkrétnu pasáž. Celkový dojem dôveryhodnosti nestačí.

Opakovaná otázka nemusí poskytnúť nezávislú kontrolu. Ten istý model môže znovu vytvoriť podobnú chybu. Aj druhý systém môže čerpať z rovnakého nesprávneho podkladu. Nezávislosť kontroly závisí od zdroja, nie iba od iného názvu nástroja.

Neistota potrebuje primerané vyjadrenie

Systém môže poskytovať skóre alebo slovne vyjadriť istotu. Ani jedna forma sa nemá automaticky chápať ako overená pravdepodobnosť správnosti. Kalibrácia skúma vzťah medzi predikovanou istotou a skutočným výkonom.

Ak model pri skupine prípadov uvádza vysokú istotu, ale často sa mýli, istota nie je dobre kalibrovaná. Pri generovanom texte navyše fráza „som si istý“ môže byť iba jazykový výstup.

V modelovej úlohe odčítania nejasného čísla je užitočnejšie označiť dve možné čítania než vybrať jednu verziu s presvedčivou vetou. Neistota pomáha používateľovi rozhodnúť, kde treba dodatočný podklad.

Správne odmietnutie odhadu môže byť známkou kvality. Ak obrázok neumožňuje rozpoznať detail, výstup „neviem určiť“ je lepší než presné označenie bez opory. Hodnotenie má preto odmeňovať aj primeranú zdržanlivosť.

Chyba môže byť vo vstupoch alebo v celom procese

Model nemusí byť jediným zdrojom problému. Dokument môže byť neúplný, vyhľadávač môže vybrať zlú stránku a aplikácia môže zameniť súbor. Nesprávne zadaná otázka môže požadovať iný výsledok, než človek potrebuje.

Predstavte si sumarizáciu aktuálneho školského poriadku. Systém spracuje staršiu verziu a zhrnie ju presne. Jazyková časť nevytvorila halucináciu, ale výsledok je stále nevhodný. Chyba vznikla pri výbere podkladu.

Pri vyhodnocovaní preto odlíšte získanie údajov, ich spracovanie a vykonanú akciu. Toto členenie umožňuje zvoliť opravu. Lepší prompt nepomôže, ak systém nemá prístup k správnemu dokumentu.

Zmena prostredia môže zhoršiť výkon

Model sa učí na určitom súbore prípadov. Pri použití dostáva nové. Ak sa podmienky výrazne líšia, výsledok môže klesnúť. Časová zmena, iné osvetlenie, iný jazyk alebo odlišná skupina používateľov sú praktické príklady.

Modelový triedič správ trénovaný na formálnych e-mailoch môže mať problém s krátkymi správami plnými skratiek. Obrazový model overený pri dennom svetle môže horšie spracovať nočný záber. Chyba nemusí znamenať, že model „zabudol“, ale že dostal odlišné vstupy.

Generalizácia je schopnosť fungovať na nových relevantných prípadoch. Nemožno ju preukázať iba výsledkom na tréningových dátach. Google: Generalization.

V pracovnom procese preto treba pravidelne porovnávať očakávané a skutočné podmienky. Overenie z minulého roka nemusí pokrývať nový sortiment alebo zmenu formulárov.

Predpojatosť nemusí byť viditeľná v priemere

Výsledok môže byť rozdielny pre skupiny prípadov. Celkové skóre môže zakryť slabší výkon na menšinovom jazyku, zriedkavom type dokumentu alebo odlišnej skupine ľudí.

Výskum diskriminácie v rozhodnutiach jazykových modelov skúmal rozdiely pri modelových rozhodovacích úlohách. Jeho výsledky patria k daným experimentom; nie sú dôkazom rovnakého správania každého produktu. Tamkin a kolektív, 2023.

V modelovej organizácii treba testovať prípady, ktoré zodpovedajú jej používateľom. Ak všetky testové správy pochádzajú od ľudí používajúcich spisovný jazyk, nevypovedajú dostatočne o výkone na správach s jazykovými chybami.

Etické posúdenie navyše nie je iba štatistické. Rozhodujeme aj o tom, ktoré údaje sú vhodné, aké dôsledky má chyba a či človek môže výsledok spochybniť. Priemerná úspešnosť nevyrieši tieto otázky.

Jedno percento úspešnosti môže zavádzať

Modelová kontrola má tisíc prípadov. Desať je problémových a deväťsto deväťdesiat bez problému. Systém označí všetky ako bezproblémové. Má deväťdesiatdeväťpercentnú presnosť, ale neodhalil ani jeden problém.

Tento príklad vysvetľuje, prečo samotná accuracy nemusí stačiť. Precision sa pýta, aká časť pozitívnych označení bola správna. Recall sa pýta, akú časť skutočných pozitívnych prípadov systém zachytil. Google: Accuracy, recall, precision and related metrics.

V ďalšom modelovom teste systém správne označí osem problémov a nesprávne upozorní na dvanásť bežných prípadov. Pozitívnych označení je dvadsať. Precision je osem z dvadsiatich, teda štyridsať percent. Recall je osem z desiatich, teda osemdesiat percent.

Každá hodnota opisuje inú vlastnosť. Všetky čísla v tomto príklade sú didaktické. Vo vlastnom projekte treba zvoliť metriky podľa úlohy a nákladov jednotlivých chýb.

Prah mení rovnováhu medzi chybami

Ak model poskytuje skóre, pravidlo môže určiť hranicu pre upozornenie. Nižší prah môže zachytiť viac problémov a zároveň zvýšiť počet zbytočných upozornení. Vyšší prah môže obmedziť upozornenia, ale niektoré problémy prehliadne.

V modelovej kontrole dokumentov môže byť prijateľné označiť viac prípadov na ľudské preverenie. Ak však každé označenie automaticky zablokuje službu, nesprávny poplach má väčší dôsledok. Prah teda nemožno vybrať bez znalosti následnej akcie.

Výsledok modelu a rozhodovací postup preto patria do spoločného hodnotenia. Kvalitný odhad môže byť použitý nevhodným prahom alebo bez možnosti opravy.

Benchmark nie je váš pracovný deň

Benchmark je určený súbor úloh a pravidiel hodnotenia. Umožňuje porovnávať systémy, ale jeho výsledok platí v opísaných podmienkach. Rozdiely môžu vzniknúť z modelu, nástrojov, počtu pokusov alebo spôsobu kontroly.

SWE-bench používa úlohy spojené s reálnymi softvérovými repozitármi. OSWorld skúma činnosti v počítačovom prostredí. Oba ilustrujú snahu merať viac než krátku jazykovú odpoveď. Jimenez a kolektív, 2023; Xie a kolektív, 2024.

Z výsledku nevyplýva rovnaká spoľahlivosť na všetkých vašich súboroch alebo v inom rozhraní. Potrebujete vlastné prípady a kontrolu konečného stavu. Úspešný opis akcie nie je to isté ako vykonaná akcia.

Pri čítaní porovnania hľadajte aj podmienky: koľko pokusov bolo povolených, ktoré nástroje boli dostupné a či sa hodnotil priemer alebo najlepší výsledok. Bez nich sa skóre môže ľahko preceniť.

Ľudský dohľad musí mať reálny obsah

Veta „človek kontroluje výsledok“ nestačí. Kontrolór musí mať čas, schopnosť rozpoznať chybu a prístup k podkladom. Musí tiež môcť výsledok zmeniť alebo zastaviť.

V modelovej administratíve pracovník schvaľuje stovky návrhov. Ak vidí iba hotový text bez zdroja, kontrola sa môže zmeniť na rýchle potvrdenie. Presvedčivý štýl podporuje dôveru aj tam, kde podklad chýba.

Vhodnejšie je ukázať konkrétnu oporu, označiť neisté údaje a obmedziť činnosti, ktoré sa vykonávajú bez schválenia. Pri kritických prípadoch môže byť potrebná odborná kontrola, nie iba všeobecná čitateľská kontrola.

Rámec NIST pristupuje k riziku cez riadenie, mapovanie, meranie a priebežné zvládanie. Posudzovanie sa teda týka celého životného cyklu, nie iba jedného testu modelu. NIST: AI Risk Management Framework.

Užitočnosť merajte po započítaní kontroly

Model vytvorí prvý návrh za krátky čas. Použiteľný výsledok však môže vyžadovať úpravy, kontrolu zdrojov a opravu významu. Ak meriate iba čas generovania, nezískate pravdivý obraz produktivity.

V modelovej redakcii porovnajte dve skupiny podobných úloh. Zaznamenajte čas do schváleného textu, počet podstatných opráv a kvalitu výsledku. Posúďte aj situácie, pri ktorých nástroj nepomohol.

Takéto hodnotenie nevyžaduje veľký experiment na začiatku. Dôležitá je dôslednosť a porovnateľnosť. Príliš ľahké úlohy alebo výber iba úspešných prípadov vytvoria skreslený obraz.

Rovnaká chyba má rozdielny praktický dôsledok

Pri návrhu mena vymyslenej postavy môžeme nechcenú podobnosť jednoducho upraviť. Pri prepise dátumu podujatia môže jediný chybný znak spôsobiť, že návštevník príde v nesprávny deň. Rozsah potrebnej kontroly preto vychádza z použitia výsledku, nie iba z jeho dĺžky.

Modelová organizácia pripravuje dva texty. Prvý je interný námet na plagát. Druhý je verejný oznam s termínom registrácie. V oboch sa používa podobný jazykový nástroj, ale pri druhom má význam overiť všetky rozhodujúce údaje v platnom podklade pred zverejnením.

Zároveň sa pýtame, či sa chyba dá včas napraviť. Nesprávny návrh uložený v pracovnom súbore má iný dosah než automaticky rozoslaná správa. Kontrolné miesto má byť pred krokom, ktorý vytvorí dôležitý následok.

To neznamená, že každý výstup potrebuje rovnaký rozsiahly proces. Potrebujeme primerané pravidlo pre konkrétnu úlohu. Tak zachováme prínos rýchleho návrhu a zároveň venujeme pozornosť údajom, na ktorých závisí výsledné konanie.

Kontext môže byť dostupný a napriek tomu zle použitý

Chyba nevzniká iba vtedy, keď údaj chýba. Model môže dostať celú vetu a nesprávne interpretovať jej vzťahy. Napríklad výnimku pre jednu skupinu rozšíri na všetkých alebo plánovanú zmenu opíše ako uskutočnenú.

V modelovom ozname sa uvádza, že pobočka bude uzavretá, ak sa práce neukončia včas. Skrátenie na vetu „pobočka bude uzavretá“ odstráni podmienku. Základný význam slova uzavretá je zachovaný, ale celkové tvrdenie sa zmenilo.

Pri hodnotení preto nestačí hľadať zhodné kľúčové slová. Kontrolujeme, kto vykonáva akciu, na koho sa pravidlo vzťahuje, kedy platí a za akej podmienky. Rovnaké slová môžu tvoriť odlišné tvrdenia.

Tento druh kontroly je zvlášť užitočný pri sumarizácii. Dobrý stručný text zachováva podstatné vzťahy aj pri znížení počtu slov. Ak skrátenie odstráni rozhodujúcu podmienku, treba zmeniť formuláciu alebo povoliť dlhší výstup.

Nesprávny predpoklad v otázke

Používateľ sa môže opýtať, prečo organizácia zrušila službu, hoci služba stále funguje. Systém môže pokračovať vysvetlením údajného dôvodu. Plynulá odpoveď potom rozvíja udalosť, ktorá nebola overená.

V testovaní zaradíme aj takúto otázku. Vhodná odpoveď má preveriť predpoklad alebo uviesť, že dostupné podklady ho nepotvrdzujú. Hodnotíme schopnosť zastaviť nepodložený výklad, nie iba ochotu vytvoriť vysvetlenie.

Podobný problém vzniká pri otázke s dvoma možnosťami, z ktorých ani jedna nie je správna. „Je termín v piatok alebo v sobotu?“ nemusí zodpovedať oznamu, ktorý uvádza nedeľu. Výber z ponuky by zmenil správny údaj.

Používateľ môže pomôcť tým, že oddelí svoje predpoklady od zistených informácií. Model však musí byť hodnotený aj na reálnych nepresných otázkach. Nemôžeme predpokladať, že každý používateľ poskytne dokonalé zadanie.

Vytvorte test z vlastných reprezentatívnych prípadov

Pre modelový sumarizačný nástroj pripravíme desať oznamov. Nie sú to náhodne vybrané najjednoduchšie texty. Jeden obsahuje výnimku, ďalší zmenu termínu, tretí dve podobné pobočky a ďalší neúplný údaj. Zaraďujeme aj bežné prípady, ktoré budú tvoriť väčšinu používania.

Pri každom vopred stanovíme povinné informácie a neprípustné zmeny. Ak čakáme zachovanie dátumu, zapíšeme správny dátum. Ak je údaj neznámy, vhodný výsledok má túto nejasnosť zachovať. Kritériá neurčujeme až podľa toho, čo model náhodou vytvoril.

Potom výsledky kontrolujeme jednotným postupom. Oddelíme faktickú chybu, vynechanie a jazykový nedostatok. Rovnaké kritériá používame aj pri porovnaní s pôvodným pracovným postupom.

Taký súbor je úvodným preverovaním, nie úplným dôkazom spoľahlivosti. Jeho prínos spočíva v konkrétnom odhalení slabých miest. Pri väčšom nasadení potrebujeme primerane širšie overenie a sledovanie skutočných prípadov.

Nula chýb v malom teste nie je záruka

Ak nástroj správne spracuje desať pripravených dokumentov, vieme, že v týchto prípadoch pri danom skúšaní nezlyhal. Nevieme, že sa nikdy nepomýli. Ďalší dokument môže mať odlišnú štruktúru alebo obsahovať situáciu, ktorú test nepokrýval.

Dôležitý je počet aj rozmanitosť príkladov. Sto takmer rovnakých oznamov nemusí preveriť viac druhov problémov než menší, dobre zvolený súbor. Na druhej strane niekoľko náročných prípadov neodhadne spoľahlivo bežnú frekvenciu chýb v prevádzke.

Potrebujeme preto rozlišovať účel testu. Jeden súbor hľadá konkrétne slabiny, iný približuje skutočné zastúpenie úloh. Výsledky môžu byť odlišné bez toho, aby si odporovali.

Pri komunikácii sa vyhneme vete „model je bezchybný“. Uvedieme rozsah, podmienky a pozorované výsledky. Také vyjadrenie je jednoznačné a zároveň neprekračuje dôkazy, ktoré máme.

Viac krokov vytvára viac miest na zlyhanie

V čisto modelovom výpočte predpokladajme päť nezávislých krokov, každý s úspešnosťou deväťdesiat percent. Ak na úplný úspech potrebujeme všetkých päť, pravdepodobnosť je 0,9 na piatu, približne päťdesiatdeväť percent. Nejde o odhad žiadneho skutočného produktu.

Príklad ukazuje význam predpokladov. Kroky v reálnom procese často nie sú nezávislé. Jedna chybná identifikácia môže poškodiť viac ďalších krokov. Naopak, kontrola a oprava môžu celkový výsledok zlepšiť. Jednoduché násobenie teda nemožno automaticky použiť na každého agenta.

Pri hodnotení zaznamenáme miesto zlyhania aj konečný stav. Vyhľadanie môže byť správne, ale extrakcia neúplná. Výpočet môže byť presný, ale zápis výsledku do súboru chybný. Jedno priemerné skóre jednotlivých častí nemusí vystihovať úspech celej úlohy.

Praktická otázka znie, kde sa oplatí vložiť kontrolu a čo sa stane po jej zlyhaní. Viacstupňové riešenie potrebuje overovanie nadväzností, nie iba kvalitnú odpoveď v každom izolovanom kroku.

Odmietnutie odpovede treba merať spolu s pokrytím

Systém môže dosahovať málo chýb tým, že odpovie iba na najjednoduchšie prípady. To môže byť vhodné, ak ostatné jasne odovzdá človeku. Nemali by sme však jeho úspešnosť prezentovať bez údaja, koľko prípadov skutočne spracoval.

V modelovom teste zo sto dokumentov nástroj odpovie na štyridsať a dva spracuje chybne. Na ostatné neodpovie. Správnych je tridsaťosem zo štyridsiatich zodpovedaných, teda deväťdesiatpäť percent. Pokrytie je však štyridsať percent pôvodného súboru.

Obe čísla sú potrebné na posúdenie použiteľnosti. Ak človek zvládne zvyšných šesťdesiat, riešenie môže pomáhať. Ak sa tie prípady stratia bez upozornenia, vzniká problém s úplnosťou procesu.

Pri nastavení preto určujeme, čo sa stane pri neistote. Primerané odovzdanie, viditeľné označenie a možnosť doplniť podklad môžu byť dôležitejšie než snaha vytvoriť odpoveď za každých okolností.

Priemerný čas môže zakryť náročné opravy

Nástroj spracuje väčšinu jednoduchých textov rýchlo, ale pri menšej skupine vytvorí omyl vyžadujúci dlhú kontrolu. Priemerný čas prvého návrhu túto časť práce nezachytí. Potrebujeme merať čas až po použiteľný výsledok.

V modelovej redakcii si preto zapisujeme aj čas opráv a druh chyby. Zmena slovosledu a dohľadanie nesprávneho zdroja majú odlišné nároky. Druhá oprava môže vyžadovať odborníka, ktorý pri pôvodnom postupe nebol potrebný v rovnakej miere.

Zároveň kontrolujeme, či sa práca iba nepresunula na iného človeka. Rýchlejší autor návrhu môže znamenať viac práce pre editora. Hodnotenie celého procesu musí zahrnúť obe časti.

Také meranie pomáha nájsť úlohy, pri ktorých je AI naozaj užitočná. Nemusíme rozhodnúť jedným verdiktom pre celú organizáciu. Jeden druh textu môže prinášať úsporu a iný vyžadovať zachovanie pôvodného postupu.

Presvedčivý návrh môže ovplyvniť kontrolóra

Keď človek najprv uvidí hotovú odpoveď, môže sa jej formulácie držať aj pri kontrole. V modelovej úlohe prehliadne výnimku, pretože návrh už vytvoril presvedčivý rámec. Preto potrebujeme kontrolný postup naviazaný na pôvodné údaje.

Kontrolór si môže najprv zaznamenať rozhodujúce informácie z podkladu a až potom porovnať návrh. Pri termíne, počte alebo povinnej podmienke tak má vlastný kontrolný bod. Nie je odkázaný iba na dojem, že veta znie správne.

Pri odborných otázkach pomáha rozdeliť kontrolu obsahu a jazyka. Človek, ktorý posudzuje štýl, nemusí mať kvalifikáciu na faktické overenie. Jasná úloha kontrolóra zvyšuje šancu, že sa pozornosť sústredí na príslušný druh chyby.

Takáto organizácia kontroly neodstraňuje všetky omyly. Poskytuje však konkrétnejší postup než všeobecný pokyn „skontrolujte AI“. Je dôležité vedieť, čo sa kontroluje, podľa čoho a kto môže výsledok opraviť.

Rôzne skupiny potrebujú dostatok relevantných príkladov

Ak prepisovač funguje dobre na čistých nahrávkach, nemusí mať rovnaký výkon pri rýchlom hovorení alebo slabšom mikrofóne. Celkové skóre môže vyzerať priaznivo, ak problémová skupina tvorí iba malú časť testu.

V modelovom vzdelávacom centre preto rozdelíme výsledky podľa podmienok, ktoré sú relevantné pre jeho používanie. Nezavádzame kategórie len preto, že sa dajú ľahko spočítať. Sledujeme rozdiely, ktoré môžu ovplyvniť dostupnosť a kvalitu služby.

Pri malej skupine potrebujeme opatrne interpretovať čísla. Dva prípady neposkytujú rovnakú oporu ako rozsiahlejší súbor. Ak je skupina dôležitá, môžeme pripraviť ďalšie vhodné príklady namiesto predstierania presného odhadu.

Zistený rozdiel tiež nevysvetľuje automaticky príčinu. Môže súvisieť s kvalitou záznamu, obsahom alebo tréningovým zastúpením. Ďalší rozbor má preveriť konkrétnu hypotézu, nie iba priradiť všeobecnú nálepku.

Externý text môže obsahovať pokyn na zmenu správania

Pri prompt injection sa obsah vstupu snaží ovplyvniť správanie modelu spôsobom, ktorý sa odchyľuje od zamýšľanej úlohy. OWASP rozlišuje aj nepriamu podobu, keď sa taký obsah nachádza napríklad v načítanom dokumente. OWASP: Prompt Injection.

Predstavme si dokument určený na zhrnutie, ktorý obsahuje vetu požadujúcu ignorovanie zadania a vykonanie inej činnosti. Dokument je podkladom, nie automaticky oprávneným autorom pokynov. Systém však nemusí túto hranicu vždy zachovať.

Praktický dôsledok je dôležitý najmä pri dostupných nástrojoch. Nestačí hodnotiť iba správnosť zhrnutia. Potrebujeme obmedziť povolené akcie a prístupy. Test má zahŕňať aj nežiaduce pokyny v externých podkladoch.

Žiadna jednoduchá veta v zadaní neposkytuje všeobecnú záruku ochrany. Ide o vlastnosť celého systému a jeho oprávnení. Pri používateľskom hodnotení preto sledujeme, či aplikácia zachováva hranice úlohy aj v neštandardných vstupoch.

Aktuálnosť je vlastnosť zdroja aj procesu

Model môže správne vysvetliť všeobecný pojem a nesprávne uviesť dnešný termín. Pri aktuálnych údajoch potrebujeme podklad z relevantného obdobia. Samotné tvrdenie aplikácie, že používa internet, nepreukazuje správny výber.

V modelovej otázke na otváracie hodiny skontrolujeme pobočku, deň a výnimku. Všeobecná stránka môže byť platná, ale osobitný oznam mení podmienky pre konkrétny dátum. Aktuálnosť sa teda neposudzuje iba podľa času posledného načítania.

Pri odbornom výskume zase nový článok nemusí automaticky nahradiť všetky staršie zdroje. Základná definícia môže zostať platná, zatiaľ čo výsledky konkrétnych modelov sa menia. Rozlišujeme stabilné poznatky a časovo citlivé tvrdenia.

Vzdelávací web má preto zaznamenávať dátum overenia tam, kde má význam. Aktualizácia nemá spočívať iba v zmene dátumu na stránke. Potrebujeme znovu preveriť príslušné tvrdenia a odkazy.

Oprava jednej chyby môže vytvoriť inú

Po nesprávnom termíne pridáme pokyn na dôsledné zachovanie čísel. Nový návrh môže čísla zachovať, ale vynechať názov pobočky. Úprava jednej požiadavky preto nemusí zlepšiť všetky časti odpovede naraz.

Pri modelovom testovaní si ponecháme pôvodné prípady a pridáme príklad odhalenej chyby. Po zmene porovnáme výsledky podľa rovnakých kritérií. Tak zistíme, či sa oprava nespája so zhoršením inde.

Nemusíme vytvárať rozsiahly technický systém pre každý malý návrh. Pri opakovane používanej službe však má význam uchovávať reprezentatívne prípady. Inak každý dobrý nový výsledok môže zakryť stratu predchádzajúcej schopnosti.

Aj zmena verzie modelu alebo spôsobu vyhľadávania môže ovplyvniť výsledok. Záznam podmienok pomáha určiť, či problém vznikol novým podkladom, nastavením alebo správaním komponentu.

Kto rozhoduje pri nezhode

Dva zdroje môžu uvádzať odlišné údaje. Model môže navrhnúť ich zlúčenie, ale nie každý rozpor sa dá vyriešiť kompromisom. Pri termíne podujatia priemer dvoch dátumov nevytvára správnu odpoveď.

V modelovej redakcii je vhodný postup overiť pôvod a platnosť. Starý návrh, aktuálny oznam a neoficiálne zhrnutie majú odlišné úlohy. Ak sa rozpor nedá odstrániť, uvedieme ho a odložíme rozhodujúce tvrdenie.

Človek má mať možnosť zistiť, prečo sa určitý údaj použil. Hotový text bez podkladov sťažuje odborné rozhodnutie. Viditeľný rozpor môže byť užitočnejším výstupom než uhladená veta, ktorá ho skryje.

Takýto postup učí pracovať s neistotou vecne. Nemusíme nazvať všetko nespoľahlivým ani vybrať prvý dostupný údaj. Hľadáme vhodnú oporu a jasne pomenúvame hranicu dostupného poznania.

Limity pri hodnotení porozumenia

Správna odpoveď môže ukazovať, že model zvládol určitú úlohu. Sama osebe však neurčuje, či jeho vnútorný proces zodpovedá ľudskému porozumeniu. Pojem porozumenie používame v bežnej reči aj v odborných debatách rôzne.

Pedagogicky je preto vhodné začať pozorovateľnou schopnosťou. Model rozlíšil význam vety, použil pravidlo alebo správne vysvetlil príklad. Taký opis je kontrolovateľný a nevyžaduje definitívny záver o vedomí.

Rovnako by bolo nepresné vyvodzovať z jednej chyby úplnú neprítomnosť všetkých relevantných schopností. Výkon môže byť nerovnomerný. Potrebujeme skúmať, ktoré zmeny vstupu model zvláda a pri ktorých sa rozpadá správny výsledok.

Tento prístup umožňuje zachovať odbornú opatrnosť bez nejasného vyjadrovania. Hovoríme presne o tom, čo bolo overené, a širšie filozofické otázky odlišujeme od praktického hodnotenia služby.

Dostupná informácia a oprávnený prístup

Model môže poznať všeobecný opis služby, ale nemusí mať prístup ku konkrétnemu záznamu používateľa. Ak aplikácia nemá príslušné prepojenie, nemôže samotnou jazykovou odpoveďou overiť stav rezervácie. Rozdiel medzi všeobecnou znalosťou a dostupným osobným záznamom je podstatný.

V modelovej otázke na vypožičanú knihu môže systém vysvetliť bežný postup predĺženia. Na overenie konkrétneho termínu však potrebuje relevantný záznam a vhodné oprávnenie. Vymyslený dátum by bol nepodloženým údajom, aj keby zodpovedal obvyklej lehote.

Používateľ má tiež vedieť, ktoré podklady sám poskytol. Ak do otázky vloží svoj termín, odpoveď môže iba vychádzať z neho. To nie je nezávislé overenie v informačnom systéme.

Pri hodnotení preto sledujeme pôvod konkrétnej informácie. Naučená všeobecná súvislosť, údaj od používateľa a výsledok nástroja majú odlišnú dôkaznú hodnotu pre aktuálny stav.

Záznam chyby pomáha nájsť opakujúci sa problém

Keď systém zlyhá, uchováme relevantný vstup, výstup a okolnosti v primeranom rozsahu. Bez nich môže neskorší rozbor skončiť pri spomienke, že raz uviedol nesprávny údaj. Konkrétny záznam umožňuje preveriť príčinu.

V modelovej redakcii sa niekoľkokrát stratí výnimka. Porovnanie prípadov môže ukázať, že sa nachádza v poznámke pod tabuľkou. Potom preveríme extrakciu tejto časti namiesto neustáleho pridávania všeobecných pokynov na dôslednosť.

Záznam tiež obsahuje spôsob opravy. Rozlišujeme opravu podkladu, zadania a pracovného postupu. Ak sa zmenilo viac vecí naraz, účinok jednej z nich nemusíme vedieť spoľahlivo určiť.

Taká evidencia má byť primeraná údajom a účelu. Nepotrebujeme bezdôvodne uchovávať citlivý obsah. Cieľom je porozumieť opakujúcim sa chybám a zlepšiť kontrolu relevantných prípadov.

Vlastná kontrola modelu je ďalší krok, nie nezávislý dôkaz

Požiadame model, aby skontroloval svoju odpoveď. Môže nájsť chybu, ale môže aj pôvodný omyl potvrdiť alebo navrhnúť nesprávnu opravu. Výsledok závisí od úlohy a dostupnej opory. Samotná druhá odpoveď neuzatvára overenie.

V modelovom výpočte je účinnejšie znovu použiť správne vstupy v kontrolovateľnom výpočtovom nástroji. Pri tvrdení o dokumente porovnáme konkrétnu pasáž. Tak získame podklad odlišný od opakovaného slovného uistenia.

Aj ďalší model môže pomôcť ako kontrolór, ak má vhodné kritériá. Jeho záver však stále hodnotíme podľa dôkazov. Súhlas dvoch systémov nemusí byť nezávislý, ak oba preberajú tú istú chybnú informáciu.

Pri výučbe je užitočné dať študentovi úlohu overiť jednu odpoveď dvoma postupmi. Jeden nech je opätovné opýtanie a druhý kontrola originálu. Rozdiel ukáže, prečo zdroj overenia ovplyvňuje jeho hodnotu.

Vhodný výsledok nemusí byť najdlhšia odpoveď

Pri chýbajúcom údaji môže byť správnym výsledkom krátke upozornenie a konkrétna požiadavka na doplnenie. Dlhé vysvetlenie s odhadmi by iba zväčšilo množstvo nepodloženého obsahu. Hodnotenie preto nemá zamieňať rozsah s kvalitou.

Naopak, pri odbornom učive môže stručná definícia vynechať rozhodujúce rozlíšenie. Potrebujeme príklad a vysvetlenie hranice pojmu. Primeraná dĺžka vychádza z účelu a publika, nie z všeobecnej preferencie krátkych či rozsiahlych odpovedí.

Praktická kontrola podľa druhu výstupu

Úloha: nájdite nesprávne hodnotenie

Tím tvrdí, že sumarizačný nástroj je spoľahlivý, pretože desať odpovedí malo výbornú slovenčinu. Čo v hodnotení chýba?

Chýba kontrola významu, úplnosti a zhody s podkladom. Potrebujeme prípady s výnimkou, negáciou a podobnými číselnými údajmi. Hodnotenie by malo zaznamenať podstatné chyby oddelene od jazykových nedostatkov.

Ak výsledok obsahuje jediný nesprávny termín, môže byť pre danú úlohu nepoužiteľný napriek dobrému štýlu. Schopnosť AI teda posudzujeme podľa toho, čo od nej potrebujeme a čo sa stane pri chybe.

Po hodnotení si zapíšte rozhodnutie o použití. Nestačí zoznam chýb; potrebujete vedieť, ktoré výstupy môžu slúžiť ako návrh a ktoré sa musia preveriť pred ďalším krokom. Ak kritériá nie sú splnené, zúžte úlohu alebo upravte postup. Pri ďalšom teste potom porovnávate konkrétnu zmenu. Tým sa hodnotenie stáva podkladom rozhodnutia, nie iba zbierkou zaujímavých odpovedí alebo chýb vybraných podľa dojmu z jedného skúšania.

Rozšírené vysvetlenie v Premium: LLMOps: prompty, modely, kontext a runtime. Ako testovať zmeny modelu, spravovať kontext a zachytiť zhoršenie odpovedí. Táto nadväzujúca kapitola je za paywallom (Registrácia + Premium). Celý tento úvodný kurz zostáva zadarmo.

Zhrnutie kapitoly

Spoľahlivosť sa posudzuje na relevantnej úlohe, nie podľa jednej pôsobivej ukážky. Kontrola má byť prísnejšia tam, kde chyba zasiahne zdravie, peniaze, práva alebo dôverné údaje.