Kedy AI automatizovať a kedy ju nechať iba ako asistenta

Augmentation, automation, human-in-the-loop, limity autonómie a ekonomika chýb

Nosná téza Otázka nie je, či AI dokáže úlohu vykonať. Rozhodujúce je, či ju dokáže vykonať s takou spoľahlivosťou, kontrolovateľnosťou a nákladmi na chybu, aby bola autonómia ekonomicky a organizačne prijateľná. V mnohých procesoch je najlepším dizajnom augmentácia: AI pripravuje, vyhodnocuje alebo navrhuje a človek zostáva rozhodovacou alebo schvaľovacou vrstvou.

Firmy sa pri zavádzaní AI často pýtajú, ktoré procesy môžu automatizovať. To je však až druhá otázka. Prvá znie: kde má AI vytvárať návrh, kde môže vykonať krok sama a kde musí existovať človek s reálnou možnosťou rozhodnutie zmeniť, zastaviť alebo odmietnuť. Generatívna AI a agentné systémy totiž prinášajú inú triedu automatizácie než tradičný deterministický skript. Dokážu pracovať s neštruktúrovanými vstupmi, plánovať ďalší krok, volať nástroje a meniť stav externých systémov. Práve tým rastie ich ekonomická hodnota aj riziko.

Rozdiel medzi asistenciou a automatizáciou preto nemožno vyriešiť jedným percentom „presnosti“. Rozhodujú dôsledky nesprávneho výstupu, reverzibilita akcie, schopnosť chybu včas odhaliť, citlivosť dát, právny kontext, rozsah oprávnení a to, či model pracuje v uzavretom alebo otvorenom prostredí. Úloha s 95 % úspešnosťou môže byť vhodná na plnú automatizáciu, ak je chyba lacná a okamžite vratná. Rovnakých 95 % môže byť neprijateľných pri rozhodnutí, ktoré zasahuje do práv človeka, presúva peniaze alebo publikuje právne záväzný obsah.

Článok preto používa risk-based prístup. Nehodnotí AI podľa toho, ako pôsobivo odpovedá v demu, ale podľa toho, ako sa správa v procese: čo smie čítať, čo smie meniť, aké má limity, kedy musí abstinovať, kedy sa má eskalovať človeku a ako firma meria kvalitu po nasadení. Tento rámec je v súlade s prístupom NIST AI RMF, OECD princípmi ľudského dohľadu a s logikou AI Actu, ktorý pri vysokorizikových systémoch vyžaduje účinný ľudský dohľad primeraný riziku, autonómii a kontextu použitia. 123

1. Augmentation a automation nie sú synonymá

Augmentation znamená, že AI zvyšuje schopnosť človeka vykonať prácu, ale nepreberá konečnú zodpovednosť za celý výsledok alebo kritickú akciu. Môže pripraviť prvý návrh zmluvy, zhrnúť sto strán dokumentácie, označiť neobvyklé transakcie, navrhnúť odpoveď zákazníkovi alebo pripraviť varianty kampane. Človek výstup prijme, upraví, odmietne alebo použije ako vstup do vlastného rozhodnutia. Ekonomická hodnota vzniká tým, že sa znižuje čas na vyhľadávanie, spracovanie, syntézu a tvorbu prvého návrhu, pričom zostáva zachovaný ľudský úsudok tam, kde má najvyššiu hodnotu.

Automation ide o krok ďalej. Systém nielen odporučí, čo urobiť, ale vykoná časť alebo celý workflow bez toho, aby človek každý jednotlivý krok schvaľoval. Môže automaticky klasifikovať prichádzajúce požiadavky, generovať a odoslať rutinnú odpoveď, aktualizovať CRM, vytvoriť tiket, spustiť kontrolu, objednať schválený typ materiálu alebo meniť nastavenie systému v povolenom rozsahu. Pri agentnej automatizácii sa navyše nemusí vopred poznať presná sekvencia všetkých krokov. Model môže na základe medzivýsledkov vybrať ďalší nástroj a pokračovať, kým nedosiahne cieľ alebo stop podmienku.

Rozdiel je teda v prenose rozhodovacej a výkonnej právomoci. Pri augmentácii človek zostáva súčasťou kritickej slučky. Pri automatizácii sa časť slučky presúva na systém. Brynjolfsson upozorňuje, že automatizácia a augmentácia môžu obe zvyšovať produktivitu, ale ekonomicky a organizačne vedú k odlišným výsledkom. Empirický výskum zároveň ukazuje, že AI asistencia môže mať výrazný produktivitný efekt bez úplného odstránenia človeka: štúdia 5 179 pracovníkov zákazníckej podpory zistila pri AI asistencii priemerný nárast produktivity približne o 14 %, pričom najväčší prínos mali menej skúsení pracovníci. 45

Praktický rozdiel Asistent navrhne refundáciu 38 €. Automatizovaný systém ju uskutoční. Agentný systém môže navyše sám vyhľadať objednávku, overiť dôvod reklamácie, vypočítať sumu, zavolať platobný nástroj a zapísať výsledok do CRM. S každým ďalším krokom rastie hodnota, ale aj plocha možnej chyby.

2. Prečo je automatizácia s generatívnou AI iná než klasická automatizácia

Tradičná automatizácia bola typicky založená na explicitných pravidlách: ak nastane podmienka A, vykonaj B. Aj komplexný workflow mohol mať stovky vetiev, ale jednotlivé pravidlá boli definované vopred. LLM a multimodálne modely umožňujú automatizovať časti procesu, ktoré boli predtým ťažko formalizovateľné: interpretáciu e-mailu, extrakciu významu zo zmluvy, klasifikáciu voľného textu, syntézu viacerých dokumentov alebo voľbu ďalšieho postupu podľa neúplného kontextu. Automatizácia sa tým presúva z pevného rozhodovacieho stromu do pravdepodobnostného systému.

To mení charakter zlyhania. Pri deterministickom pravidle je chyba často reprodukovateľná: rovnaký vstup vyvolá rovnakú chybnú vetvu. Pri generatívnom systéme môže byť chyba závislá od kontextu, poradia informácií, verzie modelu, dostupných nástrojov a externých zdrojov. Systém môže vybrať zlý nástroj, správny nástroj so zlými argumentmi alebo správne vykonať technický krok na základe nesprávne pochopeného zámeru používateľa. Preto nestačí testovať iba kvalitu textového výstupu. Pri automatizácii sa musí hodnotiť celý sled rozhodnutí a akcií.

Agentné systémy tento rozdiel ešte zväčšujú. Anthropic opisuje agenta ako systém, v ktorom model sám riadi svoj proces a používanie nástrojov: plánuje, vykonáva akciu, pozoruje výsledok a pokračuje v slučke. Autonómia znižuje potrebu ručného koordinovania, ale vytvára riziko, že model nesprávne pochopí zámer, bude pokračovať príliš dlho alebo vykoná neželanú akciu. Preto moderné agentné platformy pracujú s guardrails, schvaľovaním citlivých tool calls a resumable state, teda s explicitnými hranicami, kde sa automatizácia zastaví a vyžiada ľudské rozhodnutie. 67

3. Najprv určte úroveň autonómie, až potom technológiu

Pri návrhu AI procesu je užitočné oddeliť schopnosť modelu od povolenej autonómie. Model môže technicky vedieť vykonať úlohu, ale firma mu nemusí dovoliť vykonať ju bez schválenia. Autonómia je organizačné rozhodnutie, nie vlastnosť modelu. Rovnaký model môže v jednom procese fungovať iba ako poradca a v inom ako vykonávateľ s oprávnením meniť externý systém. Rozhodujúce je, aké právomoci mu organizácia pridelí a aké kontrolné mechanizmy ich obmedzujú.

Praktický model možno rozdeliť do piatich úrovní. Úroveň 0 znamená informačnú podporu bez akcie. Úroveň 1 znamená návrh konkrétneho rozhodnutia alebo výstupu, ktorý musí človek schváliť. Úroveň 2 umožňuje systému pripraviť a vykonať krok až po explicitnom schválení. Úroveň 3 dovoľuje automatické vykonávanie v presne ohraničenom priestore s monitoringom a výnimkami. Úroveň 4 predstavuje autonómne vykonávanie celého nízkorizikového workflow so stop podmienkami, auditom a možnosťou zásahu. Tento model nie je právna klasifikácia; je to návrhová pomôcka na oddelenie „čo AI dokáže“ od „čo jej dovolíme“.

Najčastejšia chyba je preskočiť priamo z pilotného chatu na plnú automatizáciu. V deme model správne spracuje dvadsať príkladov, organizácia preto pripojí CRM, e-mail a platobný systém a predpokladá, že produktivita sa automaticky znásobí. V skutočnosti sa po pridaní oprávnení mení rizikový profil. Chybný text v internom návrhu môže mať nulový externý dopad. Rovnaká chyba v agentovi s právom odosielať správy alebo meniť zákaznícke dáta už vytvára reputačný, právny a finančný incident. Autonómiu preto treba zvyšovať po vrstvách a každú vrstvu samostatne validovať.

4. Human-in-the-loop, human-on-the-loop a human-out-of-the-loop

Pojmy human-in-the-loop a human-on-the-loop sa používajú v rôznych odboroch mierne odlišne, preto je pri firemnom návrhu dôležitejšie opísať konkrétnu právomoc človeka než sa spoliehať na samotný názov. V praktickom použití human-in-the-loop znamená, že kritický krok sa bez ľudského vstupu alebo schválenia nevykoná. Human-on-the-loop znamená, že systém môže konať automaticky, ale človek jeho činnosť monitoruje, dostáva relevantné signály a má reálnu možnosť zasiahnuť, zmeniť smer alebo systém zastaviť. Human-out-of-the-loop znamená, že počas bežného priebehu nie je ľudský zásah potrebný.

Samotná prítomnosť človeka však nezaručuje bezpečnosť. Ak reviewer dostane stovky návrhov denne, nemá čas skontrolovať dôkazy a rozhranie ho tlačí k mechanickému klikaniu na „schváliť“, ide skôr o formálne než účinné human-in-the-loop. NIST upozorňuje na automation bias: ľudia môžu automatizovanému systému pripisovať neprimeranú dôveryhodnosť a preberať jeho výstupy bez dostatočnej kontroly. Preto musí byť dohľad navrhnutý tak, aby človek mal informácie, čas, kompetenciu a autoritu rozhodnutie zmeniť. 1

Rovnakú logiku obsahuje AI Act pri vysokorizikových systémoch. Článok 14 vyžaduje, aby bolo možné systém účinne dohliadať fyzickými osobami a aby dohľad bol primeraný riziku, úrovni autonómie a kontextu použitia. Článok 26 zároveň pri deployeroch vyžaduje prideliť dohľad osobám s potrebnou kompetenciou, školením, autoritou a podporou. K 8. októbru 2026 však treba presne rozlišovať medzi textom povinnosti a dátumom jej uplatniteľnosti: pravidlá pre vysokorizikové prípady podľa prílohy III sa po zmene harmonogramu majú uplatňovať od 2. decembra 2027 a pri systémoch zabudovaných do regulovaných výrobkov od 2. augusta 2028. 28

5. Sedem otázok, ktoré rozhodnú, či úlohu automatizovať

Prvou otázkou je dopad chyby. Ak nesprávny výsledok znamená iba potrebu zopakovať interný výpočet alebo upraviť draft, priestor pre autonómiu je široký. Ak chyba môže poškodiť zdravie, práva, financie, pracovné postavenie, reputáciu alebo bezpečnosť, autonómia musí klesať a kvalita kontroly rásť. Dôležitá je aj asymetria: falošné pozitívum a falošné negatívum nemusia mať rovnakú cenu. Automatizované schválenie nelegitímnej platby a zbytočné zadržanie legitímnej platby sú dva odlišné typy škody.

Druhou a treťou otázkou sú reverzibilita a detekovateľnosť. Chyba, ktorú systém vie okamžite odhaliť a bezpečne vrátiť, je vhodnejšia na automatizáciu než chyba, ktorá sa prejaví až o mesiac alebo ktorú nie je možné odvolať. Automatické presunutie interného súboru do nesprávneho priečinka je spravidla iný rizikový problém než odoslanie dôverného dokumentu externej osobe. Rovnaká technická „úspešnosť“ môže mať úplne odlišnú praktickú hodnotu podľa toho, či je chyba vratná a pozorovateľná.

Ďalšie otázky sú variabilita vstupu, jasnosť cieľa, citlivosť dát, rozsah oprávnení a možnosť objektívneho testovania. Úloha je vhodnejšia na automatizáciu, ak má stabilné vstupy, jasnú definíciu správneho výsledku, obmedzený priestor akcií a kvalitné historické alebo syntetické testovacie prípady. Naopak, otvorené strategické rozhodnutie s neúplnými dátami, vysokou mierou hodnotového úsudku a veľkým externým dopadom je typický kandidát na augmentáciu. Model môže pripraviť analýzu alebo alternatívy, ale samotný fakt, že vie vygenerovať presvedčivý záver, nie je dôvodom preniesť naň konečnú právomoc.

6. Confidence threshold nie je číslo, ktoré si model sám vymyslí

V automatizovaných systémoch sa často objavuje návrh: ak je „confidence“ vyššie než 90 %, vykonaj akciu, inak eskaluj človeku. Pri generatívnych modeloch je takýto prístup nebezpečný, ak confidence pochádza iba zo sebahodnotenia modelu. Jazykový tón, pravdepodobnostné skóre konkrétneho tokenu ani slovné vyjadrenie „som si istý na 95 %“ nie sú automaticky kalibrovaným odhadom pravdepodobnosti správneho rozhodnutia v konkrétnom business procese. Threshold musí byť naviazaný na empirické evaly a na konkrétnu definíciu chyby.

Správny threshold vzniká z pozorovaného správania systému na reprezentatívnom datasete. Firma napríklad testuje 2 000 historických tiketov a sleduje, pri akých kombináciách signálov je routing stabilný, kde systém abstinuje a aké typy chýb zostávajú. Následne môže vytvoriť pravidlo, že automaticky sa spracuje iba úzka trieda prípadov s overiteľnými podmienkami, zatiaľ čo zvyšok sa pošle človeku. V praxi je to selective automation: cieľom nie je automatizovať 100 % objemu, ale automatizovať segment, v ktorom má systém preukázateľne dostatočnú spoľahlivosť.

Threshold by preto nemal byť jeden univerzálny parameter. Môže závisieť od typu úlohy, hodnoty transakcie, segmentu zákazníka, zdroja vstupu alebo konkrétneho tool callu. Refundácia do 10 € môže mať inú politiku než refundácia 2 000 €. Automatické označenie marketingového leadu môže mať inú toleranciu než automatické zamietnutie reklamácie. Čím vyšší dopad chyby, tým vyššia musí byť nielen nameraná spoľahlivosť, ale aj kvalita dôkazu, že systém zostáva spoľahlivý po zmene dát, modelu alebo procesu. Anthropic preto pri agentoch zdôrazňuje evaly ako priebežnú disciplínu, nie jednorazový benchmark pred spustením. 9

7. Stop conditions a escalation rules sú jadrom bezpečnej autonómie

Agent alebo automatizovaný workflow nesmie mať iba cieľ. Musí mať aj explicitne definované dôvody, pre ktoré má prestať konať. Stop condition môže byť technická: maximálny počet krokov, maximálny počet neúspešných pokusov, prekročenie rozpočtu, nedostupnosť kritického zdroja alebo konfliktný výsledok z dvoch systémov. Môže byť obsahová: chýbajúci údaj, nejednoznačný zámer používateľa, detekcia citlivých osobných údajov alebo neschopnosť overiť tvrdenie. A môže byť oprávnenostná: agent narazí na akciu, ktorá presahuje jeho povolený scope.

Escalation rule určuje, čo sa stane po zastavení. Nestačí napísať „kontaktuj človeka“. Systém musí vedieť, komu prípad patrí, aký kontext má odovzdať, aké kroky už vykonal, čo bolo neúspešné a čo presne potrebuje človek rozhodnúť. Kvalitná eskalácia znižuje review cost. Ak človek musí celý prípad vyšetrovať od začiatku, automatizácia možno iba presunula prácu z vykonávania na debugging. Ak dostane kompaktný balík dôkazov, stav procesu a dve jasné možnosti, môže rozhodnúť rýchlo.

Moderné agentné platformy presne tento vzor podporujú. OpenAI odporúča human review pri citlivých side effects, napríklad rušení objednávok, editácii dát, shell príkazoch alebo citlivých MCP akciách, a odporúča eskaláciu aj pri prekročení failure thresholds. Zmyslom nie je brzdiť automatizáciu, ale vytvoriť spoľahlivú hranicu medzi autonómnym priestorom a priestorom, kde sa vyžaduje ľudská autorita. 710

8. Ekonomika automatizácie: úspora práce je iba jedna položka

Najjednoduchší business case automatizácie porovná cenu ľudskej práce s cenou AI. Taký výpočet je pri generatívnych systémoch nedostatočný. Celkové náklady zahŕňajú návrh workflow, integráciu, tokeny a nástroje, retrieval, observability, bezpečnosť, evaly, ľudské review, incidenty, údržbu po zmene modelu a náklady na fallback. Ak systém ušetrí dve minúty na každom tickete, ale 20 % prípadov musí človek dodatočne kontrolovať a pri každej chybe strávi desať minút vyšetrovaním, deklarovaná automatizácia nemusí vytvárať pozitívny ekonomický efekt.

Užitočný interný model je počítať očakávanú hodnotu automatizácie ako úsporu pracovného času a rýchlosti mínus prevádzkové náklady, náklady na ľudskú kontrolu a očakávané náklady chýb. Očakávaná strata z chyby sa dá zjednodušene uvažovať ako pravdepodobnosť chyby krát jej priemerný dopad, ale pri vysokorizikových úlohách to nestačí. Malá pravdepodobnosť katastrofickej alebo právne významnej udalosti môže dominovať celej ekonomike. Preto treba sledovať aj tail risk a maximálny prijateľný dopad jedného incidentu.

Ekonomický model musí počítať aj s hodnotou augmentácie. Výskum HBS/BCG na 758 konzultantoch ukázal, že pri úlohách v rámci technologickej hranice AI pracovali účastníci s GPT-4 viac než 25 % rýchlejšie, dokončili viac úloh a dosiahli vyššiu kvalitu; pri úlohe mimo tejto hranice však bola správnosť používateľov AI horšia. Tento výsledok je dôležitý práve pre dizajn automatizácie: vysoký priemerný prínos v jednej triede úloh nie je dôkazom, že rovnaký systém má dostať autonómiu v inej triede. 11

Pracovný vzorec pre business case Očakávaný prínos = úspora času + vyšší throughput + hodnota rýchlejšej reakcie + kvalitativne prínosy − AI/integration cost − human review cost − monitoring a governance − očakávaná strata z chýb − náklady na incidenty a fallback. Vysokorizikové rozhodnutia treba navyše posudzovať podľa maximálneho prijateľného dopadu, nie iba podľa priemernej očakávanej straty.

9. Prečo môže automatizácia zväčšiť chybu namiesto toho, aby ju odstránila

Manuálna chyba je často lokálna. Jeden pracovník odošle nesprávny e-mail jednému klientovi. Automatizovaná chyba môže byť systémová a škálovaná: rovnaký chybný predpoklad sa aplikuje na tisíce prípadov skôr, než ho niekto odhalí. To je zásadný rozdiel medzi „model sa niekedy mýli“ a „proces môže automatizovať rovnakú chybu vo veľkom“. Pri agentoch sa k tomu pridáva reťazenie: chyba v prvom kroku sa stane vstupom do druhého a môže ovplyvniť ďalšie akcie.

Druhým problémom je korelované zlyhanie. Ak desať ľudí nezávisle spracúva prípady, ich chyby sa môžu líšiť. Ak všetci používajú rovnaký model alebo jeden centralizovaný automatizovaný workflow, rovnaká slabina sa môže prejaviť naprieč organizáciou. NIST pri generatívnej AI upozorňuje aj na homogenizáciu výstupov a automation bias. Z pohľadu prevádzky to znamená, že centralizácia rozhodovania do jedného modelu vytvára potenciálny single point of failure a vyžaduje monitoring distribučných zmien, incidentov a opakujúcich sa chýb. 1

Tretím problémom je, že úspešná automatizácia zvyšuje objem. Ak firma vďaka AI spracuje desaťkrát viac prípadov, aj nízke percento chýb môže viesť k vyššiemu absolútnemu počtu incidentov. Preto sa pri scale-up nemá sledovať iba accuracy, ale aj incident rate na 1 000 prípadov, absolútny počet chýb, závažnosť a čas do detekcie. Automatizácia je bezpečná až vtedy, keď monitoring rastie spolu s throughputom.

10. Čo automatizovať ako prvé

Najlepšími kandidátmi sú vysokofrekvenčné, opakovateľné, nízkorizikové a reverzibilné činnosti s jasným cieľom. Patrí sem triedenie a routing dokumentov, extrakcia polí, interné sumarizácie, transformácia formátu, príprava draftov, deduplikácia, obohacovanie záznamov z povolených zdrojov, kontrola úplnosti, generovanie interných tagov alebo plánovanie krokov, ktoré samy osebe nemajú externý účinok. Takéto úlohy majú dobrý pomer medzi hodnotou a nákladom chyby.

Druhou vhodnou skupinou sú workflowy, v ktorých možno autonómiu ohraničiť jednoduchými pravidlami. Agent môže napríklad automaticky pripraviť refundáciu, ale bez človeka smie vykonať iba sumu do 20 €, iba pri overenom type incidentu a iba raz na objednávku. Môže automaticky odpovedať na FAQ, ale nie na právne námietky alebo reklamácie s vysokou hodnotou. Môže vytvoriť kalendárny event, ale nie zrušiť externé stretnutie vedenia bez schválenia. Hodnota vzniká z automatizácie väčšiny rutinného objemu, nie z ambície automatizovať každý edge case.

Tretia skupina sú procesy, kde chyba zostáva pred vykonaním zachytená tradičným deterministickým systémom. Generatívna AI môže interpretovať text, ale samotné vykonanie podlieha validácii: suma musí byť v limite, účet musí existovať, položka musí byť v allowliste, povinné polia musia byť vyplnené a identita používateľa musí mať oprávnenie. Najbezpečnejšia architektúra často nevzniká tým, že sa všetko zverí jednému modelu, ale kombináciou probabilistickej interpretácie a deterministických kontrol.

11. Čo automatizovať nesmie byť prvá ambícia

Autonómia je nevhodná tam, kde výsledok významne zasahuje do práv, zdravia, bezpečnosti, živobytia alebo prístupu k zásadnej službe a organizácia nemá robustný proces ľudského dohľadu. Typickým príkladom je rozhodovanie o prijatí do zamestnania, ukončení pracovného pomeru, úverovej spôsobilosti, diagnostickom alebo liečebnom postupe či zásadnom právnom stanovisku. AI môže pripraviť podklady, identifikovať rozpory alebo sumarizovať dokumentáciu, ale úplná delegácia konečného rozhodnutia vytvára podstatne vyšší právny a etický problém než obyčajná produktivita kancelárskeho workflow.

Opatrnosť je potrebná aj pri externých nevratných akciách: odosielanie platieb, podpisovanie zmlúv, mazanie dát, publikovanie reputačne významného obsahu, zmena bezpečnostných politík alebo vykonanie zásahu v produkčnom systéme. V týchto prípadoch je vhodné oddeliť plánovanie od vykonania. AI môže pripraviť presný návrh tool callu, zobraziť človeku argumenty a dôvody a až následne čakať na approval. Takýto model zachováva veľkú časť rýchlosti bez prenesenia celej autority.

Treťou nevhodnou skupinou sú úlohy, pri ktorých firma nevie definovať, čo je správny výsledok. Ak neexistuje acceptance criterion, nie je možné urobiť kvalitný eval a bez evalov sa nedá rozumne nastaviť autonómia. Strategické rozhodovanie, hodnotové konflikty, výber priorít pri neúplných dátach alebo kreatívny smer značky môže AI výrazne podporiť, ale „automatizovať stratégiu“ bez definície úspechu je skôr presun zodpovednosti na systém než riadená automatizácia.

12. Praktické príklady podľa oddelení

V marketingu je vhodné automatizovať transformácie, klasifikáciu, reporting, tagging, zber dát z povolených zdrojov a prípravu variantov. Publikovanie citlivého PR vyjadrenia, odpoveď na krízovú situáciu alebo autonómne zvyšovanie rozpočtu nad stanovené limity má zostať pod schvaľovacou vrstvou. Pri výkonnostných kampaniach možno autonómiu zvyšovať tam, kde existuje pevný denný rozpočet, stop-loss pravidlo, merateľná konverzia a možnosť okamžite pozastaviť kampaň. Pri brandovom obsahu je chyba menej numericky merateľná a reputačne asymetrická, preto býva vhodnejšia augmentácia.

V zákazníckej podpore môže AI sumarizovať históriu, navrhovať odpovede, vyhľadávať v znalostnej báze a autonómne riešiť nízkorizikové FAQ. Pri refundáciách, sťažnostiach, právnych nárokoch a zraniteľných zákazníkoch je potrebná eskalácia. V HR môže AI pomáhať s administratívou, sumarizáciou interných dokumentov alebo prípravou otázok, ale rozhodnutia o ľuďoch patria medzi oblasti s vysokým dopadom a v EÚ aj medzi use cases, ktoré AI Act zaraďuje do rámca vysokorizikových systémov podľa prílohy III, ak spĺňajú podmienky klasifikácie. Pravidlá pre tieto vysokorizikové systémy sa podľa aktuálneho harmonogramu uplatnia od 2. decembra 2027. 8

V IT a softvérovom vývoji je hranica podobná. AI môže autonómne vytvárať testy, refaktorovať izolovanú vetvu alebo analyzovať logy, ak je výsledok pod CI kontrolou a bez priameho prístupu do produkcie. Nasadenie do produkcie, mazanie databázy, rotácia bezpečnostných pravidiel alebo spustenie privilegovaného shell príkazu je iná trieda akcie. OpenAI pri citlivých tool calls odporúča explicitné schvaľovanie a oddelené guardrails priamo pri nástrojoch, ktoré vytvárajú side effect. 7

13. AI Act: právny rámec podporuje risk-based autonómiu, nie slepé „human approval“

AI Act nehovorí, že každý AI výstup musí vždy manuálne potvrdiť človek. Pri vysokorizikových systémoch požaduje účinný dohľad primeraný rizikám, autonómii a kontextu použitia. Článok 14 zároveň výslovne počíta s tým, že osoba vykonávajúca dohľad má rozumieť možnostiam a obmedzeniam systému, monitorovať anomálie, interpretovať výstup a zostať si vedomá rizika automation bias. Z pohľadu implementácie je to podstatné: human oversight nie je checkbox „niekto sa na to pozrel“, ale funkčná kontrolná schopnosť. 2

Pri deployeroch vysokorizikových systémov článok 26 požaduje, aby dohľad bol pridelený fyzickým osobám s potrebnou kompetenciou, školením, autoritou a podporou. Táto formulácia je dôležitá pre návrh firemných procesov. Reviewer, ktorý síce vidí výstup, ale nemá právo rozhodnutie zmeniť alebo nevie systém zastaviť, neposkytuje účinný dohľad. Rovnako nestačí poslať prípad človeku bez informácií potrebných na posúdenie. 2

Pri stave legislatívy treba pracovať s aktuálnym harmonogramom. AI Act sa všeobecne začal uplatňovať 2. augusta 2026, ale po zmene časového rámca sa pravidlá pre vysokorizikové systémy podľa prílohy III majú uplatňovať od 2. decembra 2027 a pre vysokorizikové systémy zabudované do regulovaných výrobkov od 2. augusta 2028. To neznamená, že firmy majú do týchto dátumov ignorovať human oversight. Znamená to, že článok 14 je dnes užitočný ako kvalitný návrhový benchmark a zároveň treba presne odlišovať budúcu povinnosť od aktuálne uplatniteľnej povinnosti. 812

14. Ako navrhnúť automatizáciu krok za krokom

Prvý krok je proces rozložiť, nie automatizovať celý job title. Väčšina pracovných rolí pozostáva z desiatok úloh s odlišným rizikom. Namiesto otázky „môžeme automatizovať zákaznícku podporu?“ je vhodnejšie mapovať jednotlivé kroky: identifikácia zákazníka, vyhľadanie objednávky, klasifikácia problému, návrh odpovede, rozhodnutie o kompenzácii, vykonanie refundácie, záznam do CRM a eskalácia. Každý krok môže mať inú úroveň autonómie.

Druhý krok je vytvoriť policy matrix: čo môže systém čítať, čo môže zapisovať, aké nástroje smie volať, s akými argumentmi, v akých limitoch a ktoré akcie vyžadujú approval. Tretí krok je pripraviť eval set z reálnych alebo realistických prípadov vrátane edge cases, neúplných vstupov a adverzariálnych situácií. Nestačí merať „peknú odpoveď“. Treba merať presnosť klasifikácie, správnosť tool callov, počet zbytočných eskalácií, false approvals, false denials, čas, náklady a schopnosť bezpečne abstinovať.

Až štvrtý krok je pilot v produkčne podobnom prostredí. Začína sa shadow mode, kde AI navrhuje rozhodnutia bez vykonania, následne human-in-the-loop a až po preukázanej stabilite ohraničená autonómia. Každé zvýšenie autonómie má mať vlastný release gate. Pri zmene modelu, nástroja, promptu, retrieval vrstvy alebo dátového zdroja sa relevantné evaly opakujú. Autonómia sa teda nesmie chápať ako jednorazové povolenie, ale ako stav, ktorý je podmienený merateľnou výkonnosťou.

15. Metriky: úspešná automatizácia nie je počet krokov bez človeka

Najhoršou metrikou úspechu je podiel úloh, ktoré sa podarilo „odľudštiť“. Cieľom firmy nie je maximalizovať autonómiu, ale vytvárať ekonomickú hodnotu pri prijateľnom riziku. Preto treba súčasne sledovať throughput, čas spracovania, priame náklady, kvalitu, počet eskalácií, čas na review, incident rate, závažnosť chýb, mieru reklamácií a počet prípadov, v ktorých systém správne odmietol konať. Dobrý systém môže mať vyššiu mieru eskalácie a zároveň byť hodnotnejší, ak eskaluje práve tie prípady, ktoré by inak vytvárali drahé chyby.

Dôležitá je aj metrika coverage: aké percento prípadov systém automatizuje pri zvolenej úrovni rizika. Firma môže mať 98 % správnosť pri automatizovaní 30 % najjednoduchších prípadov a 92 % správnosť pri automatizovaní 90 % prípadov. Druhé číslo vyzerá ambicióznejšie, ale môže mať horšiu ekonomiku. Optimálny bod vzniká z kombinácie coverage, chybovosti a nákladov na chybu. Práve preto je selective automation často výhodnejšia než tlak na maximálnu autonómiu.

Po nasadení treba merať drift. Zmení sa produkt, pravidlá, zákaznícke správanie, zdrojové dokumenty, model alebo API. Evals, ktoré boli presvedčivé v júni, nemusia reprezentovať december. Pri agentoch je obzvlášť dôležité sledovať tool-call success rate, počet krokov na úlohu, retry rate, neobvyklé sekvencie akcií a prekračovanie limitov. Observability nie je technický luxus; je to podmienka, aby firma vedela, či systém stále spĺňa dôvody, pre ktoré mu autonómiu pôvodne povolila.

16. Jednoduchý rozhodovací rámec: asistovať, schvaľovať alebo automatizovať?

Ak je úloha vysoko variabilná, ťažko merateľná a chyba má veľký dopad, AI má zostať najmä analytickým alebo tvorivým asistentom. Ak je výstup dobre definovaný, ale vykonanie má citlivý side effect, vhodný je human-in-the-loop: systém pripraví rozhodnutie alebo akciu a človek schváli vykonanie. Ak je úloha stabilná, nízkoriziková, reverzibilná, dobre monitorovateľná a evaly dokazujú spoľahlivosť, možno prejsť k bounded automation.

Pri rozhodovaní treba používať najmenšiu potrebnú autonómiu. Ak 80 % ekonomického prínosu vznikne už tým, že AI pripraví správny návrh a človek ho jedným kliknutím potvrdí, nemusí existovať dôvod riskovať plne autonómne vykonanie. Naopak, ak ľudské schvaľovanie tvorí väčšinu nákladov a ide o nízkorizikovú rutinu s kvalitnými guardrails, automatizácia môže byť racionálnym ďalším krokom. Autonómia má byť odpoveďou na business bottleneck, nie cieľom sama o sebe.

Najdôležitejšie je, aby firma vedela autonómiu aj znížiť. Systém musí mať kill switch, fallback proces a možnosť návratu na human-in-the-loop pri incidente, drifte alebo zmene podmienok. OECD princípy dôveryhodnej AI výslovne pracujú s mechanizmami ľudskej agentúry, dohľadu a možnosťou systém override, opravy alebo bezpečného odstavenia pri nežiaducom správaní. To je praktický základ dobrej automatizácie: nie presvedčenie, že AI nebude chybovať, ale architektúra, ktorá počíta s tým, že chyba môže nastať. 3

Rozhodovacie pravidlo Automatizujte tam, kde viete ohraničiť priestor akcie, zmerať správnosť, lacno zachytiť alebo vrátiť chybu a preukázať pozitívnu ekonomiku. Nechajte AI ako asistenta tam, kde rozhodnutie vyžaduje hodnotový alebo doménový úsudok, chyba má veľký alebo nevratný dopad alebo firma ešte nevie kvalitu systému spoľahlivo merať.

17. Kontrolný zoznam pred povolením autonómie

Ak firma nevie odpovedať na niekoľko z týchto otázok, problém nie je v tom, že potrebuje lepší prompt. Chýba jej prevádzkový dizajn automatizácie. Model je iba jedna komponenta. Bez policy vrstvy, evalov, oprávnení, observability a fallbacku sa autonómia opiera o nádej, nie o riadenie rizika.

Zrelá organizácia preto nepracuje s binárnym delením „AI používať / nepoužívať“. Buduje portfólio rôznych režimov: niekde je AI iba vyhľadávací a analytický nástroj, inde kopilot, inde vykonávateľ s approval gate a v úzkej triede úloh autonómny agent. Takéto rozdelenie maximalizuje hodnotu bez toho, aby firma preniesla viac právomoci, než dokáže kontrolovať.

Prakticky to znamená, že najlepšia automatizácia často nie je najautonómnejšia. Je to systém, v ktorom je presne jasné, čo robí model, čo robia deterministické kontroly, čo môže urobiť nástroj, čo musí schváliť človek a čo sa stane, keď niektorá vrstva zlyhá. Práve táto architektúra oddeľuje demonštráciu AI od produkčného systému.

18. Záver: autonómia je rozpočet rizika

Generatívna AI umožňuje automatizovať činnosti, ktoré boli donedávna závislé od ľudskej interpretácie. To však neznamená, že každá činnosť, ktorú model dokáže technicky vykonať, má byť vykonaná autonómne. Rozumné zavádzanie AI začína rozkladom workflow, klasifikáciou dopadu, návrhom oprávnení a evalmi. Až potom prichádza rozhodnutie, či má systém radiť, pripravovať, konať po schválení alebo konať sám.

Augmentation a automation preto nie sú dve konkurenčné stratégie. Sú to dva režimy práce, ktoré sa môžu v jednom procese kombinovať. Model môže autonómne vyhľadať údaje, asistovať pri interpretácii, pripraviť návrh rozhodnutia, zastaviť sa pred citlivým side effectom a po schválení človeka dokončiť zvyšok workflow. Najväčšia hodnota často vzniká práve z tejto hybridnej architektúry.

Dobrá firma nemeria pokrok počtom ľudí odstránených z procesu ani počtom plne autonómnych agentov. Meria, či sa proces zrýchlil, zlacnel alebo skvalitnil bez neakceptovateľného rastu chýb a rizika. Autonómia je v tomto zmysle rozpočet rizika: prideľuje sa iba tam, kde ju organizácia dokáže odôvodniť dátami, kontrolovať technicky a organizačne a v prípade potreby okamžite odobrať.

19. Odborné zdroje

1 NIST (2024). Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST.AI.600-1). https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf

2 Regulation (EU) 2024/1689 (AI Act), Article 14 - Human oversight; Article 26 - Obligations of deployers of high-risk AI systems. https://eur-lex.europa.eu/eli/reg/2024/1689

3 OECD. Recommendation of the Council on Artificial Intelligence - human agency, oversight, robustness and safe override. https://legalinstruments.oecd.org/en/instruments/OECD-LEGAL-0449

4 Brynjolfsson, E. (2022). The Turing Trap: The Promise & Peril of Human-Like Artificial Intelligence. Dædalus 151(2), 272-287. https://www.gsb.stanford.edu/faculty-research/publications/turing-trap-promise-peril-human-artificial-intelligence

5 Brynjolfsson, E., Li, D., Raymond, L. R. (2023; published QJE 2025). Generative AI at Work. NBER Working Paper 31161. https://www.nber.org/papers/w31161

6 Anthropic (2026). Trustworthy agents in practice. https://www.anthropic.com/research/trustworthy-agents

7 OpenAI Developers. Guardrails and human review - approvals around sensitive tool calls and side effects. https://developers.openai.com/api/docs/guides/agents/guardrails-approvals

8 European Commission (2026). AI Act - application timeline and delayed high-risk rules. https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai

9 Anthropic (2026). Demystifying evals for AI agents. https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents

10 OpenAI (2026). A practical guide to building AI agents - guardrails and human intervention. https://openai.com/business/guides-and-resources/a-practical-guide-to-building-ai-agents/

11 Dell’Acqua, F. et al. (2023). Navigating the Jagged Technological Frontier. Harvard Business School / BCG field experiment. https://aiinstitute.hbs.edu/navigating-the-jagged-technological-frontier/

12 European Commission (2026). Navigating the AI Act - enforcement and implementation timeline. https://digital-strategy.ec.europa.eu/en/faqs/navigating-ai-act

13 OECD (2023). Advancing accountability in AI: Governing and managing risks throughout the lifecycle for trustworthy AI. https://www.oecd.org/en/publications/advancing-accountability-in-ai_2448f04b-en.html

14 NIST. AI Risk Management Framework 1.0 and AI RMF resources. https://www.nist.gov/itl/ai-risk-management-framework

Metodická poznámka Terminológia human-in-the-loop a human-on-the-loop nie je vo všetkých odboroch používaná jednotne. V článku je preto vždy dôležitejší opis konkrétnej právomoci človeka, schvaľovacej brány a možnosti zásahu než samotný názov režimu. Právne pasáže zachytávajú stav k 8. októbru 2026 a nenahrádzajú individuálne právne posúdenie konkrétneho systému.

Súvisiace články

• Ako fungujú AI agenti a ako si postaviť prvého agenta
• Ako skrotiť kontext v AI a regulovať výstupy