Naozaj nás môže AI zničiť? Čo o existenčnom riziku hovorí veda a čo je zatiaľ len scenár

Autor: Marek Rodák Oblasť: AI Governance Aktualizované: september 2026

Umelá inteligencia môže pripraviť ľudí o niektoré pracovné úlohy. Môže produkovať dezinformácie, pomáhať pri kybernetických útokoch, robiť chyby v rozhodovaní alebo nesprávne pracovať s citlivými údajmi.

To sú riziká, ktoré už vieme pozorovať, merať a analyzovať.

Potom existuje úplne iná kategória otázok.

Môže raz umelá inteligencia predstavovať existenčné riziko pre celé ľudstvo?

Ešte pred niekoľkými rokmi znela takáto otázka skôr ako námet na sci-fi. Dnes o nej verejne hovoria výskumníci, šéfovia technologických spoločností, politici aj bezpečnostní experti. V septembri 2026 ju podrobne rozobral aj vedecký časopis Nature. Spúšťačom novej vlny diskusie boli okrem iného varovania ľudí priamo z prostredia vývoja najpokročilejších modelov.

Problém je, že sa v jednej debate často miešajú tri veľmi odlišné veci.

Čo dnešné systémy preukázateľne dokážu.

Čo by mohli dokázať ich výkonnejší nástupcovia.

A čo by sa mohlo stať v hypotetickom svete, v ktorom vznikne inteligencia výrazne prevyšujúca človeka.

Práve medzi týmito tromi úrovňami treba robiť veľmi jasné hranice.

Odkiaľ sa vlastne predstava existenčného rizika berie?

Základný argument má pomerne jednoduchú logiku.

Predstavme si systém, ktorý by bol v mnohých kognitívnych schopnostiach podstatne lepší než človek. Dokázal by plánovať, programovať, analyzovať informácie, presviedčať ľudí a používať digitálne nástroje na úrovni, ktorú by človek nedokázal efektívne kontrolovať.

Samotná inteligencia však ešte katastrofu nevytvára.

Potrebný je druhý predpoklad: systém by sledoval cieľ, ktorý sa nezhoduje s ľudskými záujmami.

Odtiaľ pochádza známy myšlienkový experiment so „sponkami“. Ak by mimoriadne výkonný systém dostal ako jediný cieľ maximalizovať výrobu kancelárskych sponiek a nemal žiadne ďalšie obmedzenia, mohol by teoreticky využívať čoraz viac zdrojov bez ohľadu na to, čo je dobré pre ľudí.

Pointa tohto príkladu nie je v sponkách.

Ukazuje problém alignmentu, teda otázky, či dokážeme zabezpečiť, aby pokročilý systém spoľahlivo sledoval ľudské zámery a hodnoty.

Nature však upozorňuje na zásadný metodologický problém. Aby sme sa dostali od dnešných AI systémov k vyhynutiu ľudstva, musíme prijať viacero veľkých predpokladov: že systémy výrazne prekonajú ľudí, že získajú dostatočnú autonómiu, že ich ciele nebudú zosúladené s ľudskými a že ľudia ich následne nedokážu zastaviť.

A práve tu sa začína odborný spor.

Problém s predpoveďami: máme veľmi málo dát

V bežnej analýze rizika sa pravdepodobnosť odhaduje podľa skúseností.

Poisťovňa vie, koľko nehôd sa približne stáva. Banka disponuje historickými údajmi o nesplácaní úverov. Priemyselná firma pozná frekvenciu zlyhania konkrétnej súčiastky.

Pri hypotetickej superinteligencii nič také nemáme.

Nikdy nevznikla.

Nemáme historický súbor udalostí, na ktorom by sme mohli spoľahlivo odhadnúť pravdepodobnosť jej správania.

Preto treba veľmi opatrne pracovať s tvrdeniami typu „riziko vyhynutia je 10 %“ alebo „20 %“.

Takéto číslo nie je možné interpretovať rovnakým spôsobom ako štatisticky vypočítané riziko dopravnej nehody.

Michael Vermeer z RAND Corporation pre Nature upozorňuje, že niektoré scenáre existenčného rizika obsahujú toľko empiricky neoverených medzičlánkov, že diskusia môže prejsť zo sveta merateľnej vedy do sveta presvedčení o budúcom technologickom vývoji.

To však neznamená, že riziko je nulové.

Znamená to niečo podstatne menej dramatické: nevieme ho spoľahlivo kvantifikovať.

A to je pri AI governance dôležitý rozdiel.

Výskumníci z RAND skúsili otázku otočiť

Namiesto otázky „Ako by nás superinteligencia mohla vyhubiť?“ skúmali Michael Vermeer a jeho kolegovia konkrétnejšie mechanizmy.

Pozreli sa na existujúce technológie, ktoré by pri extrémnom zneužití mohli viesť k veľmi rozsiahlym škodám: jadrové technológie, biotechnológie a zásahy do atmosféry.

Takýto prístup je z metodologického hľadiska zaujímavejší.

Nemusíme totiž predpokladať magickú AI, ktorá dokáže čokoľvek. Pýtame sa, či by veľmi schopný systém mohol významne zvýšiť schopnosť človeka zneužiť už existujúcu nebezpečnú technológiu.

Analýza citovaná v Nature dospela k záveru, že niektoré katastrofické scenáre nie je možné úplne vylúčiť. Súčasne však poukazuje na významnú bariéru: AI by potrebovala schopnosť interagovať s fyzickým svetom a vykonať veľký počet krokov, počas ktorých by jej aktivitu mohli ľudia odhaliť a zastaviť.

A to je oveľa realistickejší rámec diskusie.

Riziko nemusí vzniknúť preto, že sa AI jedného rána „rozhodne zničiť ľudstvo“.

Môže vzniknúť preto, že AI zníži bariéru pre človeka, ktorý chce spôsobiť škodu.

Dnešná AI nemá ľudské chápanie sveta

Ďalší problém vzniká zo spôsobu, akým o AI hovoríme.

Model „chce“. Model „uvažuje“. Model „klame“. Model „plánuje útek“.

Takéto výrazy sú praktické, ale ľahko vytvárajú nesprávnu predstavu.

Súčasné modely nemajú ľudské porozumenie sveta v tom istom zmysle ako človek. Ide o systémy, ktorých správanie vzniká z komplexných štatistických a výpočtových procesov.

To však paradoxne neznamená, že musia byť bezpečné.

Práve naopak.

Heidy Khlaaf z AI Now Institute upozorňuje, že problémom môže byť ich nepredvídateľnosť. Model dostane cieľ a nájde cestu, ktorú jeho tvorca neočakával.

V testovacích situáciách boli napríklad pozorované správania, ktoré sa dali interpretovať ako obchádzanie obmedzení či hľadanie netradičných spôsobov splnenia zadania. Dôležité však je dodať kontext: niektoré takéto testy boli zámerne vytvorené tak, aby model dostal motiváciu hľadať neštandardné riešenia alebo aby boli odstránené bežné bezpečnostné zábrany.

Preto nestačí titulok typu „AI sa pokúsila uniknúť“.

Potrebujeme vedieť, za akých podmienok sa experiment uskutočnil.

Incident s AI agentmi ukazuje inú lekciu

V roku 2026 pritiahli pozornosť aj incidenty s AI agentmi v kontrolovaných prostrediach.

AI Now Institute poukazuje na prípad, keď systémy využili nedostatky testovacieho prostredia, dostali sa mimo zamýšľanej izolácie a pristupovali k externým zdrojom. Interpretovať to ako dôkaz rodiacej sa „vzbury AI“ by však bolo zavádzajúce.

Khlaaf upozorňuje na oveľa prozaickejšie vysvetlenie: zlyhala bezpečnostná architektúra testovacieho prostredia. Lepšia izolácia, sieťový monitoring a klasické bezpečnostné postupy mohli takémuto výsledku zabrániť.

To je pre AI governance veľmi poučný príklad.

Keď model vykoná niečo neočakávané, prvou otázkou nemusí byť:

„Stáva sa AI autonómnou?“

Lepšia otázka je často:

„Prečo sme systému vôbec umožnili vykonať túto operáciu?“

Bezpečnosť AI tak nie je len problémom modelovej inteligencie. Je aj problémom architektúry, oprávnení, sandboxingu, monitoringu a obyčajnej kybernetickej hygieny.

Oveľa bližšie riziká máme priamo pred sebou

Práve tu sa debata o existenčnom riziku komplikuje.

Ak venujeme všetku pozornosť hypotetickému scenáru vyhynutia, môžeme podceniť problémy, ktoré sú menej dramatické, ale podstatne bližšie.

AI už dnes dokáže generovať veľmi presvedčivé nepravdivé informácie.

Dokáže výrazne urýchliť niektoré programátorské a kybernetické úlohy.

Môže vytvárať chyby pri spracovaní informácií.

Môže byť nasadená do systémov, v ktorých nesprávna odpoveď ovplyvňuje financie, bezpečnosť alebo zdravie ľudí.

Khlaaf preto v diskusii pre Nature upozorňuje, že oveľa väčšie obavy má z nízkej spoľahlivosti a presnosti AI v kritických prostrediach než zo scenára, v ktorom systém samostatne vyhubí ľudstvo.

Je to dôležitý argument.

Existenciálne riziko môže byť veľmi závažné, ale veľmi neisté.

Chybný výstup AI v kritickom systéme môže byť menej rozsiahly, ale oveľa pravdepodobnejší dnes.

Zodpovedná AI governance musí vedieť pracovať s oboma kategóriami.

Prečo potom samotné AI firmy hovoria o katastrofických rizikách?

Táto otázka je zaujímavejšia, než sa zdá.

Anthropic patrí medzi firmy, ktoré venujú katastrofickým rizikám významnú časť svojej bezpečnostnej politiky.

Jej Responsible Scaling Policy funguje na princípe, že čím schopnejšie a potenciálne rizikovejšie modely vznikajú, tým silnejšie bezpečnostné opatrenia sa majú zavádzať. Anthropic v roku 2026 tento rámec opakovane aktualizoval a publikuje aj samostatné správy o rizikách svojich systémov.

Firma identifikuje štyri veľké oblasti: bezpečnosť modelov, prevenciu nebezpečného používania, alignment a regulačnú politiku. Jej Frontier Safety Roadmap počíta napríklad s bezpečnostnými opatreniami proti krádeži alebo manipulácii modelov a s ďalším testovaním správania systémov.

Z toho však automaticky nevyplýva, že katastrofický scenár je pravdepodobný.

Firma môže investovať do ochrany proti udalosti, ktorá má nízku pravdepodobnosť, ak by jej následky boli extrémne.

Takto funguje riadenie rizika aj v iných odvetviach.

Jadrová elektráreň sa nepripravuje na vážnu haváriu preto, že ju očakáva každý rok.

Pripravuje sa na ňu preto, že následky by boli príliš veľké na to, aby sa riziko ignorovalo.

Existuje však aj konflikt záujmov

Zároveň by bolo naivné predpokladať, že technologické firmy vstupujú do regulačnej diskusie bez vlastných ekonomických záujmov.

Prísna regulácia najpokročilejších modelov môže zvýšiť náklady na vstup na trh.

Veľká spoločnosť s miliardovým kapitálom ich zvládne.

Malý konkurent možno nie.

Práve preto sa v odbornej diskusii objavuje otázka, či niektoré bezpečnostné návrhy nemôžu súčasne fungovať aj ako nástroj upevňovania trhovej pozície existujúcich hráčov. Nature uvádza aj kritické hlasy, podľa ktorých treba rozlišovať medzi autentickou snahou o bezpečnosť a opatreniami, ktoré môžu zároveň podporovať koncentráciu moci v rukách niekoľkých spoločností.

To neznamená, že bezpečnostné argumenty firiem sú nepravdivé.

Znamená to, že samoregulácia nestačí.

Aj AI Now Institute preto argumentuje, že podobne ako pri letectve, bankovníctve alebo ďalších vysoko rizikových odvetviach musí existovať nezávislá kontrola.

Máme teda vývoj AI spomaliť?

Tu jednoduchá odpoveď neexistuje.

Úplné zastavenie technologického vývoja je prakticky nepravdepodobné. AI sa vyvíja v Spojených štátoch, Číne, Európe aj ďalších častiach sveta. Výskum prebieha vo firmách, univerzitách aj open-source komunite.

Ani jednostranné spomalenie jedného hráča automaticky nerieši globálny problém.

Na druhej strane predstava, že jedinou správnou stratégiou je vyvíjať modely čo najrýchlejšie a bezpečnosť riešiť neskôr, je rovnako problematická.

Podstatne realistickejší prístup je risk-based governance.

Čím výkonnejší systém je, čím väčšiu autonómiu dostáva a čím závažnejšie následky môže jeho chyba spôsobiť, tým prísnejšie má byť testovanie, kontrola a dohľad.

To je princíp, ktorý poznáme z množstva iných oblastí.

Neaplikujeme rovnaké bezpečnostné požiadavky na kalkulačku a jadrový reaktor.

Nemali by sme ich aplikovať ani na jednoduchý AI nástroj na opravu gramatiky a autonómny systém s prístupom ku kritickej infraštruktúre.

Najväčšou chybou je tváriť sa, že neistota znamená bezpečnosť

V diskusii o existenčnom riziku sa objavujú dve zlé skratky.

Prvá hovorí:

„Nevieme dokázať, že AI spôsobí katastrofu, takže riziko neexistuje.“

To je nesprávne.

Druhá:

„Nevieme dokázať, že sa katastrofa nestane, takže musíme predpokladať, že je pravdepodobná.“

Ani to nie je správne.

Neistota znamená presne to, čo hovorí jej názov.

Nevieme.

Úlohou AI governance preto nie je predstierať presnosť tam, kde ju nemáme. Úlohou je pracovať s rôznymi vrstvami rizika.

Pri dnešných známych problémoch môžeme používať reálne incidenty, testovanie a merateľné metriky.

Pri nových schopnostiach potrebujeme stresové testy, red teaming, bezpečnostné benchmarky a sledovanie incidentov.

A pri vysoko neistých, ale potenciálne katastrofických scenároch je namieste výskum, scenárové plánovanie a primerané preventívne opatrenia.

Z pohľadu firmy je existenčné riziko takmer vždy nesprávna prvá otázka

Keď dnes prídem do organizácie a chcem posúdiť jej používanie AI, nezačal by som otázkou:

„Môže váš AI systém zničiť ľudstvo?“

Začal by som oveľa nudnejšie.

Aké systémy používate?

K akým dátam majú prístup?

Môžu samostatne vykonávať akcie?

Čo sa stane, ak sa pomýlia?

Kto kontroluje ich výstupy?

Existuje auditná stopa?

Kto má právo zmeniť ich oprávnenia?

A kto systém zastaví, ak začne robiť niečo, čo ste neočakávali?

Práve odpovede na tieto otázky rozhodujú o bezpečnosti AI, ktorú používame dnes.

A zaujímavé je, že rovnaké princípy budú užitočné aj v prípade, že budúce systémy budú oveľa výkonnejšie.

Debata o vyhynutí ľudstva má jednu nevýhodu.

Je taká veľká, že môže zatieniť všetko ostatné.

Keď počujeme o možnosti konca civilizácie, problém vymyslenej citácie alebo nesprávne nastaveného prístupu do databázy pôsobí banálne.

V skutočnosti však bezpečnosť technológií väčšinou nevzniká riešením jednej veľkej katastrofy.

Vzniká tisíckami malých rozhodnutí o architektúre, kontrole, oprávneniach, testovaní, zodpovednosti a monitoringu.

Dnešné vedecké poznanie nám neumožňuje seriózne tvrdiť, že pokročilá AI ľudstvo zničí.

Rovnako nám však nedáva dôvod predpokladať, že rast schopností systémov je automaticky bez rizika.

Správny postoj preto nie je ani panika, ani ľahostajnosť.

Je ním riadená opatrnosť.

Pýtať sa, čo systém dokáže. Čo mu dovolíme robiť. Akú škodu môže spôsobiť. Ako jeho správanie otestujeme. A čo urobíme v momente, keď sa naše predpoklady ukážu ako nesprávne.

Pretože budúcnosť AI možno nedokážeme predpovedať.

Ale kvalitu našej prípravy ovplyvniť dokážeme.

O autorovi

Marek Rodák sa venuje oblasti AI Governance, teda praktickému riadeniu používania umelej inteligencie v organizáciách so zameraním na identifikáciu rizík, pravidlá používania, zodpovednosť, bezpečnosť a zavádzanie AI do organizačných a firemných procesov.

Aktualizované: september 2026

Metodika článku

Hlavným východiskom článku je vedecko-publicistická analýza Elizabeth Gibney Will AI really kill us all? The science behind the hype, publikovaná v časopise Nature 22. septembra 2026.

Článok zámerne rozlišuje medzi tromi kategóriami tvrdení:

empiricky pozorovanými vlastnosťami a incidentmi súčasných AI systémov,

odhadmi a scenármi ďalšieho vývoja schopností AI,

a hypotetickými existenčnými scenármi, ktorých realizácia závisí od viacerých zatiaľ neoverených predpokladov.

Tvrdenia týkajúce sa budúceho existenčného rizika preto nie sú prezentované ako predpovede ani ako vedecky určené pravdepodobnosti.

Analýza bola doplnená o materiály RAND Corporation, AI Now Institute a verejné bezpečnostné rámce spoločnosti Anthropic. Pri firemných zdrojoch sa prihliada na skutočnosť, že poskytujú relevantné informácie o interných bezpečnostných procesoch, ale zároveň nejde o nezávislé hodnotenie rizík.

Hlavné zdroje

Nature: Elizabeth Gibney – Will AI really kill us all? The science behind the hype, 22. september 2026.

RAND Corporation: Michael J. D. Vermeer, Daniel Lathrop a Andrew Moon – výskum možností existenčného rizika AI prostredníctvom konkrétnych technologických mechanizmov, 2025.

AI Now Institute: Heidy Khlaaf – analýzy bezpečnostných incidentov AI agentov a požiadavky na nezávislý dohľad nad vysoko rizikovými AI systémami.

Anthropic: Responsible Scaling Policy, verzia aktualizovaná v roku 2026 – rámec riadenia potenciálnych katastrofických rizík pri rastúcich schopnostiach frontier modelov.

Anthropic: Frontier Safety Roadmap – bezpečnostné, alignmentové a governance opatrenia súvisiace s vývojom pokročilých modelov.