Predpojatosť a diskriminácia v AI

Zhrnutie

AI môže opakovať nerovnosti z dát aj vytvárať nové nerovnosti spôsobom, akým nastavíme úlohu. Dobrá priemerná presnosť neukáže všetky problémy. Naučíte sa odlíšiť chybu od systematického znevýhodnenia, sledovať výsledky pre rôzne skupiny a rozumieť tomu, prečo vymazanie jedného stĺpca nemusí stačiť.

Keď systém oceňuje nesprávnu vlastnosť

Modelová firma triedi životopisy podľa podobnosti s profilmi svojich úspešných zamestnancov. V minulosti prijímala najmä absolventov niekoľkých škôl. Model si tento vzor osvojí a ostatných uchádzačov hodnotí slabšie. Na testovacích dátach môže vyzerať úspešne, pretože tie pochádzajú z rovnakého náborového procesu.

Systém vtedy nemusí merať schopnosť vykonávať prácu. Môže merať podobnosť s ľuďmi, ktorí už prešli starým výberom. To je podstatný rozdiel. Ak sa z minulých rozhodnutí stane kritérium správnosti, minulé nerovnosti dostávajú technicky presvedčivú podobu.

NIST pri AI rozlišuje systémové, výpočtové a štatistické a ľudské zdroje predpojatosti. Problém preto nie je iba vo vzorke dát, ale aj v organizácii a úsudkoch ľudí, ktorí nástroj vytvárajú či používajú. NIST SP 1270.

Predpojatosť nie je to isté ako každá chyba

Ak systém raz nesprávne prečíta číslo na faktúre, môže ísť o náhodnú chybu. Ak pravidelne zle spracúva dokumenty z určitého typu skenera, vidíme opakujúci sa vzor. Ak tento vzor znevýhodňuje určitú skupinu ľudí, treba skúmať aj spravodlivosť a možné diskriminačné dôsledky.

Právne posúdenie diskriminácie závisí od okolností a príslušných predpisov. V tejto kapitole sa sústreďujeme na rozpoznanie problému a návrh kontroly, nie na právne rozhodovanie o jednotlivých prípadoch.

Priemer môže skryť slabé miesto

Predstavme si prepisovač hlasu, ktorý správne zachytí 95 zo 100 krátkych výpovedí. Priemerný výsledok vyzerá dobre. Ak však všetkých päť chýb pripadá na desať výpovedí ľudí s určitým prízvukom, táto skupina má podstatne horšiu skúsenosť.

Čísla v tomto príklade sú vymyslené na vysvetlenie výpočtu. Nie sú meraním konkrétneho produktu. Poučenie je praktické: okrem súhrnného výsledku sledujte, komu a v akých situáciách systém zlyháva.

Tabuľka sama nevysvetľuje príčinu rozdielu. Môže ísť o prízvuk, hlučnosť nahrávok, techniku alebo kombináciu faktorov. Rozdiel je dôvod na vyšetrovanie, nie hotový záver o príčine.

💡 Jednoducho: priemerná presnosť odpovedá na otázku „ako často to funguje“. Neodpovedá sama na otázku „pre koho to funguje horšie“.

Prečo nestačí odstrániť citlivý stĺpec

Ak z náborového súboru odstránite vek, iné údaje s ním môžu súvisieť. Rok ukončenia školy alebo dĺžka praxe môžu fungovať ako nepriame signály. Podobne miesto bydliska môže súvisieť s podmienkami, ktoré nechceme používať na rozhodovanie.

Tieto vzťahy neznamenajú, že každý taký údaj je automaticky zakázaný. Znamenajú, že treba posúdiť jeho relevantnosť pre účel a možné následky. Pri dôležitom rozhodovaní nemožno zameniť jednoduché odstránenie stĺpca za úplné preverenie spravodlivosti.

Ako zostaviť užitočný test

Začnite kritériom úspechu. Pri prepisovaní to môže byť správne zachytenie slov; pri triedení žiadostí môže byť správnym cieľom úplnosť podkladov, nie odhad osobnej hodnoty uchádzača. Potom vyberte prípady z rôznych reálnych podmienok: krátke aj dlhé vstupy, rôzne formáty a situácie, ktoré systém pravdepodobne stretne.

Sledujte oba smery chyby. Systém môže oprávnenú žiadosť nesprávne odmietnuť alebo neoprávnenú nesprávne prijať. Následky nemusia byť rovnaké. Test má zachytiť aj prípady, pri ktorých sa systém nemá rozhodnúť a musí požiadať o ďalší údaj.

Pri skúmaní skupín pracujte zákonne a primerane. Nezbierajte citlivé údaje bez posúdenia len preto, že chcete merať spravodlivosť. Metódu a potrebné údaje má schváliť kompetentná osoba. Malé vzorky navyše neumožňujú pevné štatistické závery.

Náprava nemusí byť iba technická

Niekedy treba doplniť testovacie dáta. Inokedy treba zmeniť cieľ, kritérium alebo celý proces. Ak model spoľahlivo rozpoznáva nedostatky vo formulári, ale nevie obhájiť poradie ľudí, nechajte ho kontrolovať úplnosť namiesto výberu víťazov.

Dotknutý človek má mať zrozumiteľnú cestu na opravu údajov a preskúmanie problému. Pomáha tiež pravidelne kontrolovať výsledky po nasadení. Zmena používateľov alebo vstupných dokumentov môže priniesť chyby, ktoré pôvodný test neobsahoval.

Cvičenie a zhrnutie

Navrhnite desať modelových vstupov na jednu úlohu. Meňte vždy jednu vlastnosť, ktorá nemá ovplyvniť správnu odpoveď. Porovnajte výsledky. Taký malý test nie je certifikáciou spravodlivosti, ale môže odhaliť slabinu, ktorú súhrnné hodnotenie prehliada.

Zdroje a redakčná poznámka

• NIST SP 1270: Identifying and Managing Bias in AI.
• NIST: AI Risks and Trustworthiness.

Všetky číselné a pracovné príklady sú modelové. Stav spracovania: 4. októbra 2026. Návrh na odborné overenie: Miroslav Schmiedt; osobné overenie zatiaľ nepotvrdené.

Pojem v slovníku

Odborný pojem: strojove ucenie

Rozšírené vysvetlenie: Nadväzujúca odborná kapitola v Premium. Obsahuje podrobnejšie postupy a kontroly. Vyžaduje registráciu a Premium; tento základný kurz zostáva celý zadarmo.