Strojové učenie a jeho základné typy

Tri tímy pracujú s podobnou tabuľkou. Prvý odhaduje, či zákazník vráti výrobok. Druhý hľadá skupiny podobných nákupov. Tretí skúša, kedy ponúknuť zľavu, aby dosiahol vhodný výsledok v dlhšom období. Rozdiel nie je iba v názve algoritmu. Každý tím má iný druh spätnej väzby a inú úlohu.

V tejto kapitole rozlíšime učenie s učiteľom, bez učiteľa a posilňované učenie. Doplníme samoučenie s odvodenými cieľmi, ktoré je dôležité pre veľké jazykové modely. Po prečítaní budete vedieť určiť vhodný typ učenia podľa zadania, nie podľa reklamného názvu produktu.

Pri učení s učiteľom sú výsledky v príkladoch známe

Učenie s učiteľom, po anglicky supervised learning, používa príklady so vstupom a cieľovým výsledkom. Model hľadá vzťah, ktorý umožní odhadnúť výsledok pri novom vstupe. Učiteľ tu neznamená človeka sediaceho pri každom výpočte. Označuje dostupnosť cieľov na učenie. Google: Supervised Learning.

Predstavte si archív zákazníckych správ. Každá bola zaradená ako otázka o objednávke, reklamácia alebo technická požiadavka. Z textov a ich označení sa môže model učiť rozpoznávať kategóriu ďalšej správy.

Označenie však musí zodpovedať úlohe. Ak jedna správa obsahuje reklamáciu aj otázku o novej objednávke, vynútenie jednej kategórie môže stratiť časť významu. Niekedy potrebujeme viac označení pre jeden prípad.

Kvalita cieľov je preto rovnako dôležitá ako kvalita vstupov. Ak pracovníci v minulosti používali kategórie nejednotne, model môže preberať ich nejednotnosť. Tréning s označením nie je automaticky tréning na pravde.

Klasifikácia odhaduje kategóriu

Klasifikácia rieši zaradenie medzi kategórie. Môže ísť o dve možnosti, napríklad vhodný alebo chybný výrobok, alebo o viac možností. Výstup môže obsahovať skóre jednotlivých kategórií a pravidlo vyberie konečné označenie.

Počet kategórií musí vychádzať z praktickej potreby. Ak servis potrebuje odlíšiť elektrickú a mechanickú poruchu, kategória „problém“ je príliš široká. Ak však príjem správ potrebuje iba rozlíšiť, či ide o otázku pre servis, detailné členenie môže byť zbytočné.

Klasifikačný model môže urobiť rôzne chyby. Obyčajnú správu označí ako spam alebo spam prehliadne. Dôsledky sa líšia. Hodnotenie preto nemôže zostať pri jednom neurčitom údaji o úspešnosti.

Pred použitím modelu si vytvorte jednoduchú vetu: „Z týchto vstupov chceme odhadnúť túto kategóriu.“ Ak sa kategória nedá jednoznačne vysvetliť, projekt potrebuje spresnenie ešte pred výberom metódy.

Regresia odhaduje číselnú hodnotu

Regresia v kontexte strojového učenia odhaduje číselný výsledok: čas jazdy, spotrebu alebo počet predaných kusov. Číselný výstup klasifikácie a regresie môžu vyzerať podobne, ale ich význam je odlišný. Pravdepodobnostné skóre kategórie nie je automaticky odhad množstva.

V modelovej budove chceme odhadnúť dennú spotrebu elektriny. Vstupmi môžu byť predchádzajúca spotreba, prevádzkový režim a dostupné údaje o počasí. Cieľová hodnota má jednotku, napríklad kilowatthodinu. Bez jednotky nie je predikcia použiteľná.

Pri hodnotení treba určiť význam odchýlky. Rovnaká chyba desiatich jednotiek môže byť malá pri veľkej prevádzke a výrazná pri malej. Relatívne a absolútne chyby preto odpovedajú na odlišné otázky.

Ani presná predikcia nedokazuje príčinu. Model môže odhadovať spotrebu podľa kalendára, ale kalendár nemusí vysvetliť, ktoré zariadenie spotrebu spôsobuje. Na zásah do prevádzky potrebujeme ďalšie poznanie.

Učenie bez učiteľa hľadá štruktúru

Pri učení bez učiteľa, unsupervised learning, nemáme pre každý príklad určený cieľový výsledok daného typu. Hľadáme štruktúru alebo reprezentáciu v údajoch. Typickými úlohami sú zoskupovanie a zníženie počtu rozmerov. Google: What is Machine Learning?.

V knižnici môžeme skúmať skupiny kníh podľa tém a vlastností textu bez toho, aby sme každú knihu dopredu zaradili do hotovej kategórie. Algoritmus vytvorí skupiny podľa zvoleného spôsobu podobnosti.

Výsledok nepredstavuje automaticky „skutočné prirodzené skupiny“. Ak podobnosť meria dĺžku a formálnosť textu, môže vytvoriť iné skupiny než pri tematickom obsahu. Cieľ a reprezentácia údajov ovplyvňujú to, čo sa objaví.

Aj tu ľudia rozhodujú o metóde a interpretácii. Označenie bez učiteľa neznamená bez ľudského vedenia celého projektu. Znamená odlišný typ tréningovej spätnej väzby.

Zhlukovanie nie je klasifikácia

Pri zhlukovaní, clusteringu, hľadáme podobné prípady. Pri klasifikácii sa učíme priradiť prípad do vopred určených kategórií. Tento rozdiel sa dá ukázať na modelovej zákazníckej databáze.

Ak poznáme kategórie pravidelný a príležitostný zákazník a máme označené prípady, môžeme vytvárať klasifikátor. Ak hľadáme, či sa v nákupoch objavujú skupiny s rôznymi vzorcami, ide o zhlukovanie.

Skupinu následne môžeme pomenovať, ale názov nesmie prekračovať dáta. Zhluk ľudí nakupujúcich večer nie je bez ďalších dôkazov skupinou „prepracovaných rodičov“. Správanie, rodinný stav a príčina správania sú rozdielne informácie.

Takéto opatrné pomenovanie má pedagogický význam. Učí rešpektovať hranicu medzi meranou vlastnosťou a ľudským príbehom, ktorý si nad ňou ľahko vytvoríme.

Zníženie rozmerov pomáha s reprezentáciou

Údaje môžu obsahovať veľa vlastností. Niektoré sa opakujú alebo spolu silno súvisia. Zníženie počtu rozmerov vytvára menšiu reprezentáciu, ktorá zachováva určitú dôležitú informáciu.

Predstavte si porovnanie výrobkov podľa desiatok meraní. Prehľadnejšia reprezentácia môže pomôcť s vizualizáciou alebo ďalším modelovaním. Menší počet rozmerov však znamená aj stratu niektorých rozdielov.

Dve bodky blízko seba v dvojrozmernom grafe nemusia znamenať úplnú podobnosť vo všetkých pôvodných vlastnostiach. Vizuálne usporiadanie je výsledkom transformácie, ktorú treba interpretovať podľa jej účelu.

Tento príklad ukazuje, že aj dobre vyzerajúci graf môže viesť k nepresnému záveru. Potrebujeme vedieť, ktorú informáciu zachováva a ktorú potláča.

Anomália je odchýlka, nie automaticky chyba alebo podvod

Detekcia anomálií hľadá prípady, ktoré sa odlišujú od očakávaného vzorca. Môže využívať učenie bez učiteľa, učenie na označených prípadoch alebo kombináciu postupov. Samotný názov úlohy neurčuje jediný typ učenia.

V modelovej výrobe neobvyklý zvuk stroja môže signalizovať poruchu, ale aj nový režim. Výsledok má spustiť primeranú kontrolu. Ak každú odchýlku označíme ako potvrdenú poruchu, zvýšime počet zbytočných zásahov.

Naopak, známy vzorec nemusí byť bezpečný. Ak sa problém v minulosti opakoval, môže pôsobiť bežne. Štatistická bežnosť a správnosť sú odlišné vlastnosti.

Posilňované učenie využíva dôsledky akcií

Posilňované učenie, reinforcement learning, skúma, ako si systém osvojuje stratégiu podľa spätnej väzby z konania v prostredí. Základnými pojmami sú stav, akcia, odmena a politika, teda spôsob výberu akcií.

V modelovej hre agent pozoruje situáciu, vyberie pohyb a získa novú situáciu. Odmena môže prísť až po mnohých krokoch. Cieľom nie je iba uhádnuť okamžitý výsledok, ale zvoliť postup, ktorý vedie k vhodnému výsledku v čase.

Výskum AlphaZero ukazuje tento prístup pri hrách s presnými pravidlami a možnosťou opakovaného skúšania. Výsledok nemožno bez ďalšieho preniesť na prostredie, v ktorom je experiment nebezpečný alebo spätná väzba nejasná. Silver a kolektív, 2017.

Pri riadení reálneho zariadenia záleží aj na bezpečných hraniciach. Systém nemôže voľne skúšať všetko iba preto, že sa tým učí. Simulácia môže znížiť náklady experimentovania, ale nemusí úplne zodpovedať skutočnému svetu.

Odmena musí vystihovať zamýšľaný cieľ

Predstavte si modelový systém, ktorý dostáva odmenu za krátky čas vybavenia požiadavky. Môže sa naučiť uzatvárať požiadavky rýchlo, hoci problém zákazníka nevyriešil. Optimalizoval meranie, ktoré bolo nedostatočným zástupcom cieľa.

Ak chceme kvalitnú podporu, potrebujeme zohľadniť správnosť riešenia, opakované otvorenie a ďalšie podmienky. Ani tak nemusí byť jedna číselná odmena dokonalým opisom ľudskej spokojnosti.

Posilňované učenie tiež zahŕňa napätie medzi skúšaním nových možností a používaním už známeho postupu. Bez skúšania sa systém môže obmedziť na slabé riešenie. Príliš voľné skúšanie však môže byť neprijateľné.

V začiatočníckom výklade stačí vedieť, že spätná väzba hodnotí následky konania a že jej návrh ovplyvňuje osvojovanú stratégiu. Slovo odmena neznamená, že agent cíti potešenie.

Samoučenie s odvodenými cieľmi

Self-supervised learning využíva cieľ vytvorený zo samotných dát. Pri texte môže byť úlohou odhad chýbajúcej alebo nasledujúcej časti. Označenia nemusí jednotlivo vytvárať človek; výpočtový postup ich odvodí zo záznamov.

Tento prístup je dôležitý pri predtrénovaní jazykových modelov. Model T5 napríklad skúmal jednotné textové usporiadanie úloh a predtréning na poškodených textových vstupoch. Raffel a kolektív, 2019.

Nejde o učenie bez cieľa. Cieľová hodnota existuje, ale vznikla z dát inak než ručným označením kategórie. Preto je pre pedagogiku užitočné vysvetliť tento pojem samostatne a nesplynúť ho s jednoduchou formuláciou „AI sa učí sama“.

Predtrénovanie môže vytvoriť reprezentácie použiteľné v ďalších úlohách. To neznamená, že model vie bez overenia odpovedať na každú odbornú otázku. Naučený jazykový vzorec a doložený poznatok treba stále rozlišovať.

Jeden produkt môže kombinovať viac spôsobov učenia

Jazykový model môže najprv prejsť predtréningom, potom učením na ukážkach žiadaných odpovedí a následne dolaďovaním podľa preferencií. Nie všetky modely používajú rovnaký postup.

Práca o InstructGPT obsahovala učenie na ľudských demonštráciách aj posilňované učenie zo spätnej väzby. Iný výskum, DPO, predstavil odlišný spôsob učenia z preferencií bez rovnakého postupu optimalizácie cez samostatný model odmeny. Ouyang a kolektív, 2022; Rafailov a kolektív, 2023.

Generatívna AI teda nie je štvrtý typ učenia, ktorý by sa vždy vylučoval s predchádzajúcimi. Pomenúva tvorbu obsahu. Typ učenia pomenúva spôsob získavania spätnej väzby. Architektúra siete zase opisuje usporiadanie modelu. Tieto osi sa môžu kombinovať.

Jedna zbierka, štyri odlišné otázky

Predstavte si verejnú knižnicu so záznamami o knihách a výpožičkách. Ten istý súbor môže slúžiť viacerým úlohám. Typ učenia sa nevyberá podľa toho, že ide o knižnicu, ale podľa otázky a dostupnej spätnej väzby.

Prvá otázka znie, či čitateľ vráti knihu po termíne. Ak máme vhodné historické údaje a známe výsledky, môžeme vytvárať klasifikátor. Vstupy však musia byť dostupné pred uplynutím termínu. Skutočné omeškanie novej výpožičky nesmie byť medzi predbežnými vstupmi.

Druhá otázka znie, koľko kníh bude budúci týždeň požičaných. Cieľ je číselný, teda ide o predikčnú úlohu regresného typu. Hodnotenie musí sledovať veľkosť chyby a obdobie. Úspech klasifikátora omeškania o tejto úlohe nič priamo nehovorí.

Tretia otázka hľadá skupiny podobných čitateľských vzorcov. Ak kategórie nie sú vopred určené, môžeme skúmať zhlukovanie. Výsledné skupiny interpretujeme podľa meraného správania. Nemali by sme im bez ďalších podkladov prisudzovať povahu, schopnosti alebo hodnotu človeka.

Štvrtá otázka sa týka stratégie interaktívneho odporúčania. Systém volí ďalšiu ponuku a sleduje dôsledky v čase. Pri vhodnom návrhu môže ísť o problém posilňovaného učenia. Nestačí však nazvať odmenou akékoľvek tlačidlo páči sa mi. Musíme určiť celý rozhodovací proces.

Tento príklad pomáha odstrániť častý omyl. Rovnaká databáza neznamená rovnaký model a rovnaká aplikácia neznamená jediný spôsob učenia. Každá otázka potrebuje vlastné vymedzenie, podklady a hodnotenie.

Kategórie môžu byť spoločné alebo viacnásobné

Pri klasifikácii treba rozhodnúť, či sa kategórie navzájom vylučujú. Výrobok môže mať jeden hlavný typ. Správa však môže obsahovať otázku o dodaní aj sťažnosť na balenie. Vynútenie jednej kategórie môže stratiť podstatnú informáciu.

V modelovom príjme správ teda môžeme označiť viac tém. Následný proces určí, kto sa im venuje. Alebo potrebujeme jednu prioritnú tému, podľa ktorej sa správa presunie. Obe zadania sú možné, ale nie sú totožné.

Ak tréningové označenia používajú prvý význam a hodnotenie druhý, výsledok bude nejasný. Model môže zachytiť všetky témy a systém ho považuje za nesprávny, pretože očakával jedinú. Chyba vzniká v návrhu úlohy a jej rozhraní.

Kategórie treba definovať zrozumiteľne. Pojmy problém, otázka a žiadosť sa v bežnom jazyku prekrývajú. Bez pravidiel sa ľudia nemusia zhodnúť, a to sa prenesie do dát. Jasné označovanie podporuje technickú aj pedagogickú presnosť.

Začiatočník si môže kategórie preveriť na desiatich modelových správach. Ak nevie niektorú zaradiť, má vysvetliť dôvod. Nejednoznačný prípad nemusí byť chyba čitateľa. Môže odhaliť, že pôvodný zoznam kategórií potrebuje zmenu alebo doplnenie.

Číselný cieľ a pravdepodobnostné skóre

Číslo na výstupe môže mať rôzny význam. Odhad dvadsiatich požiadaviek na ďalší deň je množstvo. Skóre pre kategóriu reklamácia je výstup triedenia. Aj keď obe hodnoty zobrazuje aplikácia číselne, nespracúvame ich rovnako.

Pri regresii potrebujeme jednotku a rozsah. Čas v minútach sa nesmie zamieňať s hodinami. Počet kusov s počtom balení. Ak má výsledok podporiť plánovanie, treba vedieť aj to, pre aké obdobie platí a akú neistotu môže obsahovať.

Pri klasifikácii potrebujeme pravidlo, ktoré z výstupu určí postup. Skóre samo nemusí byť spoľahlivo kalibrovaná pravdepodobnosť. Tím môže zvoliť hranicu na odoslanie prípadu na kontrolu. Zmena hranice môže meniť počet zachytených problémov aj počet zbytočných upozornení.

Modelová služba potrebuje zachytiť všetky naliehavé správy. Môže radšej upozorniť aj pri niektorých nejasných prípadoch. Ak by rovnaký výstup automaticky uzatváral žiadosti, dôsledky chyby by boli iné. Typ učenia teda nestačí na návrh rozhodnutia.

Rozlíšenie sa dá precvičiť otázkou, čo číslo označuje. Ak nepoznáme definíciu, nevieme ho správne interpretovať. Technický vzhľad hodnoty nesmie nahradiť informáciu o jej význame a o tom, ako vznikla.

Dve zhlukovania môžu byť súčasne zmysluplné

Máme modelový súbor kníh. Jedna metóda ich zoskupí podľa tém, druhá podľa dĺžky a jazykovej náročnosti. Výsledky sú odlišné. To ešte neznamená, že jeden musí byť chybný. Každý sleduje inú reprezentáciu podobnosti.

Pre prípravu čitateľskej ponuky môže byť vhodná téma. Pre výber textov do jazykového kurzu môže byť dôležitejšia náročnosť. Bez určenia účelu sa nedá rozhodnúť, ktoré usporiadanie viac pomáha.

Pri zhlukovaní môže záležať aj na mierke vlastností. Ak majú dve premenné výrazne rozdielny rozsah, niektoré metódy môžu jednu z nich neprimerane zdôrazniť. Preto príprava a reprezentácia údajov ovplyvňujú výsledné skupiny.

Interpretácia prichádza až po výpočte. Skupinu označíme podľa toho, čo dáta skutočne ukazujú. Označenie „dlhšie populárno-náučné texty“ je konkrétnejšie než „knihy pre inteligentných ľudí“. Druhý názov pridáva hodnotenie, ktoré z meranej podobnosti nevyplýva.

Tento rozdiel má význam aj mimo kníh. Skupiny zákazníkov alebo používateľov nie sú úplným opisom ich osobnosti. Učenie bez učiteľa vytvára analytickú reprezentáciu. Človek musí posúdiť, či je vhodná a či ju používa primerane.

Hodnotenie bez vopred určenej správnej odpovede

Pri klasifikácii môžeme porovnávať výstup so známou kategóriou. Pri zhlukovaní nemusíme mať jeden referenčný zoznam správnych skupín. Hodnotenie sa preto môže sústrediť na štruktúru, stabilitu a praktickú užitočnosť.

Modelová organizácia hľadá opakujúce sa témy v požiadavkách. Výsledok pomôže, ak odhalí konkrétny problém a umožní zlepšiť dokumentáciu. Pekné usporiadanie bodov v grafe nestačí. Potrebujeme preveriť skutočné texty v skupine a význam spoločného vzorca.

Skupiny tiež porovnáme pri primeranej zmene vstupov. Ak malá zmena vytvorí úplne iný obraz, výsledok môže byť citlivý a potrebuje opatrnú interpretáciu. Stabilita však sama nie je dôkaz, že zvolená podobnosť zodpovedá účelu.

Pri redukcii rozmerov sa pýtame, ktorú informáciu reprezentácia zachováva. Prehľadná dvojrozmerná mapa môže potlačiť rozdiely potrebné pre rozhodnutie. Preto pri dôležitom použití nezostávame iba pri vizuálnom dojme a skúmame aj pôvodné vlastnosti.

Takéto hodnotenie učí začiatočníka, že nie každá úloha má rovnaký typ správnej odpovede. Niekedy overujeme presné označenie. Inokedy posudzujeme, či analytický výsledok zodpovedá konkrétnemu účelu a poskytuje užitočnú oporu.

Učenie s čiastočným označením

Semi-supervised learning kombinuje označené a neoznačené príklady. Môže byť užitočné, keď je označovanie drahé a neoznačených dát máme viac. Neznamená automaticky, že každá kombinácia zlepší výkon. Záleží na metóde a vhodnosti údajov. Google: Machine Learning Glossary.

V modelovej zbierke máme tisíce fotografií, ale iba časť s overeným názvom predmetu. Chceme využiť aj zvyšok. Pri takom projekte treba vedieť, či neoznačené snímky pochádzajú z podobného prostredia a či obsahujú relevantné predmety.

Ak systém vytvorí pomocné označenia pre ďalšie príklady, môžu obsahovať chybu. Pri nekontrolovanom použití sa chyba môže ďalej posilniť. Vysoká istota modelu nie je automaticky správne označenie. Potrebujeme nezávislé hodnotenie a primeraný výber prípadov.

Tento prístup sa odlišuje od učenia bez učiteľa tým, že využíva aj explicitné ciele pre časť dát. Od self-supervised učenia sa odlišuje spôsobom tvorby cieľa. Terminológia závisí od konkrétneho postupu, preto treba čítať jeho opis.

Pre začiatočníka je podstatné pochopiť motiváciu: nechceme zbytočne zahodiť dostupné dáta, ale zároveň nemáme overené výsledky pre všetky. Táto okolnosť vytvára technickú možnosť aj ďalšie riziko. Úspora označovania sa musí posúdiť spolu s kvalitou výsledku.

Aktívne učenie vyberá, čo treba označiť

Pri aktívnom učení model alebo postup pomáha vybrať príklady, ktorých označenie môže byť pre učenie užitočné. Namiesto rovnakého ručného spracovania všetkých dát sústreďujeme pozornosť na vhodnú časť. Definíciu uvádza aj odborný slovník Google. Active learning.

Modelová organizácia má veľký archív správ. Pracovníci môžu označiť iba obmedzený počet. Postup vyberie nejasné alebo inak informatívne prípady. Človek poskytne správne označenie a ďalší tréning ho využije.

Výber však musí zodpovedať cieľu. Ak stále vyberáme iba jeden typ nejasných správ, môžeme zanedbať iné situácie. Potrebujeme posúdiť aj rozmanitosť a reprezentatívnosť. Označovanie najneistejšieho príkladu nie je univerzálne najlepšie rozhodnutie.

Aktívne učenie sa nesmie zamieňať s tým, že chatbot položí doplňujúcu otázku v jednom rozhovore. V danom význame ide o výber údajov pre tréningový proces. Podobnosť bežných slov neznamená totožný technický mechanizmus.

Prínos overíme podľa toho, či pri rozumnom rozsahu označovania získame vhodný výkon. Človek zostáva súčasťou prípravy dát. Model pomáha smerovať jeho prácu, ale neodstraňuje požiadavku správne a jednotne definovať cieľové kategórie.

Posilňované učenie na malej modelovej hre

Predstavte si hru s niekoľkými políčkami. Agent má dostať predmet do cieľa. Vidí svoju polohu a môže sa posunúť jedným z určených smerov. Za dosiahnutie cieľa dostane odmenu. Každý pohyb môže mať malý náklad, aby nekrúžil bez konca.

Stav opisuje situáciu potrebnú na rozhodnutie. Ak v hre existuje pohyblivá prekážka, poloha agenta nemusí stačiť. Potrebujeme zahrnúť aj relevantnú informáciu o prekážke. Neúplný stav môže sťažiť výber vhodnej akcie.

Akcia mení prostredie. Agent po nej dostane ďalšie pozorovanie a spätnú väzbu. Dôležité je, že hodnotí aj následky sekvencie krokov. Pohyb, ktorý neprinesie okamžitú odmenu, môže byť potrebný pre neskorší úspech.

Politika je spôsob výberu akcií. Môže preferovať určitý pohyb v určitom stave. Nie je to zoznam pocitov ani úmyslov. Je to výpočtová stratégia, ktorej užitočnosť sa posudzuje podľa výsledku.

V tejto hre sa dá bezpečne skúšať. V reálnom prostredí nemusí byť taká voľnosť prijateľná. Učenie pohybu robota preto potrebuje riešiť fyzické hranice a kontrolu. Modelový príklad vysvetľuje mechanizmus, ale nezaručuje jednoduchý prenos.

Krátkodobá odmena a dlhodobý výsledok

Agent v hre môže dostať bod za každý dotyk tlačidla. Ak je skutočným cieľom dokončiť úlohu, nesprávna odmena ho môže viesť k opakovanému stláčaniu. Výpočtovo plní to, čo sa meria, ale výsledok nezodpovedá zámeru tvorcu.

Modelový zákaznícky systém môže mať podobný problém. Ak sa odmeňuje iba krátke trvanie rozhovoru, môže preferovať rýchle uzavretie. Pri spokojnosti, ktorá sa ukáže až neskôr, je spätná väzba zložitejšia.

Nejde o dôkaz ľstivého úmyslu. Je to dôsledok rozdielu medzi zamýšľaným cieľom a výpočtovým signálom. Pri vysvetlení je presnejšie hovoriť o optimalizácii nevhodnej odmeny než pripisovať systému ľudskú motiváciu.

Odmenu teda navrhujeme s ohľadom na celú úlohu a preverujeme správanie. Všímame si aj situácie, v ktorých agent získal dobré číslo bez vhodného výsledku. Taký rozbor môže odhaliť medzeru v meraní.

Táto lekcia sa prenáša aj na obyčajné metriky. Počet kliknutí, rýchlosť vybavenia a počet vytvorených textov nie sú automaticky úplným opisom kvality. Výber cieľa patrí medzi najdôležitejšie ľudské rozhodnutia v projekte učenia.

Učenie v simulácii a použitie v skutočnosti

Simulácia umožňuje skúšať veľa priebehov bez rovnakých fyzických nákladov. Agent môže získavať spätnú väzbu v umelo vytvorenom prostredí. Jeho úspech však závisí od toho, ako simulácia zachytáva podmienky, ktoré budú podstatné neskôr.

Modelový robot v simulácii uchopí predmet, ktorý má vždy rovnaký tvar a povrch. V skutočnosti môžu byť predmety klzké, poškodené alebo uložené inak. Prenos preto potrebuje overenie, nie iba opakovanie výsledku zo simulácie.

To isté platí pre digitálne prostredie. Simulovaný formulár môže byť nemenný. Skutočná stránka sa aktualizuje alebo obsahuje neočakávaný stav. Agent naučený na jednom usporiadaní nemusí zvládnuť zmenu bez ďalšieho kontextu.

Simulácia je užitočný nástroj, nie úplná náhrada reality. Tvorca musí pomenovať rozdiely a zvoliť primeraný postup nasadenia. Čím väčší je dôsledok chyby, tým dôležitejšia je kontrola relevantných reálnych podmienok.

Porovnanie labelu a odmeny

Pri klasifikácii môže príklad obsahovať správnu kategóriu. Pri posilňovanom učení môže odmena prísť až po sérii akcií. Tieto formy spätnej väzby poskytujú odlišnú informáciu.

V modelovej hre nepoznáme pri každom stave jediný najlepší pohyb. Poznáme však výsledok partie. Učenie musí posúdiť, ktoré predchádzajúce rozhodnutia k nemu prispeli. Pri označenej fotografii je cieľ pre konkrétny vstup priamo pripojený.

Tieto situácie sa môžu kombinovať. Agent môže začať učením z ukážok vhodného konania a potom sa zlepšovať podľa výsledkov. Nie je potrebné vyberať jednu nálepku pre celý životný cyklus produktu.

Pri hodnotení študenta preto používajme presný opis procesu. Otázka nemá znieť iba „aký typ AI je tento produkt“. Lepšie je určiť, aké dáta dostal v jednej fáze a aký signál používal na učenie. Tak sa dá rozlíšiť predtréning, dolaďovanie a bežné použitie.

Self-supervised učenie aj mimo textu

Cieľ odvodený zo vstupu sa dá vytvoriť aj pri obrazoch. V jednom výskumnom prístupe pripravíme dve upravené podoby tej istej fotografie. Model sa učí vytvárať reprezentácie, ktoré tieto podoby spájajú a odlišujú od iných obrázkov. Príkladom je práca SimCLR. Nie každý systém učený bez ručne dodaných označení však používa tento postup.

Predstavme si fotografiu hrnčeka. Jedna verzia je mierne orezaná, druhá má upravený jas. Informácia, že pochádzajú z tej istej fotografie, vznikla pri príprave tréningu. Človek nemusel napísať slovo „hrnček“ pri každom príklade. To vysvetľuje, prečo takýto postup dokáže využiť aj dáta bez názvov objektov.

Výber úprav je podstatný. Ak učíme rozpoznávanie predmetov, menšia zmena jasu môže byť prípustná. Ak skúmame farbu materiálu, rovnaká úprava môže odstrániť potrebnú informáciu. Cieľ a príprava príkladov určujú, ktoré rozdiely má model považovať za dôležité.

Neskôr môžeme reprezentáciu použiť pri označenej úlohe. Na menšom súbore fotografií s kategóriami sa naučí ďalšia časť systému odhadovať konkrétny názov. V jednom riešení sa tak stretnú dva spôsoby učenia. Predtréning využil štruktúru vstupu a následná úloha overené označenia.

Prípad archívu: najprv upraviť otázku

Škola chce sprístupniť starý archív pracovných listov. Zadanie „nech AI roztriedi materiály“ ešte nestačí. V archíve sú názvy, ročníky, obrázky aj neúplné skeny. Časť materiálov má overené údaje, ostatné sa líšia kvalitou.

Prvý cieľ môže byť jednoduchý: vyhľadávať podľa presného názvu a ročníka. Ak sú tieto údaje dostupné, obyčajný index ich spracuje bez tréningu predikčného modelu. Strojové učenie nemusí byť potrebné na každý krok projektu.

Druhý cieľ je odhadnúť predmet pri pracovných listoch, kde chýba označenie. Ak škola má dostatok overených ukážok, môže uvažovať o klasifikácii s učiteľom. Predmety treba definovať tak, aby bolo jasné, čo urobiť s listom prepájajúcim matematiku a prírodovedu.

Tretí cieľ je nájsť podobné materiály, aj keď používajú odlišné názvy. Reprezentácie a zhlukovanie môžu pomôcť pri prieskume archívu. Vzniknuté skupiny však musí niekto preskúmať. Podobnosť rozloženia stránky nemusí znamenať podobnosť učiva.

Štvrtý cieľ je vybrať, ktoré neoznačené materiály majú učitelia posúdiť ako prvé. Tu môže pomôcť aktívne učenie. Vybraný súbor by mal prinášať informáciu a zároveň nezanedbať podstatné časti archívu.

Pri žiadnom z týchto cieľov automaticky nepotrebujeme posilňované učenie. Systém nemusí konať v prostredí a získavať odmenu za sekvenciu akcií. Samotný fakt, že človek občas opraví výsledok, ešte neurčuje tento typ učenia.

Ako vysvetliť nesprávnu odpoveď

Pri precvičovaní typov učenia má zmysel rozoberať aj dôvod omylu. Ak študent označí triedenie správ za učenie bez učiteľa, pretože systém pracuje samostatne, zamieňa prítomnosť človeka počas používania s označeniami počas tréningu.

Oprava má pomenovať chýbajúci údaj: mali tréningové správy známe kategórie? Ak áno, ide o učenie s učiteľom, aj keď po nasadení už systém správy triedi automaticky. „Učiteľ“ v tomto pojme označuje dostupný cieľový signál.

Ďalší omyl vzniká pri priebežnej spätnej väzbe. Používateľ dá odpovedi palec dole a študent usúdi, že sa model okamžite naučil opravu. Taký záver nemáme podložený. Hodnotenie môže slúžiť na neskorší vývoj alebo sa vôbec nemusí dostať do tréningu.

Príklad má preto obsahovať informáciu o procese. Bez nej možno uviesť len možné vysvetlenia. Aj to je správna odborná odpoveď: dostupný opis nestačí na rozhodnutie. Presné rozlišovanie učí študenta nevymýšľať chýbajúce mechanizmy.

Nakoniec skúste zadanie preformulovať vlastnými slovami. Pomenujte vstup, požadovaný výsledok a zdroj spätnej väzby. Ak sa tieto tri údaje dajú jednoznačne určiť, výber spôsobu učenia bude zvyčajne podstatne jednoduchší. Zároveň sa ukáže, či problém vôbec vyžaduje učenie modelu.

Dva rovnako vyzerajúce výsledky

Dve aplikácie môžu priradiť fotografii rovnaký názov a pritom používať odlišné postupy. Jedna má model učený na označených obrázkoch. Druhá porovná reprezentáciu fotografie s reprezentáciami textových názvov. Samotný výstup na obrazovke nám neodhaľuje celú históriu učenia.

Pri hodnotení preto vyhľadáme opis modelu a relevantnej fázy tréningu. Ak dokumentácia chýba, nesnažíme sa medzeru nahradiť odhadom podľa vzhľadu aplikácie. Môžeme presne opísať pozorovanú funkciu a uviesť, ktoré informácie o učení nepoznáme.

Také rozlíšenie je užitočné aj pri skúške vedomostí. Zadanie musí poskytnúť potrebné údaje, aby malo jednoznačnú odpoveď. Inak preveruje skôr hádanie úmyslu autora než porozumenie základným typom učenia. Správne formulovaná otázka vždy odlišuje správanie hotového systému od procesu jeho vytvárania.

Prehľad podľa otázky a spätnej väzby

Úloha: vyberte učenie podľa zadania

Múzeum má fotografie predmetov s overenými názvami a chce odhadovať názov nového predmetu. To je kandidát na učenie s učiteľom. Ak chce iba zistiť, ktoré predmety sú vizuálne podobné, môže skúmať zhlukovanie. Ak systém vyberá sériu krokov v interaktívnej simulácii a učí sa podľa výsledku, môže ísť o posilňované učenie.

Správne pomenovanie ešte nezaručuje dobrý projekt. Potrebujeme kvalitu údajov, jasnú úlohu a realistické overenie. Pri výbere typu učenia však už dokážeme položiť zásadnú otázku: odkiaľ systém dostane informáciu, podľa ktorej sa má zlepšovať? Porovnávajte procesy.

Pojmy v slovníku

učenie bez učiteľa (unsupervised learning) · posilňované učenie (reinforcement learning)

Rozšírené vysvetlenie v Premium: Prediktívne modely a forecasting. Ako vyhodnotiť predikciu, neistotu a použiteľnosť modelu na nových prípadoch. Táto nadväzujúca kapitola je za paywallom (Registrácia + Premium). Celý tento úvodný kurz zostáva zadarmo.

Zhrnutie kapitoly

Učenie s učiteľom využíva označené príklady, učenie bez učiteľa hľadá štruktúru a posilňované učenie pracuje so spätnou väzbou za konanie. Výber závisí od úlohy a dostupných údajov.