Slovník výrazov AI/Prenosové a úsporné učenie

Prenosové a úsporné učenie

učenie so samodohľadom

Anglický výraz self-supervised learning

základnéheslo č. 2025 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená učenie so samodohľadom?

Učenie so samodohľadom vytvára tréningový cieľ priamo zo štruktúry neoznačených dát: model predpovedá skrytú časť, ďalší úsek alebo zhodu medzi upravenými pohľadmi toho istého príkladu. Takto sa učí reprezentácia bez ručne priradených tried. Samodohľad opisuje pôvod cieľa, nie absenciu optimalizačnej straty ani automatickú užitočnosť reprezentácie.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Pri obrazových dátach sa z jednej snímky vytvoria dve rozumne augmentované verzie a enkóder sa učí priradiť im blízke vektory. Po predtrénovaní sa reprezentácia overí lineárnou sondou a následne doladí na malej označenej vzorke. Transformácie nesmú odstrániť význam potrebný pre budúcu úlohu; pri medicínskom obraze napríklad nevhodný orez môže vymazať podstatný znak.

Overiteľnosť

Odborné zdroje

  1. van den Oord et al. · Contrastive predictive codingarxiv.org
  2. Chen et al. · SimCLRproceedings.mlr.press

Praktické odpovede

Často kladené otázky

Odkiaľ pochádza správna odpoveď?

Z dát samotných, napríklad z maskovanej časti alebo vzťahu medzi dvoma pohľadmi.

Je samodohľad úplne bez označení?

Bez ručných cieľových štítkov, ale používa automaticky skonštruované ciele.

Je predtextová úloha finálnym produktom?

Zvyčajne nie; má vytvoriť prenositeľnú reprezentáciu.

Čo je kolaps reprezentácie?

Stav, keď model mapuje rôzne vstupy na takmer rovnaký vektor.

Ako sa meria kvalita?

Lineárnym sondovaním, dolaďovaním a testom na nezávislých následných úlohách.