Slovník výrazov AI/Prenosové a úsporné učenie

Prenosové a úsporné učenie

kontrastívne učenie

Anglický výraz contrastive learning

základnéheslo č. 2165 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená kontrastívne učenie?

Kontrastívne učenie tvaruje priestor reprezentácií porovnávaním párov alebo množín príkladov: pozitívne pohľady má priblížiť a negatívne alebo odlišné prípady oddialiť. V samodohľadovom režime pozitíva často vznikajú augmentáciami toho istého objektu. Výsledok zásadne ovplyvňuje definícia pozitív, teplota straty, veľkosť dávky a riziko falošných negatív.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Pri predtrénovaní obrazového enkódera sa z každej snímky vytvoria dve transformácie. Projekčná hlava optimalizuje kontrastívnu stratu, kým následná úloha používa reprezentáciu pred touto hlavou. Tím overí, že orez, farby či rotácia nemenia cieľový význam, a testuje lineárnu sondu na nedotknutých štítkoch. Pri doménach s podobnými objektmi treba obmedziť falošné negatíva, ktoré by od seba odtláčali rovnakú triedu.

Overiteľnosť

Odborné zdroje

  1. Chen et al. · SimCLRproceedings.mlr.press
  2. van den Oord et al. · Contrastive predictive codingarxiv.org

Praktické odpovede

Často kladené otázky

Čo tvorí pozitívny pár?

Dva pohľady, o ktorých vieme, že majú zdieľať relevantný význam.

Prečo môže byť negatívum falošné?

Dva rôzne záznamy môžu patriť k tej istej skrytej triede.

Načo je teplotný parameter?

Riadi ostrosť porovnania podobností v strate.

Prečo sa používa projekčná hlava?

Oddelí priestor optimalizácie straty od reprezentácie pre následné úlohy.

Ako sa reprezentácia overuje?

Lineárnym sondovaním, dolaďovaním a prenosom na viac úloh.