Slovník výrazov AI/Prenosové a úsporné učenie

Prenosové a úsporné učenie

regularizácia konzistentnosti

Anglický výraz consistency regularization

základnéheslo č. 2115 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená regularizácia konzistentnosti?

Regularizácia konzistentnosti penalizuje rozdiel medzi predikciami modelu pre významovo rovnaký vstup po prípustnom rušení, augmentácii alebo zmene modelu. V poloriadenom učení tým využíva neoznačené dáta: rozhodnutie má byť stabilné v okolí príkladu. Kritické je, aby transformácia zachovala cieľ; inak strata núti model ignorovať skutočne rozlišujúci znak.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Pri snímkach sa z jedného neoznačeného obrazu vytvorí slabá a silná augmentácia. Predikcia zo slabej verzie sa prijme ako cieľ len nad prahom dôvery a silná verzia sa učí rovnakému výsledku. Tím otestuje každú transformáciu s odborníkom, sleduje výkon podľa tried a porovná viac váh konzistenčnej straty. Na validačné dáta sa augmentácie nevyberajú podľa výsledku testu.

Overiteľnosť

Odborné zdroje

  1. Miyato et al. · Virtual adversarial trainingarxiv.org
  2. Sohn et al. · FixMatchproceedings.neurips.cc

Praktické odpovede

Často kladené otázky

Čo má zostať rovnaké?

Predikcia alebo reprezentácia pri transformácii, ktorá nemení cieľovú triedu.

Je každá augmentácia vhodná?

Nie; musí rešpektovať sémantiku konkrétnej úlohy.

Ako sa využijú bez cieľov?

Model porovná vlastné výstupy pre dve verzie toho istého príkladu.

Čo ak je strata príliš silná?

Model môže uprednostniť hladkosť pred zhodou s pravými štítkami.

Je pseudo-označovanie konzistenčná metóda?

V metódach ako FixMatch sa oba princípy spájajú.