Slovník výrazov AI/Optimalizácia a trénovanie

Optimalizácia a trénovanie

mixup

Anglický výraz mixup

pokročiléheslo č. 3815 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená mixup?

Mixup vytvára tréningový príklad konvexnou kombináciou dvoch vstupov x'=λxi+(1-λ)xj a rovnakou kombináciou ich cieľov. Koeficient λ sa zvyčajne vzorkuje z beta rozdelenia. Model sa tak učí približne lineárne správanie medzi pozorovaniami a menej ostré rozhodovacie hranice; zmiešaná vzorka však nemusí byť realistickým členom pôvodnej dátovej domény.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Pri obrazovej klasifikácii sa po vytvorení dávky premiešajú partneri, vzorkuje sa λ a loss sa vypočíta voči mäkkému cieľu. Tím overí, či miešanie zachováva zmysel úlohy: pri niektorých medicínskych, priestorových alebo diskrétnych vstupoch môže vytvoriť zavádzajúce kombinácie. Hodnotí sa presnosť, kalibrácia a robustnosť a osobitne sa dokumentuje, či sa mieša pred alebo po augmentáciách. Hodnota alpha sa ladí na validácii.

Overiteľnosť

Odborné zdroje

  1. Zhang et al. · mixuparxiv.org
  2. Deep Learning Book · Regularizationdeeplearningbook.org

Praktické odpovede

Často kladené otázky

Čo sa kombinuje?

Dva vstupy aj ich ciele tým istým koeficientom λ.

Odkiaľ pochádza?

Najčastejšie z beta rozdelenia so zvoleným parametrom alpha.

Je stále one-hot?

Nie, pre klasifikáciu je konvexnou kombináciou dvoch labelov.

Je zmiešaný obraz reálny?

Nemusí byť; metóda zavádza regularizačný predpoklad medzi vzorkami.

Kedy aplikovať ostatné augmentácie?

Pravidlo treba určiť a držať rovnaké pri reprodukcii.