Slovník výrazov AI/Prenosové a úsporné učenie

Prenosové a úsporné učenie

učenie viacerých úloh

Anglický výraz multi-task learning

špecializovanéheslo č. 2415 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená učenie viacerých úloh?

Učenie viacerých úloh optimalizuje spoločný model pre viac cieľov naraz a využíva zdieľané reprezentácie ako induktívne obmedzenie. Úlohy môžu mať spoločnú chrbticu a samostatné hlavy alebo zdieľať parametre mäkko. Prínos vzniká iba pri kompatibilných signáloch; nesprávne váženie strát alebo konfliktné gradienty môžu spôsobiť negatívny prenos medzi úlohami.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Pri analýze dokumentov jedna chrbtica súčasne predikuje typ, jazyk a citlivé polia. Každá hlava má vlastnú metriku a strata sa škáluje tak, aby najväčšia numerická hodnota neovládla tréning. Dávky obsahujú informáciu o chýbajúcich cieľoch, ktoré sa nemajú považovať za negatíva. Tím porovná spoločný model so samostatnými modelmi, sleduje konflikty gradientov a uvádza výkon každej úlohy, nie iba priemer.

Overiteľnosť

Odborné zdroje

  1. Caruana · Multitask learningdoi.org
  2. Pan & Yang · Transfer learning surveydoi.org

Praktické odpovede

Často kladené otázky

Čo sa medzi úlohami zdieľa?

Reprezentácia, vrstvy alebo regularizačná väzba parametrov.

Musia mať úlohy rovnaký výstup?

Nie, môžu používať samostatné hlavy a straty.

Prečo sa straty vážia?

Ich mierky a dôležitosť sa môžu výrazne líšiť.

Kedy nastane?

Keď zdieľanie poškodí aspoň jednu úlohu oproti jej samostatnému modelu.

Stačí agregované skóre?

Nie, treba uviesť výsledok a kompromis pre každú úlohu.