Presná definícia
Čo znamená maskovaný autoenkóder?
Maskovaný autoenkóder sa učí rekonštruovať skryté časti vstupu z viditeľného kontextu. Vo vizuálnom MAE sa veľká časť obrazových patchov odstráni ešte pred enkóderom; ľahký dekóder dostane enkódované viditeľné tokeny aj maskovacie tokeny a predikuje pixely chýbajúcich patchov. Vysoký pomer maskovania znižuje cenu enkódera a núti model zachytiť globálnu štruktúru.
Skúsenosť a kontext
Ako sa pojem používa v praxi
MAE sa používa na samoučené predtrénovanie obrazového backbone bez triedových označení. Tím nastaví veľkosť patchu, pomer maskovania a normalizáciu cieľových pixelov; hodnotu reprezentácie potom meria lineárnym vyhodnotením alebo dolaďovanieom, nie iba rekonštrukčnou stratou. Maska sa vzorkuje oddelene pre každý obraz. Extrémne ľahká rekonštrukcia môže podporiť lokálne kopírovanie, extrémne ťažká zas nejednoznačné priemerovanie.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo sa skrýva?
Náhodne vybrané tokeny alebo obrazové patche vstupu.
Vidí maskovacie tokeny?
V pôvodnom vizuálnom MAE spracúva iba viditeľné patche.
Akú má úlohu?
Doplniť plnú sekvenciu a predikovať obsah maskovaných pozícií.
Prečo býva pri obraze vysoký?
Patches sú redundantné a odstránenie väčšiny zrýchli enkóder.
Ako sa posúdi reprezentácia?
Prenosom na klasifikáciu, detekciu alebo segmentáciu.