Slovník výrazov AI/Vysvetliteľnosť a interpretácia

Vysvetliteľnosť a interpretácia

mapa významnosti

Anglický výraz saliency map

pokročiléheslo č. 11765 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená mapa významnosti?

Mapa významnosti je priestorová vizualizácia, ktorá každému prvku vstupu, napríklad pixelu alebo tokenu, priradí mieru súvisiacu s citlivosťou či atribúciou predikcie. Názov pokrýva viac metód s odlišným matematickým významom.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Pri snímke tím zobrazí mapu pre cieľovú triedu, prekryje ju na pôvodný obraz a porovná s odbornou anotáciou aj kontrolnými vstupmi. Výsledok testuje na náhodne inicializovanom modeli.

Overiteľnosť

Odborné zdroje

  1. Selvaraju et al. - Grad-CAM: Visual Explanations from Deep Networksopenaccess.thecvf.com
  2. Sundararajan, Taly & Yan - Axiomatic Attribution for Deep Networksproceedings.mlr.press

Praktické odpovede

Často kladené otázky

Čo presne znamená mapa významnosti?

Mapa významnosti je priestorová vizualizácia, ktorá každému prvku vstupu, napríklad pixelu alebo tokenu, priradí mieru súvisiacu s citlivosťou či atribúciou predikcie.

Kedy sa mapa významnosti používa?

Pri snímke tím zobrazí mapu pre cieľovú triedu, prekryje ju na pôvodný obraz a porovná s odbornou anotáciou aj kontrolnými vstupmi.

Od čoho treba mapa významnosti odlíšiť?

Attention map ukazuje váhy pozornosti; saliency map môže vychádzať z gradientu, perturbácie alebo iného atribučného pravidla.

Ako sa mapa významnosti kontroluje?

Overí sa cieľový výstup, normalizácia, znamienko, rozlíšenie, citlivosť na parametre, sanity checks a stabilita.

Aké obmedzenie má mapa významnosti?

Hladká a vizuálne príťažlivá mapa môže byť takmer nezávislá od naučených váh a nepreukazuje kauzálnu dôležitosť.