Slovník výrazov AI/Vysvetliteľnosť a interpretácia

Vysvetliteľnosť a interpretácia

vektor aktivácie konceptu

Anglický výraz concept activation vector

pokročiléheslo č. 11835 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená vektor aktivácie konceptu?

Vektor aktivácie konceptu je smer v priestore vnútorných aktivácií modelu, ktorý oddeľuje príklady ľudsky pomenovaného konceptu od kontrolných príkladov. Používa sa na testovanie citlivosti výstupu na koncept namiesto jednotlivých vstupných príznakov.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Tím vytvorí sady obrázkov pre koncept pruhovaný vzor a viac náhodných kontrol, natrénuje lineárny oddeľovač v zvolenej vrstve a overí, či smer generalizuje na nové príklady.

Overiteľnosť

Odborné zdroje

  1. Kim et al. - Interpretability Beyond Feature Attribution: TCAVproceedings.mlr.press
  2. Molnar - Interpretable Machine Learningchristophm.github.io

Praktické odpovede

Často kladené otázky

Čo presne znamená vektor aktivácie konceptu?

Vektor aktivácie konceptu je smer v priestore vnútorných aktivácií modelu, ktorý oddeľuje príklady ľudsky pomenovaného konceptu od kontrolných príkladov.

Kedy sa vektor aktivácie konceptu používa?

Tím vytvorí sady obrázkov pre koncept pruhovaný vzor a viac náhodných kontrol, natrénuje lineárny oddeľovač v zvolenej vrstve a overí, či smer generalizuje na nové príklady.

Od čoho treba vektor aktivácie konceptu odlíšiť?

Embedding reprezentuje konkrétny vstup; CAV reprezentuje naučený smer spojený so súborom príkladov konceptu.

Ako sa vektor aktivácie konceptu kontroluje?

Kontroluje sa čistota konceptových dát, výber kontrol, separabilita, vrstva, opakovania, generalizácia a citlivosť na confoundery.

Aké obmedzenie má vektor aktivácie konceptu?

Vektor môže zachytiť pozadie alebo štýl spoločný príkladom namiesto zamýšľaného konceptu a koncept nemusí byť lineárny.