Presná definícia
Čo znamená Mechanistická interpretovateľnosť?
Mechanistická interpretovateľnosť je výskumný prístup v oblasti vysvetliteľnej AI (XAI), ktorý sa snaží pochopiť vnútorné fungovanie neurónových sietí reverzným inžinierstvom ich váh, neurónov a matíc. Namiesto traktovania modelu ako neprehľadnej „čiernej skrinky“ dekonštruuje sieť na identifikovateľné algoritmické komponenty a funkčné okruhy (circuits), čím mapuje presný spôsob, akým model reprezentuje koncepty a spracúva informácie.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Slúži na odhaľovanie skrytých nežiaducich vzorcov správania, auditovanie bezpečnosti pokročilých modelov, identifikáciu monosemantických znakov (prostredníctvom riedkych autoenkóderov) a prevenciu klamlivého správania či halucinácií ešte pred nasadením systému do produkcie.
Overiteľnosť
Odborné zdroje
Elhage, N., et al. (Anthropic, 2021). A Mathematical Framework for Transformer Circuits. Transformer Circuits Thread.
Templeton, A., et al. (Anthropic, 2024). Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet. Anthropic Research.
Praktické odpovede
Často kladené otázky
Ako sa mechanistická interpretovateľnosť líši od tradičných metód XAI (napr. SHAP alebo LIME)?
Tradičné metódy XAI pozorujú iba vzťah medzi vstupom a výstupom (behaviorálna interpretovateľnosť), zatiaľ čo mechanistická interpretovateľnosť skúma priamo vnútornú architektúru, váhy a aktivačné trendy siete.
Čo je to polysemantický neurón a prečo komplikuje interpretáciu?
Polysemantický neurón reaguje na viacero úplne nesúvisiacich konceptov naraz (napr. na akademické texty aj na obrázky psov), čo sťažuje priradenie jasného významu jednotlivým váham siete.
Ako pomáhajú riedke autoenkóderi (Sparse Autoencoders - SAE) pri výskume?
SAE dokážu rozložiť zložité polysemantické aktivácie siete na milióny samostatných, pre človeka zrozumiteľných monosemantických konceptov (features).
Dá sa mechanistická interpretovateľnosť použiť na modifikáciu správania modelu bez pretrénovania?
Áno. Po identifikácii konkrétneho okruhu v sieti je možné dané aktivácie utlmiť alebo zosilniť (tzv. feature steering) a priamo tak zmeniť odpovede modelu.
Prečo je aplikácia tejto metódy na veľké jazykové modely (LLM) taká náročná?
Moderné LLM obsahujú stovky miliárd parametrov a zložité nelineárne vzťahy, čo vytvára gigantický výpočtový a analytický priestor na preskúmanie.