Slovník výrazov AI/Architektúry hlbokého učenia

Architektúry hlbokého učenia

diferencovateľný neurónový počítač

Anglický výraz differentiable neural computer

pokročiléheslo č. 3335 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená diferencovateľný neurónový počítač?

Diferencovateľný neurónový počítač spája neurónový radič s externou maticovou pamäťou, ktorú číta a zapisuje mäkkými diferencovateľnými váhami. Adresovanie môže vychádzať z podobnosti obsahu aj z časových väzieb medzi zápismi; mechanizmus prideľovania sleduje využitie miest. Celý systém sa učí gradientom, no mäkké operácie iba aproximujú diskrétne správanie klasického počítača.

Skúsenosť a kontext

Ako sa pojem používa v praxi

DNC sa skúma pri úlohách vyžadujúcich postupné ukladanie, vyvolávanie a prechádzanie štruktúr, napríklad grafových otázkach. Experiment musí logovať váhy čítania a zápisu, obsadenosť pamäte a poradie väzieb, inak je zlyhanie ťažko diagnostikovateľné. Pri dlhších sekvenciách sa testuje generalizácia mimo tréningovej dĺžky a stabilita mäkkých adries. Pre bežný retrieval môže byť jednoduchšia databáza spoľahlivejšia a ľahšie auditovateľná.

Overiteľnosť

Odborné zdroje

  1. Graves et al. · Differentiable neural computerdoi.org
  2. Weston et al. · Memory Networksarxiv.org

Praktické odpovede

Často kladené otázky

Čo robí?

Spracúva vstup, vytvára pamäťové príkazy a kombinuje prečítané vektory do výstupu.

Ako vyzerá?

Matica riadkov, ktoré možno mäkko čítať a zapisovať viacerými hlavami.

Aké typy používa?

Obsahové vyhľadanie, prideľovanie voľného miesta a prechádzanie časových väzieb.

Prečo sú váhy mäkké?

Umožňujú preniesť gradient cez operácie čítania a zápisu.

Čo je náročný test?

Úloha s dlhšou sekvenciou alebo väčšou štruktúrou než pri tréningu.