Slovník výrazov AI/Hardvér a efektívny výpočet

Hardvér a efektívny výpočet

tenzorový rozklad

Anglický výraz tensor decomposition

pokročiléheslo č. 14335 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená tenzorový rozklad?

Tenzorový rozklad vyjadruje viacrozmerný tenzor pomocou menších faktorov alebo jadra, napríklad CP, Tucker či tensor-train reprezentáciou. V modeloch komprimuje váhy a môže znížiť počet parametrov aj operácií.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Tím rozloží konvolučné jadro Tuckerovým rozkladom, ranky vyberie na validácii a po nahradení vrstvy zmeria kvalitu aj reálnu latenciu.

Overiteľnosť

Odborné zdroje

  1. PyTorch AO - Sparsity overviewdocs.pytorch.org
  2. OpenXLA - XLA architectureopenxla.org

Praktické odpovede

Často kladené otázky

Čo presne znamená tenzorový rozklad?

Tenzorový rozklad vyjadruje viacrozmerný tenzor pomocou menších faktorov alebo jadra, napríklad CP, Tucker či tensor-train reprezentáciou.

Kedy sa tenzorový rozklad používa?

Tím rozloží konvolučné jadro Tuckerovým rozkladom, ranky vyberie na validácii a po nahradení vrstvy zmeria kvalitu aj reálnu latenciu.

Od čoho treba tenzorový rozklad odlíšiť?

Matrix low-rank factorization pracuje s dvoma osami. Tensor decomposition využíva štruktúru troch alebo viacerých rozmerov.

Ako sa tenzorový rozklad kontroluje?

Kontroluje sa typ rozkladu, ranky jednotlivých módov, rekonštrukčná chyba, numerická stabilita, dolaďovanie a kernel efficiency.

Aké obmedzenie má tenzorový rozklad?

Výber ranku je citlivý a viac malých operácií môže zvýšiť overhead aj napriek nižšiemu teoretickému FLOP count.