Slovník výrazov AI/Multimodálna AI

Multimodálna AI

porozumenie grafom

Anglický výraz chart understanding

pokročiléheslo č. 8345 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená porozumenie grafom?

Porozumenie grafom premieňa vizuálne prvky grafu, textové štítky a priestorové vzťahy na údaje a význam potrebný na otázky či sumarizáciu. Model musí rozlíšiť osi, legendu, série, mierku a jednotky a vykonať nad nimi porovnanie alebo výpočet.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Redakčný nástroj z grafu navrhne vetu o trende, ale zároveň zobrazí odčítané hodnoty a mierku osi. Editor overí, či os nezačína nulou a či ide o percentá alebo percentuálne body. Testy obsahujú podobné farby, logaritmické osi a chýbajúce hodnoty.

Overiteľnosť

Odborné zdroje

  1. Masry et al. - ChartQAarxiv.org
  2. Huang et al. - LayoutLMv3arxiv.org

Praktické odpovede

Často kladené otázky

Ako funguje porozumenie grafom?

Vizuálny enkóder a OCR identifikujú značky a text, štruktúrny modul ich priradí k sériám a jazykový alebo programový modul vypočíta odpoveď.

Kedy má porozumenie grafom praktický význam?

Redakčný nástroj z grafu navrhne vetu o trende, ale zároveň zobrazí odčítané hodnoty a mierku osi.

S čím si pojem nezamieňať?

Image captioning môže graf všeobecne opísať; chart understanding musí rekonštruovať dátové a logické vzťahy medzi jeho prvkami.

Ako sa výsledok kontroluje?

Meria sa presnosť OCR a väzieb, numeric tolerance, exact match, výpočtové otázky, škály, legendy a faktickosť súhrnu.

Na čo si dať pozor?

Nesprávne priradená legenda alebo prehliadnutá skrátená os zmení záver aj vtedy, keď model vytvorí jazykovo presvedčivú odpoveď.