Presná definícia
Čo znamená prekliatie rozmernosti?
Prekliatie rozmernosti je súbor javov, pri ktorých s počtom rozmerov prudko rastie objem priestoru a konečné dáta ho pokrývajú čoraz redšie. Vzdialenosti môžu strácať rozlišovaciu schopnosť, lokálne odhady potrebujú viac pozorovaní a počet možných konfigurácií exploduje. Problém neurčuje samotný počet stĺpcov: rozhoduje vnútorná štruktúra dát, metrika, hladkosť cieľa a induktívne obmedzenia modelu.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri vyhľadávaní podobných pacientov v tisícoch laboratórnych a kódových príznakov sa najprv odstránia identifikátory, duplicity a premenné bez klinického významu. Vzdialenosť sa štandardizuje a otestuje proti známym susedstvám; porovná sa výber príznakov, riedka regularizácia a reprezentácia naučená bez testových dát. Výkon sa hodnotí s rastúcim počtom rozmerov aj vzorky. Ak presnosť drží iba vďaka latentnej nízkorozmernej štruktúre, dokumentuje sa tento predpoklad. Redukcia dimenzie sa ladí vnútri validácie, inak do nej prenikne informácia z hodnotenia.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Prečo vysoký rozmer vyžaduje viac dát?
Rovnaký počet bodov pokrýva rastúci priestor čoraz redšie.
Čo sa deje s blízkosťou?
Pri mnohých irelevantných rozmeroch sa najbližšie a vzdialené body môžu podobať.
Pomôže vždy PCA?
Nie; lineárna projekcia môže odstrániť nízkovariančný, ale prediktívny smer.
Ako pomáha riedkosť?
Predpokladá, že cieľ závisí len od malej časti rozmerov alebo faktorov.
Je tisíc príznakov vždy problém?
Nie, ak ich obmedzuje silná štruktúra a je dostatok relevantných dát.