Slovník výrazov AI/Základy strojového učenia

Základy strojového učenia

teoréma neexistencie univerzálne najlepšieho algoritmu

Anglický výraz no free lunch theorem

pokročiléheslo č. 905 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená teoréma neexistencie univerzálne najlepšieho algoritmu?

Teoréma neexistencie univerzálne najlepšieho algoritmu hovorí, že pri priemerovaní nad vhodne symetrickou množinou všetkých možných cieľových funkcií nemá jeden optimalizačný alebo učiaci algoritmus lepší priemerný výkon než iný. Neznamená, že algoritmy sú na reálnych úlohách rovnocenné. Znamená, že úspech vždy využíva predpoklady o štruktúre problémov; porovnanie má zmysel až po určení ich distribúcie a kritéria.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Pri výbere klasifikátora tím nehľadá víťaza „na všetko“. Opíše, či sú dáta tabuľkové, časové alebo obrazové, aké sú náklady chýb, počet príkladov a limit latencie. Potom vyberie kandidátov s vhodnými induktívnymi predpokladmi a porovná ich rovnakým protokolom s jednoduchým baseline. Výsledok sa uvádza pre danú populáciu, obdobie a metriku, nie ako všeobecné prvenstvo algoritmu. Ak sa portfólio úloh zmení, výber sa zopakuje. Teoréma nepovoľuje rezignovať na modelovanie; núti pomenovať, z čoho očakávaná výhoda metódy pochádza.

Overiteľnosť

Odborné zdroje

  1. Wolpert & Macready · No Free Lunchfaculty.cc.gatech.edu
  2. Shalev-Shwartz & Ben-David · Understanding MLcs.huji.ac.il

Praktické odpovede

Často kladené otázky

Sú podľa teorémy všetky algoritmy rovnako dobré?

Iba po špecifickom priemerovaní nad všetkými prípustnými problémami.

Prečo niektoré metódy reálne vyhrávajú?

Reálne úlohy nie sú rovnomerné a majú využiteľnú štruktúru.

Čo je cenou za dobrý výkon?

Induktívny predpoklad, ktorý sa zhoduje s rodinou riešených úloh.

Vyvracia víťazstvo na benchmarku teorému?

Nie; benchmark predstavuje úzku, nerovnomernú distribúciu problémov.

Ako teorému použiť pri výbere?

Najprv charakterizovať úlohu, potom testovať vhodných kandidátov poctivým protokolom.