Slovník výrazov AI/Základy strojového učenia

Základy strojového učenia

induktívne skreslenie

Anglický výraz inductive bias

základnéheslo č. 545 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená induktívne skreslenie?

Induktívne skreslenie je súbor predpokladov, ktorými učiaci systém uprednostňuje niektoré zovšeobecnenia pred inými, hoci všetky môžu rovnako vysvetľovať pozorované dáta. Môže mať formu obmedzeného priestoru hypotéz, preferencie jednoduchosti, architektúry, regularizácie alebo poradia hľadania. Nejde automaticky o nespravodlivú zaujatosť; bez induktívneho skreslenia nemožno z konečnej vzorky určiť správanie na nevidených vstupoch.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Konvolučná sieť vkladá predpoklad lokality a zdieľania váh, lineárna regresia lineárneho vzťahu a strom preferenciu osových rozdelení. Tím má tieto predpoklady porovnať so štruktúrou domény a testovať situácie, kde neplatia. Pri malých dátach vhodné skreslenie znižuje potrebnú vzorku; nevhodné vytvorí systematickú chybu, ktorú ďalšie ladenie nemusí opraviť. V dokumentácii sa odlišuje technický induktívny bias od štatistického či spoločenského skreslenia dát, hoci sa môžu navzájom zosilniť.

Overiteľnosť

Odborné zdroje

  1. Tom Mitchell · Machine Learningcs.cmu.edu
  2. Shalev-Shwartz & Ben-David · Understanding MLcs.huji.ac.il

Praktické odpovede

Často kladené otázky

Prečo je induktívne skreslenie potrebné?

Konečné dáta sú kompatibilné s mnohými pravidlami; systém potrebuje zásadu, podľa ktorej medzi nimi vyberie.

Je preferencia jednoduchšieho modelu skreslením?

Áno. Uprednostňuje kratšie alebo hladšie vysvetlenie bez toho, aby ho dáta samy vynútili.

Je to to isté ako diskriminačné skreslenie?

Nie. Ide o technický pojem učenia, no jeho voľba môže mať nerovnomerné dôsledky.

Môže sa skreslenie meniť počas učenia?

Áno, napríklad plán regularizácie alebo curriculum mení preferenciu dostupných riešení.

Ako sa odhaľuje nevhodné skreslenie?

Testami na distribúciách, ktoré porušujú predpoklad, a porovnaním alternatívnych reprezentácií a modelových tried.