Slovník výrazov AI/Hodnotenie a metriky

Hodnotenie a metriky

štatistická významnosť

Anglický výraz statistical significance

špecializovanéheslo č. 10505 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená štatistická významnosť?

Štatistická významnosť je výsledok testu, pri ktorom by pozorovaný údaj alebo extrémnejší údaj bol za platnosti nulovej hypotézy dostatočne nepravdepodobný podľa vopred zvolenej hladiny. Nevyjadruje veľkosť, praktický význam ani pravdepodobnosť pravdivosti hypotézy.

Skúsenosť a kontext

Ako sa pojem používa v praxi

A/B test ukáže rozdiel 0,2 bodu s p<0,05. Tím uvedie aj interval spoľahlivosti, absolútny efekt, plánovanú veľkosť vzorky a náklady zmeny; pri desiatkach metrík upraví viacnásobné testovanie.

Overiteľnosť

Odborné zdroje

  1. NIST/SEMATECH - Statistical significanceitl.nist.gov
  2. scikit-learn - Model selection and evaluationscikit-learn.org

Praktické odpovede

Často kladené otázky

Čo presne znamená štatistická významnosť?

Štatistická významnosť je výsledok testu, pri ktorom by pozorovaný údaj alebo extrémnejší údaj bol za platnosti nulovej hypotézy dostatočne nepravdepodobný podľa vopred zvolenej hladiny.

Kedy sa štatistická významnosť používa?

A/B test ukáže rozdiel 0,2 bodu s p<0,05.

Od čoho treba štatistická významnosť odlíšiť?

Praktická významnosť sa pýta, či je efekt vecne dôležitý; štatistická významnosť hodnotí kompatibilitu dát s nulovým modelom.

Ako sa štatistická významnosť kontroluje?

Kontroluje sa hypotéza, testové predpoklady, randomizácia, počet porovnaní, zastavovacie pravidlo a interval efektu.

Aké obmedzenie má štatistická významnosť?

Veľká vzorka môže urobiť zanedbateľný rozdiel významným a priebežné pozeranie bez korekcie zvyšuje falošné nálezy.