Dáta pre AI

stratifikované rozdelenie datasetu

Anglický výraz stratified dataset split

pokročiléheslo č. 9395 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená stratifikované rozdelenie datasetu?

Stratifikované rozdelenie datasetu priraďuje záznamy do tréningovej, validačnej a testovacej časti tak, aby v každej zachovalo zvolený podiel tried alebo vrstiev. Stratifikácia rieši rozdelenie známej premennej, nie automaticky skupinové, časové či duplicitné väzby.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Pri zriedkavej poruche sa rozdelenie stratifikované podľa typu poruchy vykoná až na úrovni zariadení. Tým zostanú triedy zastúpené a merania toho istého stroja sa nerozdelia medzi tréning a test.

Overiteľnosť

Odborné zdroje

  1. Breck et al. - The ML Test Scoreresearch.google
  2. Gebru et al. - Datasheets for Datasetsarxiv.org

Praktické odpovede

Často kladené otázky

Ako funguje stratifikované rozdelenie datasetu?

Algoritmus rozdelí každú vrstvu osobitne podľa rovnakých pomerov a potom ich časti spojí.

Kedy má stratifikované rozdelenie datasetu praktický význam?

Pri zriedkavej poruche sa rozdelenie stratifikované podľa typu poruchy vykoná až na úrovni zariadení.

S čím si pojem nezamieňať?

Stratifikácia zachováva pomery; skupinové delenie zabraňuje rozdeleniu príbuzných záznamov a časové rešpektuje chronológiu.

Ako sa výsledok kontroluje?

Overia sa podiely vrstiev, skupinový a časový únik, minimálne počty rarít, duplikáty a stabilita pri inom semene.

Na čo si dať pozor?

Stratifikácia podľa cieľa môže byť nevhodná, ak cieľ pri nasadení ešte nie je dostupný pre rovnaký proces výberu.