Presná definícia
Čo znamená A/B testovanie?
A/B testovanie je riadený experiment, v ktorom sa porovnateľné jednotky náhodne priradia k dvom alebo viacerým variantom a vyhodnotí sa rozdiel v vopred určenej metrike. Vyžaduje jednotku randomizácie, hypotézu, veľkosť vzorky, trvanie a pravidlá predčasného ukončenia.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Odporúčací model sa testuje na používateľoch priradených stabilným hashom, nie na jednotlivých kliknutiach. Primárna metrika a ochranné ukazovatele sa určia pred štartom; analýza zohľadní opakované merania.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje A/B testovanie?
Experimentálna platforma náhodne priradí jednotky, zaznamená expozíciu a porovná výsledky variantov štatistickým odhadom.
Kedy má A/B testovanie praktický význam?
Odporúčací model sa testuje na používateľoch priradených stabilným hashom, nie na jednotlivých kliknutiach.
S čím si pojem nezamieňať?
A/B test odhaduje kauzálny účinok variantu; kanárikové nasadenie primárne znižuje prevádzkové riziko rollout-u.
Ako sa výsledok kontroluje?
Overuje sa randomizácia, rovnováha pred experimentom, expozícia, sila testu, interval neistoty, guardrails a viacnásobné porovnania.
Na čo si dať pozor?
Peeking, meniaca sa hypotéza alebo interferencia medzi používateľmi môžu vytvoriť falošný výsledok.