Statistisk makt

Definition: Statistisk styrka är sannolikheten att ett test kommer att upptäcka en verklig skillnad mellan variationer när den skillnaden verkligen existerar. Inom konverteringsfrekvensoptimering hjälper det till att avgöra om ett A/B-test har tillräcklig evidensinsamlingskapacitet för att identifiera en meningsfull förändring i konverteringar. Styrkan beror huvudsakligen på urvalsstorlek, den förväntade effektens storlek, naturlig variation i data och signifikansgränsen. Större urval, större effekter och mindre variation ger generellt högre styrka. Statistisk styrka är inte sannolikheten att en vinnande variation är korrekt, och hög styrka garanterar inte heller att ett resultat är praktiskt värdefullt.

Marknadsförare använder effektberäkningar före eller under testning för att uppskatta hur många besökare eller konverteringar som behövs. Ett test med för låg effekt kan missa en verklig förbättring, vilket skapar ett falskt negativt resultat och uppmuntrar ett team att avvisa en användbar förändring. Ett onödigt stort test kan kräva tid och trafik utan att tillföra mycket beslutsvärde. Effekt bör beaktas tillsammans med statistisk signifikans , konfidensintervall, testkvalitet och den observerade skillnadens affärsmässiga betydelse. Om den faktiska effekten är mindre än den planerade effekten kan ett test fortfarande sakna tillräckligt med effekt även efter att det har nått sitt ursprungliga urvalsmål.

Analogi: Tänk på statistisk styrka som en ficklampas förmåga att avslöja ett dolt föremål i ett mörkt rum. Ett starkare ljus eller ett klarare rum gör upptäckt mer sannolikt. På samma sätt gör ett välutvecklat test en verklig skillnad i konvertering lättare att upptäcka.