Statistisk signifikans

Definition: Statistisk signifikans anger hur sannolikt det är att en observerad skillnad mellan två eller flera versioner orsakades av något annat än slumpmässig variation. Inom konverteringsfrekvensoptimering använder marknadsförare det ofta när de jämför en ursprunglig sida, popup, formulär eller e-postmeddelande med en variant. Ett statistiskt test producerar ett sannolikhetsvärde, ofta kallat p-värde, som uppskattar hur överraskande resultatet skulle vara om det faktiskt inte fanns någon meningsfull skillnad. Ett resultat anses ofta vara statistiskt signifikant när denna sannolikhet ligger under ett valt tröskelvärde, till exempel 5 %, även om det lämpliga tröskelvärdet beror på situationen och testmetoden.

Signifikans indikerar inte att ett resultat är stort, lönsamt eller garanterat kommer att upprepas. En liten förbättring kan vara statistiskt signifikant med tillräckligt många besökare, medan en värdefull förbättring kanske inte når signifikans i ett litet urval. Tillförlitlig tolkning kräver en tillräcklig urvalsstorlek, ett tydligt definierat primärt mätvärde, konsekventa testförhållanden och en planerad testlängd. Att avsluta ett test tidigt, kontrollera resultaten för ofta eller testa många mätvärden utan justering kan skapa vilseledande slutsatser. Marknadsförare bör beakta både statistisk signifikans och praktisk affärspåverkan innan de implementerar en vinnare.

Exempel: En återförsäljare testar två kassaformulär . Version B ökar antalet slutförda köp från 4.8 % till 5.4 %, och analysen visar statistisk signifikans efter den planerade testperioden. Teamet bekräftar också att de ökade intäkterna motiverar utvecklingsarbetet innan version A ersattes.