Статистическая значимость

Определение: Статистическая значимость указывает на вероятность того, что наблюдаемое различие между двумя или более версиями было вызвано чем-то иным, помимо случайных колебаний. В оптимизации коэффициента конверсии маркетологи часто используют её при сравнении исходной страницы, всплывающего окна, формы или электронного письма с их вариантами. Статистический тест выдаёт значение вероятности, часто называемое p-значением, которое оценивает, насколько неожиданным был бы результат, если бы на самом деле не было значимого различия. Результат часто считается статистически значимым, когда эта вероятность ниже выбранного порогового значения, например, 5%, хотя соответствующий порог зависит от ситуации и метода тестирования.

Значимость не означает, что результат будет значительным, прибыльным или гарантированно повторится. Небольшое улучшение может быть статистически значимым при достаточном количестве посетителей, в то время как существенное улучшение может не достичь статистической значимости в небольшой выборке. Для надежной интерпретации необходимы адекватный размер выборки, четко определенный основной показатель, согласованные условия тестирования и запланированная продолжительность тестирования. Преждевременное завершение теста, слишком частая проверка результатов или тестирование множества показателей без корректировки могут привести к ошибочным выводам. Перед внедрением успешного продукта маркетологи должны учитывать как статистическую значимость, так и практическое влияние на бизнес.

Пример: Розничный продавец тестирует две формы оформления заказа . Версия B увеличивает количество завершенных покупок с 4.8% до 5.4%, и анализ показывает статистическую значимость после запланированного тестового периода. Команда также подтверждает, что дополнительный доход оправдывает затраты на разработку до замены версии A.