Статистическая мощность

Определение: Статистическая мощность — это вероятность того, что тест выявит реальную разницу между вариантами, когда эта разница действительно существует. В оптимизации коэффициента конверсии она помогает определить, обладает ли A/B-тест достаточной мощностью для сбора данных, чтобы выявить значимое изменение конверсии. Мощность зависит главным образом от размера выборки, ожидаемого размера эффекта, естественной вариативности данных и порога значимости. Большие выборки, больший эффект и меньшая вариативность, как правило, обеспечивают более высокую мощность. Статистическая мощность не является вероятностью того, что выигрышный вариант является правильным, и высокая мощность не гарантирует практическую ценность результата.

Маркетологи используют расчеты мощности до или во время тестирования, чтобы оценить, сколько посетителей или конверсий необходимо. Тест с недостаточной мощностью может упустить реальное улучшение, создавая ложноотрицательный результат и побуждая команду отклонить полезное изменение. Излишне масштабный тест может отнимать время и трафик, не принося существенной пользы для принятия решений. Мощность следует рассматривать наряду со статистической значимостью , доверительными интервалами, качеством теста и деловой значимостью наблюдаемой разницы. Если фактический эффект меньше запланированного, тест может по-прежнему не обладать достаточной мощностью даже после достижения первоначальной целевой выборки.

Аналогия: Представьте статистическую мощность как способность фонарика обнаружить спрятанный предмет в темной комнате. Более яркий свет или более светлое помещение повышают вероятность обнаружения. Точно так же, хорошо спланированный тест облегчает обнаружение реальной разницы в показателях конверсии.