Что означает Статистическая значимость простыми словами
Она не показывает размер практической пользы и не исправляет плохой дизайн эксперимента. Порог, метрику и способ анализа выбирают до просмотра результата.
Статистическая значимость помогает оценить риск принять случайное колебание за устойчивое различие. Но она отвечает только на статистический вопрос: значимый рост в несколько десятых процента может быть слишком мал, чтобы окупить разработку.
Пример
Тест дал статистически различимый рост, но эффект оказался слишком мал, чтобы окупить стоимость внедрения.
Как применять на практике
- До эксперимента задайте допустимый уровень ошибки, минимально полезный эффект и требуемый объём выборки.
- Убедитесь, что наблюдения распределены корректно и правила эксперимента не менялись по ходу сбора данных.
- Интерпретируйте доверительный интервал вместе с размером эффекта и экономическим последствием внедрения.
Частые ошибки
- Считать значение p вероятностью того, что выбранный вариант лучше контроля.
- Проверять результат каждый час и завершать тест при первом пересечении желаемого порога.
- Приравнивать статистическую значимость к практической пользе, не оценивая величину эффекта.