Что означает A/B-тестирование простыми словами
Различие в результате оценивают с учётом размера выборки, длительности, качества распределения и заранее выбранной метрики. Одновременные внешние изменения могут исказить вывод.
A/B-тест помогает отделить эффект изменения от сезонности, состава трафика и обычных колебаний показателя. Без контрольного варианта команда легко принимает одновременный рост спроса за результат нового дизайна.
Пример
Половине новых посетителей показали короткую форму, половине — исходную, а основной метрикой стала доля подтверждённых заявок.
Как применять на практике
- До запуска запишите гипотезу, основной показатель, допустимый риск и минимальный эффект, ради которого стоит внедрять вариант.
- Случайно распределяйте подходящих пользователей и сохраняйте за человеком один вариант при повторных визитах.
- Дождитесь запланированного объёма данных, проверьте качество распределения и только затем принимайте решение.
Частые ошибки
- Останавливать эксперимент в первый день, как только один вариант вышел вперёд.
- Запускать параллельно другую кампанию или менять цены только для части аудитории, не учитывая влияние на тест.
- Выбирать победителя по случайно выросшей второстепенной метрике, которой не было в плане анализа.