Что означает Распределение трафика простыми словами
В эксперименте распределение должно быть случайным и устойчивым для пользователя. Неравные доли допустимы, если учтены при расчёте и не создают систематического смещения.
Корректное распределение трафика делает варианты эксперимента сопоставимыми. Если мобильные пользователи чаще попадают в один вариант или человек переключается между версиями, различие может возникнуть из-за состава аудитории, а не изменения страницы.
Пример
Новых посетителей случайно распределяют 50/50 между контролем и вариантом, сохраняя назначение при повторном визите.
Как применять на практике
- Определите единицу распределения: пользователя, аккаунт, устройство или сессию — в зависимости от продукта и риска пересечения вариантов.
- Назначайте вариант случайно и храните назначение на весь период теста.
- После запуска проверьте фактические доли, ключевые характеристики групп и отсутствие одновременного участия в других конфликтующих тестах.
Частые ошибки
- Отправлять рекламный трафик в вариант, а органический — в контроль и сравнивать их как эксперимент.
- Переназначать версию при каждом визите, из-за чего человек видит оба интерфейса.
- Игнорировать заметное отклонение от заданного распределения, которое может указывать на ошибку реализации.