Что означает Holdout-группа простыми словами
Её результат сравнивают с тестовой группой, которой показывают рекламу или изменение. Разница при корректной рандомизации оценивает инкрементальный эффект, а не просто конверсии после контакта. Пересечение аудиторий загрязняет контроль.
Часть покупателей совершила бы действие и без кампании. Holdout помогает не приписывать рекламе естественный спрос, сезонность и влияние других каналов.
Пример
Пять процентов подходящей аудитории не получают ретаргетинг. Разница покупок с остальными показывает добавочный эффект кампании.
Как применять на практике
- Заранее задайте гипотезу, метрику и размер групп.
- Разделите аудиторию случайно и исключите пересечение воздействия.
- Оцените разницу с доверительным интервалом после полного периода.
Частые ошибки
- Формировать контроль из менее активных пользователей.
- Показывать holdout-группе ту же рекламу через другой канал.
- Останавливать тест при первом удобном результате.