PlayAnalytic

Контрольная группа в CRM-рассылках: как сервис рассылок завысил эффект в 16 раз и как это проверить

Реальный кейс: первая оценка CRM-рассылок дала +77%, корректная по исходной разбивке – +4,8%. Где ломается контрольная группа и 7 проверок для Вашего отчета.

Два столбца эффекта рассылок: +77% в отчете и +4,8% на деле, разница в 16 раз

Коротко

  • Первая оценка эффекта CRM-рассылок у розничной сети была +77% к конверсии. Корректная, по исходной случайной разбивке, – +4,8%. Разница в 16 раз.
  • Причина не в формуле. Сервис рассылок отсеял неактивных клиентов из тестовой группы, а контрольную почти не тронул. В итоге сравнивали «живых» клиентов со «всеми подряд».
  • Статистическая значимость такую ошибку не ловит. Ниже – как пересчитать эффект, как проверить свой отчет за час и 7 проверок перед решением о бюджете.

Почему отчет о рассылках может завышать эффект

К нам обратилась розничная сеть с интернет-магазином. Команда посчитала эффект CRM-рассылок и получила +77% к конверсии в покупку. Под эту цифру уже готовили план: слать больше, шире и чаще.

Мы перепроверили расчет и получили +4,8%. Никто не подгонял данные, формула была верной, контрольная группа была, и разбиение было случайным. Ошибка появилась на шаге, о котором при анализе обычно не думают: при загрузке клиентов в сервис рассылок.

Вывод для бизнеса: прежде чем увеличивать бюджет на рассылки, проверьте, как посчитан их эффект. Разница в 16 раз – это уже другое решение, а не погрешность.

Зачем нужна контрольная группа в CRM

Часть клиентов купила бы и без рассылки. Постоянный покупатель придет в пятницу, даже если в четверг ему не пришло SMS. Если засчитать такую покупку рассылке, отчет станет красивее, а деньги на SMS уйдут впустую.

Контрольная группа – это клиенты, которым сознательно ничего не отправляют. Разница в покупках между ними и получателями и есть прирост от рассылок, или инкрементальность (в англоязычных материалах – uplift). Тот же вопрос «что случилось бы и без нас» стоит за аудитом атрибуции рекламных каналов.

Вывод для бизнеса: без контрольной группы Вы платите в том числе за покупки, которые случились бы и так.

Как мы ставили тест: глобальная контрольная группа

Задача – понять, сколько все CRM-коммуникации вместе (SMS, push и email) приносят сверх покупок, которые клиенты сделали бы сами.

Для этого мы спроектировали глобальную контрольную группу: клиенты, которые целый месяц не получают ничего ни по одному каналу. Такой дизайн показывает эффект всей CRM, а не одной рассылки, которая к тому же пересекается с остальными.

Базу разбили случайно, 50 на 50. До старта проверили баланс: группы должны быть похожи по истории покупок еще до первого сообщения. Если в одной группе заранее больше активных клиентов, результат искажен с самого начала.

Все было по учебнику. Но проверка баланса смотрит на группы в момент разбиения, а ломается тест часто позже. Подробнее о том, как мы проектируем такие эксперименты, – на странице A/B-тесты и эксперименты.

Вывод для бизнеса: правильный дизайн теста не гарантирует правильную цифру. Проверять нужно весь путь данных: от разбиения до отчета.

Где ломается контрольная группа

Перед отправкой клиентов загружают в сервис рассылок, и он отсеивает тех, кому писать нельзя или бесполезно: без согласия на рассылку, с неверным телефоном или email, отписавшихся. Это правильная работа сервиса.

Но контрольной группе ничего не отправляли, поэтому полную проверку она не проходила, ее почистили только по базовым правилам. После этого шага группы перестали быть похожими: из тестовой отсеялось 52% клиентов, из контрольной – 18%. Уходили не случайные люди, а менее активные.

Схема: после загрузки в сервис рассылок в тестовой группе осталось 48% клиентов, в контрольной 82%
После загрузки в сервис рассылок тестовая группа «похудела» намного сильнее контрольной

В тестовой группе остались клиенты с согласием, рабочими контактами и без отписок. Они и так покупают чаще. В контрольной группе неактивные клиенты остались на месте. Первую оценку посчитали именно так: всех, кого оставил сервис, сравнили со всей контрольной группой. Отсюда +77%. Это разница не между «писали» и «не писали», а между активными клиентами и всеми подряд.

Такая цифра выглядит правдоподобно, и проверка на статистическую значимость ее не поймает. Значимость говорит, что разница между группами не случайна, но не говорит, откуда она взялась. Здесь она взялась из фильтра. А большой плюс обычно никого не настораживает: вопросы задают к плохим цифрам, а не к хорошим.

Честно сравнить группы можно двумя способами: целиком, в том виде, как их разбили, или отфильтровать обе группы одинаково еще до разбиения.

Вывод для бизнеса: ошибка прячется не в формуле, а в том, как данные проходят через сервис рассылок. Если в отчете тех, кого оставил сервис, сравнивают со всей контрольной группой, эффект, скорее всего, завышен.

Как пересчитать эффект: сравнение по исходной разбивке

Мы вернулись к исходной случайной разбивке и сравнили всех, кого назначили в тестовую группу, со всеми, кого назначили в контрольную. Включая тех, кого отсеял сервис и кому сообщение так и не пришло. В статистике этот подход называется intention-to-treat.

Зачем учитывать людей, которым ничего не отправили? Только так группы остаются одинаковыми во всем, кроме рассылок. Стоит выбросить кого-то из одной группы, и сравнение снова превращается в «активных против всех».

У подхода есть цена: он немного размывает эффект, потому что в тестовой группе остаются люди без сообщений. Зато ошибка уходит в безопасную сторону: оценка получается осторожной, а не раздутой. Для решения о бюджете это именно то, что нужно.

Результат:

  • +4,8% к конверсии в покупку по всей тестовой группе вместо +77%.
  • +7,2% среди тех, до кого сообщение дошло. Статусы доставки мы взяли из аналитики заказчика, куда их передает сервис рассылок. Эта цифра менее надежна: доставку видно только в тестовой группе, и в контрольной не найти «таких же» людей для сравнения. Поэтому решение строили на +4,8%.

Отдельно мы провели сегментный A/B-тест SMS. У клиентов с высоким чеком, которые давно ничего не покупали, SMS возвращали покупателей заметно лучше, чем в среднем по базе.

Схема: первая оценка +77% против корректной +4,8%, доверительный интервал эффекта по выручке задевает ноль
Первая оценка против корректной. Интервал по выручке показан схематично

Вывод для бизнеса: оценка скромнее, зато на нее можно опираться. На +77% легко построить бюджет под эффект, которого нет.

Если доверительный интервал задевает ноль

Есть деталь, о которой в кейсах обычно молчат. Эффект по выручке положительный, но на грани значимости: доверительный интервал задевает ноль.

Тест дает не точную цифру, а вилку, внутри которой, скорее всего, лежит настоящий эффект. Если вся вилка выше нуля, рассылки приносят деньги. Если задевает ноль, нельзя исключить, что эффекта по выручке нет совсем, даже если среднее выглядит прилично.

С выручкой так бывает часто: она сильно скачет от клиента к клиенту, и несколько крупных покупок в одной группе сдвигают среднее сильнее, чем все рассылки за месяц. Поэтому небольшой эффект по выручке доказать труднее, чем по конверсии.

Мы сказали об этом заказчику сами и сразу запланировали повторный тест, с контрольной группой, которую чистят по тем же правилам, что и тестовую. Если он подтвердит эффект, решение будет стоять на твердой почве. Если нет – деньги останутся в компании.

Вывод для бизнеса: честное «эффект есть, но уверенности мало» обходится дешевле, чем уверенное масштабирование на ошибке. Если Вам показывают одну цифру без вилки, попросите вилку.

Что получил бизнес

  • Рабочую оценку того, сколько CRM приносит сверх «купили бы и так». Она больше не зависит от того, кого отсеял сервис рассылок.
  • Критерий масштабирования: рассылку расширяют, только если она приносит маржу после скидок и стоимости каналов. Рост конверсии сам по себе ничего не говорит о деньгах. Рассылка с промокодом может поднять продажи и уйти в минус, если скидку получат те, кто купил бы и без нее.
  • Ответ на вопрос, кому писать. Решать можно по каждому сегменту отдельно: есть ли в нем прирост и покрывает ли он затраты. Напоминание тому, кто и так покупает каждую неделю, почти ничего не добавляет, а клиента, пропавшего на полгода, может вернуть.

Подробнее о кейсе – в разделе кейсы, а о том, как мы оцениваем рассылки, – на странице оценка эффекта CRM.

Как проверить свой отчет за час

Если у Вас уже есть отчет о рассылках с контрольной группой, три запроса покажут, можно ли ему верить. Названия таблиц условные: нужна таблица назначения в группы (клиент, группа, прошел ли фильтр сервиса) и таблица заказов.

Шаг 1. Размеры групп на каждом шаге. Сравните, сколько клиентов назначили в каждую группу и сколько осталось после загрузки в сервис.

SELECT grp,
       COUNT(*)                                     AS assigned,
       COUNT(*) FILTER (WHERE passed_filter)        AS after_filter,
       ROUND(100.0 * COUNT(*) FILTER (WHERE passed_filter) / COUNT(*), 1) AS kept_pct
FROM crm_test_assignment
GROUP BY grp;

Если доля оставшихся в группах отличается больше чем на пару процентных пунктов, сравнивать «оставшихся» нельзя.

Шаг 2. Баланс до старта. Сравните группы по поведению за 90 дней до теста: доля покупателей и среднее число заказов должны почти совпадать.

SELECT a.grp,
       COUNT(*)                              AS clients,
       AVG((COALESCE(o.orders, 0) > 0)::int) AS share_buyers_90d,
       AVG(COALESCE(o.orders, 0))            AS avg_orders_90d
FROM crm_test_assignment a
LEFT JOIN (
  SELECT client_id, COUNT(*) AS orders
  FROM orders
  WHERE order_date >= DATE '2026-03-01' - INTERVAL '90 days'
    AND order_date <  DATE '2026-03-01'   -- дата старта теста (пример)
  GROUP BY client_id
) o USING (client_id)
GROUP BY a.grp;

Если группы различались еще до первой рассылки, эффект искажен заранее.

Шаг 3. Эффект по исходной разбивке. Посчитайте конверсию для всех назначенных в группу, без фильтра сервиса, и сравните с цифрой в отчете.

SELECT a.grp,
       COUNT(*)                                AS clients,
       AVG((COALESCE(o.orders, 0) > 0)::int)   AS conversion
FROM crm_test_assignment a
LEFT JOIN (
  SELECT client_id, COUNT(*) AS orders
  FROM orders
  WHERE order_date BETWEEN DATE '2026-03-01' AND DATE '2026-03-31'  -- период теста (пример)
  GROUP BY client_id
) o USING (client_id)
GROUP BY a.grp;

Если прирост здесь заметно меньше, чем в отчете, отчет завышен. Для решения добавьте доверительный интервал и переведите прирост в маржу.

Чек-лист: 7 проверок отчета о рассылках

Эти вопросы можно задать своей команде или подрядчику.

  1. Размеры групп совпадают с плановыми. Планировали 50 на 50, а в отчете группы заметно разные? Значит, часть клиентов потерялась по дороге, и вряд ли случайно.
  2. Группы были похожи до старта. Сравните историю покупок до теста.
  3. Понятно, где фильтруются контакты. Отсев клиентов без согласия, с неверными контактами и отписавшихся происходит до разбиения или после?
  4. Правила одинаковые для обеих групп. Любой фильтр для тестовой группы должен применяться и к контрольной, даже если ей ничего не отправляют.
  5. Сравнение по исходной разбивке. Все назначенные в тест против всех назначенных в контроль. Значимость эту проверку не заменяет.
  6. В отчете есть вилка, а не одна цифра. Если доверительный интервал задевает ноль, эффект не доказан.
  7. Эффект посчитан в марже. Вычтите скидки и стоимость каналов. Если остаток не больше нуля, масштабировать нечего.

Если не проходит хотя бы одна проверка, отчету пока рано верить. Это не значит, что рассылки не работают. Это значит, что Вы пока этого не знаете.

Ошибка в 16 раз не требует злого умысла или кривой формулы: достаточно одного фильтра не в том месте. О похожей ловушке, только со скидками, – в статье «Эффект скидки в онлайн-игре».

Если сомневаетесь в своем отчете о рассылках, расскажите о задаче: на бесплатном 30-минутном разборе посмотрим, можно ли ему верить и что проверить в первую очередь.

Частые вопросы

Какого размера делать контрольную группу для CRM-рассылок?

Зависит от размера базы и того, какой эффект Вы хотите заметить. Чем меньше ожидаемый прирост, тем больше нужен контроль. Для небольшого эффекта по конверсии обычно нужны десятки тысяч клиентов в каждой группе. Размер стоит посчитать до старта, а не подбирать по ходу: иначе можно месяц держать клиентов без рассылок и так и не увидеть разницы.

Можно ли оценить эффект рассылок без контрольной группы?

Отчет сервиса рассылок показывает, сколько покупок сделали получатели, но не говорит, сколько из них случились бы и без сообщения. Оценки «до и после» искажаются сезонностью и акциями. Без контрольной группы Вы, скорее всего, переоцените эффект, особенно у постоянных покупателей.

Чем глобальная контрольная группа отличается от контроля в одной рассылке?

В глобальную группу попадают клиенты, которые на весь период теста не получают никаких сообщений ни по одному каналу. Она показывает эффект всей CRM целиком. Контроль в одной рассылке оценивает только эту рассылку, и результат смешивается с остальными коммуникациями, которые клиент получал параллельно.

Что такое intention-to-treat и зачем учитывать клиентов, которым ничего не отправили?

Intention-to-treat – это сравнение групп в том виде, как их разбил случай: все назначенные в тест против всех назначенных в контроль. Если выбросить недоставленных только из тестовой группы, группы перестают быть одинаковыми, и эффект завышается. Оценка по исходной разбивке немного осторожнее, но ей можно доверять.

Чем можем помочь

Начнем с бесплатного 30‑минутного разбора

Расскажите о задаче.
За 30 минут разберем ситуацию и предложим конкретный следующий шаг с оценкой сроков.
Бесплатно и без обязательств

Бесплатный разбор

Еще статьи

Мы уважаем вашу приватность

Сайт использует только необходимое локальное хранилище, чтобы запомнить ваш выбор. Необязательная аналитика включается лишь с вашего согласия. Вы можете изменить решение в любой момент по ссылке «Настройки cookies» внизу страницы

Политика cookies