CRM-дегі бақылау тобы: тарату сервисі хабарламалардың әсерін 16 есе қалай асырып көрсетті және есебіңізді қалай тексеруге болады
Нақты кейс: CRM-хабарламалардың алғашқы бағасы +77% болды, бастапқы кездейсоқ бөлу бойынша дұрысы – +4,8%. Бақылау тобы қай жерде бұзылады және 7 тексеру.
Қысқаша
- Бөлшек сауда желісінің CRM-хабарламаларының алғашқы бағасы сатып алу конверсиясына +77% болды. Бастапқы кездейсоқ бөлу бойынша дұрысы – +4,8%. Айырмашылық 16 есе.
- Формула дұрыс болды. Тарату сервисі тест тобынан белсенді емес клиенттерді алып тастады, ал бақылау тобына тиіскен жоқ дерлік.
- Статистикалық маңыздылық мұндай қатені байқамайды. Төменде – әсерді қалай қайта есептеу, есепті бір сағатта қалай тексеру және 7 тексеру.
Неге хабарламалар есебі әсерді асырып көрсетуі мүмкін
Бізге интернет-дүкені бар бөлшек сауда желісі жүгінді. Команда CRM-хабарламалардың әсерін есептеп, сатып алу конверсиясына +77% алған. Осы санға сүйеніп, жоспар дайындалып жатты: көбірек әрі жиірек жіберу.
Біз есепті қайта тексеріп, +4,8% алдық. Деректерді ешкім бұрмалаған жоқ, бақылау тобы болды, бөлу кездейсоқ болды. Қате талдаушылар сирек ойлайтын қадамда пайда болды: клиенттерді тарату сервисіне жүктеу кезінде.
Бизнес үшін қорытынды: хабарламалар бюджетін арттырмас бұрын, олардың әсері қалай есептелгенін тексеріңіз.
CRM-ге бақылау тобы не үшін керек
Кейбір клиенттер хабарламасыз да сатып алар еді. Мұндай сатып алуды хабарламаға жатқызсаңыз, есеп әдемі көрінеді, ал SMS-ке жұмсалған ақша босқа кетеді. Бақылау тобы – әдейі ештеңе жіберілмейтін клиенттер. Олар мен алушылар арасындағы сатып алу айырмашылығы – хабарламалардың нақты өсімі, яғни инкременттілік немесе uplift. «Бізсіз не болар еді» деген дәл осы сұрақ жарнама арналарының атрибуция аудитінің негізінде жатыр.
Тестті қалай құрдық: жаһандық бақылау тобы
Біз жаһандық бақылау тобын жобаладық: бір ай бойы ешбір арна арқылы (SMS, push, email) ештеңе алмайтын клиенттер. База кездейсоқ 50/50 бөлінді, іске қосуға дейін топтардың сатып алу тарихы бойынша ұқсас екенін тексердік. Мұндай эксперименттерді қалай жобалайтынымыз туралы – A/B тестілер бетінде.
Бақылау тобы қай жерде бұзылады
Жіберер алдында клиенттер тарату сервисіне жүктеледі, ол жазуға болмайтындарды немесе мағынасыздарды алып тастайды: келісімі жоқтарды, қате контактілілерді, жазылымнан бас тартқандарды.
Бақылау тобына ештеңе жіберілмегендіктен, ол толық тексеруден өтпеді. Нәтижесінде тест тобынан клиенттердің 52%-ы шығып қалды, ал бақылау тобынан тек 18%-ы. Әрі кездейсоқ адамдар емес, аз белсенділер шықты.
Алғашқы баға сервис қалдырған барлық клиенттерді бүкіл бақылау тобымен салыстырды. +77% осыдан шықты. Бұл «жаздық» пен «жазбадық» арасындағы емес, белсенді клиенттер мен барлығы арасындағы айырмашылық. Маңыздылық тесті мұны байқамайды: ол айырмашылық кездейсоқ емес екенін айтады, бірақ оның қайдан шыққанын айтпайды.
Әсерді қалай қайта есептеу керек
Біз бастапқы кездейсоқ бөлуге қайтып, тестке тағайындалғандардың бәрін бақылауға тағайындалғандардың бәрімен салыстырдық, сервис алып тастағандарды қоса алғанда (intention-to-treat). Бұл тәсіл әсерді сәл азайтады, бірақ қате қауіпсіз жаққа кетеді.
- Бүкіл тест тобы бойынша сатып алу конверсиясына +4,8%, +77% орнына.
- Хабарлама жеткендер арасында +7,2%. Бұл сан сенімділігі төмен, сондықтан шешім +4,8%-ға негізделді.
Түсім бойынша әсер оң, бірақ сенім аралығы нөлді қамтиды. Біз бұл туралы тапсырыс берушіге өзіміз айтып, сол ережелермен тазартылатын бақылау тобымен қайталама тест жоспарладық. Толығырақ – кейстерде және CRM әсерін бағалау бетінде.
Есепті бір сағатта қалай тексеру
Топтарға тағайындау кестесі (клиент, топ, сервис сүзгісінен өтті ме) және тапсырыстар кестесі керек. Кесте атаулары шартты.
1-қадам. Әр қадамдағы топтардың көлемі.
SELECT grp,
COUNT(*) AS assigned,
COUNT(*) FILTER (WHERE passed_filter) AS after_filter,
ROUND(100.0 * COUNT(*) FILTER (WHERE passed_filter) / COUNT(*), 1) AS kept_pct
FROM crm_test_assignment
GROUP BY grp;
2-қадам. Іске қосуға дейінгі тепе-теңдік: тесттен 90 күн бұрынғы сатып алушылар үлесі дерлік бірдей болуы керек.
SELECT a.grp,
COUNT(*) AS clients,
AVG((COALESCE(o.orders, 0) > 0)::int) AS share_buyers_90d
FROM crm_test_assignment a
LEFT JOIN (
SELECT client_id, COUNT(*) AS orders
FROM orders
WHERE order_date >= DATE '2026-03-01' - INTERVAL '90 days'
AND order_date < DATE '2026-03-01' -- test start (example)
GROUP BY client_id
) o USING (client_id)
GROUP BY a.grp;
3-қадам. Бастапқы бөлу бойынша әсер.
SELECT a.grp,
COUNT(*) AS clients,
AVG((COALESCE(o.orders, 0) > 0)::int) AS conversion
FROM crm_test_assignment a
LEFT JOIN (
SELECT client_id, COUNT(*) AS orders
FROM orders
WHERE order_date BETWEEN DATE '2026-03-01' AND DATE '2026-03-31' -- test period (example)
GROUP BY client_id
) o USING (client_id)
GROUP BY a.grp;
Мұндағы өсім есептегіден айтарлықтай аз болса, есеп асырылған.
Тексеру парағы: хабарламалар есебіне 7 тексеру
- Топтардың көлемі жоспармен сәйкес келеді.
- Топтар іске қосуға дейін ұқсас болды.
- Контактілер қай жерде сүзілетіні түсінікті – бөлуге дейін бе, кейін бе.
- Екі топқа да ережелер бірдей.
- Салыстыру бастапқы бөлу бойынша жүргізіледі.
- Есепте бір сан емес, аралық бар.
- Әсер маржамен есептелген – жеңілдіктер мен арналар құнынан кейін.
Тым болмаса бір тексеру өтпесе, есепке сенуге әлі ерте. Жеңілдіктерге қатысты осындай тұзақ туралы – мына мақалада.
Есебіңізге күмәніңіз болса, міндет туралы айтыңыз: тегін 30 минуттық талқылауда оған сенуге бола ма, соны қараймыз.
Жиі қойылатын сұрақтар
CRM-хабарламалар үшін бақылау тобы қандай көлемде болуы керек?
Бұл клиенттер базасының көлеміне және байқағыңыз келетін әсерге байланысты. Күтілетін өсім неғұрлым аз болса, бақылау тобы соғұрлым үлкен болуы керек. Көлемді іске қосуға дейін есептеңіз, әйтпесе клиенттерді бір ай бойы хабарламасыз ұстап, айырмашылықты көрмеуіңіз мүмкін.
Бақылау тобынсыз хабарламалардың әсерін бағалауға бола ма?
Тарату сервисінің есебі алушылардың қанша сатып алу жасағанын көрсетеді, бірақ олардың қаншасы хабарламасыз да болатынын айтпайды. Бақылау тобынсыз сіз әсерді, әсіресе тұрақты клиенттерде, асыра бағалайсыз.
Жаһандық бақылау тобы бір хабарламаның бақылау тобынан немен ерекшеленеді?
Жаһандық топтағы клиенттер тест бойы ешбір арна арқылы хабарлама алмайды. Ол бүкіл CRM әсерін көрсетеді. Бір хабарламаның бақылау тобы тек сол хабарламаны бағалайды, ал нәтиже басқа хабарламалармен араласады.
Intention-to-treat дегеніміз не және ештеңе алмағандарды неге есепке алу керек?
Intention-to-treat топтарды кездейсоқ бөлінген күйінде салыстырады: тестке тағайындалғандардың бәрі бақылауға тағайындалғандардың бәріне қарсы. Жеткізілмегендерді тек тест тобынан алып тастасаңыз, топтар салыстырмалы болмай қалады және әсер асырылады.

