Վերահսկիչ խումբը CRM-ում. ինչպես բաշխման ծառայությունը 16 անգամ ուռճացրեց արշավների էֆեկտը և ինչպես ստուգել ձեր հաշվետվությունը
Իրական դեպք. CRM արշավների առաջին գնահատականը +77% էր, իսկ ճիշտը՝ ըստ սկզբնական պատահական բաժանման, +4,8%։ Որտեղ է կոտրվում վերահսկիչ խումբը և 7 ստուգում։
Հակիրճ
- Մանրածախ ցանցի CRM արշավների առաջին գնահատականը գնման կոնվերսիայի +77% էր։ Ճիշտը, ըստ սկզբնական պատահական բաժանման, +4,8% էր։ Տարբերությունը 16 անգամ է։
- Բանաձևը ճիշտ էր։ Բաշխման ծառայությունը թեստային խմբից հեռացրեց ոչ ակտիվ հաճախորդներին, իսկ վերահսկիչ խումբը գրեթե չշոշափեց։
- Վիճակագրական նշանակալիությունը նման սխալ չի բռնում։ Ստորև՝ ինչպես վերահաշվարկել էֆեկտը, ինչպես ստուգել հաշվետվությունը մեկ ժամում և 7 ստուգում։
Ինչու կարող է հաշվետվությունը ուռճացնել էֆեկտը
Մեզ դիմեց առցանց խանութով մանրածախ ցանց։ Թիմը հաշվարկել էր CRM արշավների էֆեկտը և ստացել գնման կոնվերսիայի +77%։ Այս թվի հիման վրա արդեն պատրաստվում էր ծրագիր՝ ուղարկել ավելի շատ և ավելի հաճախ։
Մենք վերստուգեցինք հաշվարկը և ստացանք +4,8%։ Տվյալներ ոչ ոք չէր կեղծել, վերահսկիչ խումբ կար, և բաժանումը պատահական էր։ Սխալը առաջացավ մի քայլում, որի մասին վերլուծաբանները հազվադեպ են մտածում՝ հաճախորդներին բաշխման ծառայություն բեռնելիս։
Եզրակացություն բիզնեսի համար. նախքան CRM բյուջեն մեծացնելը ստուգեք, թե ինչպես է հաշվարկված էֆեկտը։
Ինչու է CRM-ին պետք վերահսկիչ խումբ
Որոշ հաճախորդներ կգնեին նաև առանց հաղորդագրության։ Եթե նման գնումը վերագրեք արշավին, հաշվետվությունը գեղեցիկ կլինի, իսկ SMS-ի վրա ծախսված գումարը՝ կորած։ Վերահսկիչ խումբը այն հաճախորդներն են, որոնց գիտակցաբար ոչինչ չեն ուղարկում։ Նրանց և ստացողների միջև գնումների տարբերությունն էլ արշավների իրական աճն է՝ ինկրեմենտալությունը կամ uplift-ը։ Նույն հարցը՝ «ինչ տեղի կունենար առանց մեզ», ընկած է գովազդային ալիքների ատրիբուցիայի աուդիտի հիմքում։
Ինչպես դրեցինք թեստը. գլոբալ վերահսկիչ խումբ
Մենք նախագծեցինք գլոբալ վերահսկիչ խումբ՝ հաճախորդներ, ովքեր ամբողջ ամիս ոչ մի ալիքով (SMS, push, email) ոչինչ չեն ստանում։ Բազան բաժանվեց պատահականորեն՝ 50/50, և մինչև մեկնարկը ստուգեցինք, որ խմբերը նման են ըստ գնումների պատմության։ Ավելին այն մասին, թե ինչպես ենք նախագծում նման փորձեր՝ A/B թեստեր և փորձեր էջում։
Որտեղ է կոտրվում վերահսկիչ խումբը
Ուղարկելուց առաջ հաճախորդներին բեռնում են բաշխման ծառայություն, որը հեռացնում է նրանց, ում չի կարելի կամ անիմաստ է գրել՝ առանց համաձայնության, սխալ կոնտակտով, բաժանորդագրությունից դուրս եկածներին։
Վերահսկիչ խմբին ոչինչ չէր ուղարկվում, ուստի այն ամբողջական ստուգում չանցավ։ Արդյունքում թեստային խմբից դուրս մնաց հաճախորդների 52%-ը, իսկ վերահսկիչից՝ միայն 18%-ը։ Եվ դուրս էին մնում ոչ թե պատահական մարդիկ, այլ քիչ ակտիվները։
Առաջին գնահատականը համեմատեց ծառայության թողած բոլոր հաճախորդներին ամբողջ վերահսկիչ խմբի հետ։ Այստեղից էլ +77%-ը։ Սա տարբերություն է ոչ թե «գրել ենք» և «չենք գրել» միջև, այլ ակտիվ հաճախորդների և բոլորի միջև։ Նշանակալիության թեստը դա չի բռնի. այն ասում է, որ տարբերությունը պատահական չէ, բայց չի ասում, թե որտեղից է այն։
Ինչպես վերահաշվարկել էֆեկտը
Մենք վերադարձանք սկզբնական պատահական բաժանմանը և համեմատեցինք թեստին նշանակված բոլորին վերահսկիչին նշանակված բոլորի հետ, ներառյալ նրանց, ում ծառայությունը հեռացրել էր (intention-to-treat)։ Այս մոտեցումը մի փոքր նվազեցնում է էֆեկտը, բայց սխալը գնում է անվտանգ ուղղությամբ։
- +4,8% գնման կոնվերսիա ամբողջ թեստային խմբով՝ +77%-ի փոխարեն։
- +7,2% նրանց մոտ, ում հաղորդագրությունը հասել է։ Այս թիվը պակաս հուսալի է, ուստի որոշումը կառուցվեց +4,8%-ի վրա։
Եկամտի էֆեկտը դրական է, բայց վստահության միջակայքը ներառում է զրոն։ Մենք ինքներս ասացինք դրա մասին պատվիրատուին և պլանավորեցինք կրկնակի թեստ՝ վերահսկիչ խմբով, որը մաքրվում է նույն կանոններով։ Մանրամասները՝ դեպքերում և CRM էֆեկտի գնահատում էջում։
Ինչպես ստուգել հաշվետվությունը մեկ ժամում
Անհրաժեշտ է խմբերին նշանակման աղյուսակ (հաճախորդ, խումբ, արդյոք անցել է ծառայության ֆիլտրը) և պատվերների աղյուսակ։ Աղյուսակների անունները պայմանական են։
Քայլ 1. Խմբերի չափերը յուրաքանչյուր քայլում.
SELECT grp,
COUNT(*) AS assigned,
COUNT(*) FILTER (WHERE passed_filter) AS after_filter,
ROUND(100.0 * COUNT(*) FILTER (WHERE passed_filter) / COUNT(*), 1) AS kept_pct
FROM crm_test_assignment
GROUP BY grp;
Քայլ 2. Հավասարակշռությունը մինչև մեկնարկը. գնորդների բաժինը թեստից 90 օր առաջ պետք է գրեթե նույնը լինի։
SELECT a.grp,
COUNT(*) AS clients,
AVG((COALESCE(o.orders, 0) > 0)::int) AS share_buyers_90d
FROM crm_test_assignment a
LEFT JOIN (
SELECT client_id, COUNT(*) AS orders
FROM orders
WHERE order_date >= DATE '2026-03-01' - INTERVAL '90 days'
AND order_date < DATE '2026-03-01' -- test start (example)
GROUP BY client_id
) o USING (client_id)
GROUP BY a.grp;
Քայլ 3. Էֆեկտն ըստ սկզբնական բաժանման.
SELECT a.grp,
COUNT(*) AS clients,
AVG((COALESCE(o.orders, 0) > 0)::int) AS conversion
FROM crm_test_assignment a
LEFT JOIN (
SELECT client_id, COUNT(*) AS orders
FROM orders
WHERE order_date BETWEEN DATE '2026-03-01' AND DATE '2026-03-31' -- test period (example)
GROUP BY client_id
) o USING (client_id)
GROUP BY a.grp;
Եթե այստեղ աճը զգալիորեն փոքր է, քան հաշվետվությունում, հաշվետվությունը ուռճացված է։
Ստուգաթերթ. 7 ստուգում արշավների հաշվետվության համար
- Խմբերի չափերը համընկնում են պլանավորվածի հետ։
- Խմբերը նման էին մինչև մեկնարկը։
- Պարզ է, թե որտեղ են զտվում կոնտակտները՝ բաժանումից առաջ, թե հետո։
- Կանոնները նույնն են երկու խմբի համար։
- Համեմատությունը կատարվում է ըստ սկզբնական բաժանման։
- Հաշվետվությունում կա միջակայք, ոչ թե մեկ թիվ։
- Էֆեկտը հաշվարկված է մարժայով՝ զեղչերից և ալիքների արժեքից հետո։
Եթե թեկուզ մեկ ստուգում չի անցնում, դեռ վաղ է վստահել հաշվետվությանը։ Նման թակարդի մասին զեղչերի դեպքում՝ այս հոդվածում։
Եթե կասկածում եք ձեր հաշվետվությանը, պատմեք խնդրի մասին. անվճար 30-րոպեանոց քննարկման ընթացքում կնայենք, արդյոք կարելի է վստահել դրան։
Հաճախ տրվող հարցեր
Որքա՞ն մեծ պետք է լինի վերահսկիչ խումբը CRM արշավների համար
Կախված է հաճախորդների բազայի չափից և այն էֆեկտից, որը ցանկանում եք նկատել։ Որքան փոքր է սպասվող աճը, այնքան մեծ պետք է լինի վերահսկիչ խումբը։ Չափը պետք է հաշվարկել մինչև մեկնարկը, այլապես կարող եք մեկ ամիս հաճախորդներին զրկել հաղորդագրություններից և տարբերություն չտեսնել։
Հնարավո՞ր է գնահատել արշավների էֆեկտը առանց վերահսկիչ խմբի
Բաշխման ծառայության հաշվետվությունը ցույց է տալիս, թե քանի գնում են կատարել ստացողները, բայց ոչ թե քանիսը տեղի կունենային առանց հաղորդագրության։ Առանց վերահսկիչ խմբի դուք, ամենայն հավանականությամբ, կգերագնահատեք էֆեկտը, հատկապես մշտական հաճախորդների մոտ։
Ինչո՞վ է գլոբալ վերահսկիչ խումբը տարբերվում մեկ արշավի վերահսկիչ խմբից
Գլոբալ խմբի հաճախորդները թեստի ողջ ընթացքում ոչ մի ալիքով հաղորդագրություն չեն ստանում։ Այն ցույց է տալիս ամբողջ CRM-ի էֆեկտը։ Մեկ արշավի վերահսկիչ խումբը գնահատում է միայն այդ արշավը, և արդյունքը խառնվում է մյուս հաղորդագրությունների հետ։
Ի՞նչ է intention-to-treat-ը և ինչու հաշվի առնել նրանց, ովքեր ոչինչ չեն ստացել
Intention-to-treat-ը համեմատում է խմբերն այնպես, ինչպես դրանք բաժանվել են պատահականորեն. թեստին նշանակված բոլորը՝ վերահսկիչ խմբին նշանակված բոլորի դեմ։ Եթե չառաքվածներին հանեք միայն թեստային խմբից, խմբերն այլևս համեմատելի չեն, և էֆեկտը ուռճացվում է։

