Есептегі аномалия ма, әлде деректердегі қате ме? 9 нақты жағдай және бір сағаттық тексеру чек-парағы

Органиканың «өсуі» бюджеттегі қате болып қалай шықты

Бір күні таңертең маркетинг есеп әкелді: айдың бірінші аптасында жаңа аккаунттар саны күрт өскен, оның үстіне органикалық. Ешкім қуанған жоқ. Бірінші болжам — боттар, және аналитиктерге боттардың скрипті қай жерде аяқталатынын табу тапсырылды.

Боттар табылмады. Қате толтырылған бюджет құжаты табылды: соның кесірінен есепте басқа деректер, соның ішінде органика екі есе саналған. Түзеткеннен кейін сан екі есеге жуық азайып, «өсу» жоғалды.

Мен көп жыл бойы онлайн-сервистер мен бөлшек саудада аналитика мен деректерді басқардым, мұндай оқиғалар үнемі қайталанып тұрды. Тексерулерді менің командаларымның аналитиктері жүргізді, қорытындыларды лидтер тексеріп, жобалық командалар қабылдады. Менің міндетім — шешімге дұрыс сан жетуі еді. Төменде абсолютті сомалар алынып тасталған, бірақ қателердің механикасы мен пропорциялары нақты.

Есептегі қате неліктен қауіпті

Қате санның өзі ештеңеге тұрмайды. Оның негізінде қабылданған шешім қымбатқа түседі:

• шын мәнінде жұмыс істейтін жарнама арнасын қысқартады немесе бюджетті тек жақсы көрінетін арнаға ауыстырады;
• жоқ боттарды апталап іздеп, сүзгілерді қатаңдатады да, нақты клиенттерді де кесіп тастайды;
• есепте көрсетілгеннен аз әкелетін акцияны немесе таратылымды масштабтайды;
• серіктеске немесе бухгалтерияға кейін түсіндіруге тура келетін сандарды жібереді.

Есепті тексеру бір сағат алады, ал қате сан бойынша қабылданған шешім айлап өмір сүреді. Сондықтан төменде әр жағдай үшін: белгі, бизнестің алғашқы болжамы, тексеру және шын мәнінде не болғаны.

Деректердегі қателердің төрт түрі

1. Бастапқы құжаттардағы қате

Бір құжаттың кесірінен екі есе санау. Бұл мақаланың басындағы оқиға. Бір құжаттағы қолмен енгізу қатесі есептеулер тізбегі арқылы өтіп, бюджетке тікелей қатысы жоқ көрсеткіштерге әсер етті.

Не істеу керек: есептеулерге қатысатын қолмен толтырылатын құжаттарды код сияқты қатаң тексеру.

Болмаған сатылымдар. Бөлшек саудада кассада төлемсіз кейінге қалдырылған чектер болады. Олар ауысым соңында жойылып, есепке түспеуі тиіс. Кейде техникалық себептермен олар бір тәуліктен артық сақталып қалды, деректер қоймасы оларды алып, сатылым статистикасына нақты сатылым ретінде түсті. Енді мұндай құжаттар жүктеу кезінде сүзіледі.

Не істеу керек: есеп жүйесіндегі құжат мәртебесін ескеру. Бұл да дерек, онсыз есеп болмаған сатылымдарды көрсетеді.

2. Есептеудегі немесе сүзгідегі қате

Науқандарда ештеңе өзгермесе де, трафик құлады. Есеп бағыттардың бірінде трафиктің күрт төмендегенін көрсетті. Маркетологтар науқандарды тексерді: өзгеріс жоқ. Себебі қоймада болды: көрсеткішті жинайтын процедура қатемен өзгертілген. Оны кері қайтарып, тарихты қайта есептеді.

Не істеу керек: егер метрика бұзылса, ал бизнесте ештеңе өзгермесе, алдымен есептеулерде не өзгергенін анықтау.

Белсенді емес пайдаланушылар күрт көбейді. Екі апта ішінде бір өнімде «белсенді емес» пайдаланушылар саны күрт өсті. Бірінші болжам: сапасыз трафик келді. Жоғалтуларды арналар бойынша бөлдік: органика пайдаланушылардың 34%-ын, тартылған арналар 42%-ын жоғалтты. Үлестер жақын, бір «жаман» арна жоқ, демек мәселе трафикте емес. Себебі экспортта болды: компанияның басқа өнімдерінде белсенді адамдарды алып тастайтын сүзгі таңдалмаған. Осыдан кейін экспорт нұсқаулығы жаңартылды.

Не істеу керек: егер «аномалия» барлық арналар мен сегменттерге біркелкі таралса, қатені бір көзден емес, санау тәсілінен іздеу.

3. Метрикалардың ережелері мен анықтамаларындағы қате

Сатып алулардың «органикалық» өсуі. Жаңа өнім жарнамасыз сатып алулардың күтпеген өсуін көрсетті. Бизнес сыртқы серіктестегі орналастыру жұмыс істеді деп шешті, бірақ ол ешқашан жарияланбаған. Себебі атрибуция ережесінде еді: егер адам жаңа өнімге келіп, соңғы 30 күнде компанияның басқа өнімінде белсенді болса, оның көзі сол басқа өнім деп саналады. Сол апталарда екі өнімнің бірлескен акциясы өтіп жатты, және оның қатысушылары бүкіл «органикалық» өсуді берді.

Не істеу керек: органика туралы қорытынды жасамас бұрын атрибуция ережелері мен акциялар күнтізбесін ашу. Мұндай оқиғалар көп болса, атрибуция және маркетинг деректерінің аудитін жүргізетін уақыт келді.

Таратылымдар есебі артық ақша жазады. Таратылымдарды қайтып оралған клиенттердің түсімі туралы есеппен бағалады. Тексеру үш мәселені тапты: ақша салықтар мен комиссиялардан тазартылмаған, аздаған қайталап санау бар, ал клиенттің қайтып келуі бір өнімдегі сатып алу бойынша есептелді, ал ақша бүкіл аккаунт бойынша саналды. Нәтижесінде клиенттердің бір бөлігі бойынша есеп олардың компанияға әкелгенінен көп ақша көрсетті.

Не істеу керек: әрбір «ақшалай» метриканың анықтамасын жазып қою: қандай ақша, қай кезеңге, қай деңгейде. Ал таратылымдардың әсерін бақылау тобы арқылы өлшеу. Бұл қалай жұмыс істейтіні «CRM-ді әділ бағалау» қызметінде сипатталған.

4. Толық емес деректер

Айда 31 күннің орнына 30 күн. Компания ай сайын серіктеске күндік белсенділік туралы есеп жібереді. Бір айда экспортта 31 күннің 30-ы, келесі айда 29-ы болды. Бір жыл бұрын да солай болған. Себебі жекелеген күндердегі деректердің ішінара жоғалуы, ал мұндай ақауларды түзету нұсқаулығында да қате табылды. Деректер қалпына келтіріліп, нұсқаулық түзетілді.

Барлық күндер орнында, бірақ сандар сәйкес келмейді. Ақаудан кейін серіктеске арналған есеп айдың барлық күндері орнында болса да, бақылау кестесінен 3–4%-ға алшақтады. Күндердің ішіндегі оқиғалардың бір бөлігі жетіспеді. Деректерді резервтік көшірмелерден қайта жүктеді, бәрі сәйкес келді.

Не істеу керек: барлық күндердің бар-жоғын ғана емес, әр күннің ішіндегі деректер көлемін де тексеру. Мұны автоматтандыру оңай: күн сайын келген оқиғалар санын әдеттегі күнмен салыстыру.

Неге есеп жүйесі, BI және бухгалтерия әртүрлі түсім көрсетеді

Компаниялардағы ең жиі дау: қай түсім дұрыс. Есеп жүйесі бір сан, BI басқа, бухгалтерия үшінші сан көрсетеді. Әдетте үшеуі де өзінше дұрыс, жай ғана әртүрлі нәрсені әртүрлі құжаттардан санайды.

Есеп жүйесі мен BI. Интернет-дүкені бар бөлшек сауда бизнесінде есеп жүйесінің апталық есебі BI-мен сәйкес келмеді. Бір жылғы салыстыру айтарлықтай алшақтық сомасын көрсетті. Себептері:

• онлайн тапсырыстардың бір бөлігі офлайн деп белгіленген, және керісінше;
• сатылымдардың бір бөлігінде дүкен көрсетілмеген;
• әртүрлі есеп базаларында тауарлар мен сату нүктелерінің ортақ анықтамалықтары жоқ;
• есеп жүйесі есептерінің бір бөлігі кешігіп жабылатын жиынтық құжаттардан, ал BI бастапқы құжаттардан құрылды: чектер, өткізулер, қайтарулар;
• құжаттар жабық кезеңдерде өткен күнмен түзетілді, есептердегі тарих өзгеріп отырды.

Тазартудан кейін сегменттердің көбінде онлайн үлесі 20–30%-ға дейін өсті. Демек, онлайн арна бұрын бағаланбаған, ол бойынша шешімдер төмендетілген санмен қабылданған.

Кезекті салыстыру мұны емдемейді. Барлық есептер үшін бастапқы көз есеп жүйесі болады деп келісіп, тапсырыс құжаттарына міндетті деректемелер қосты: арна, дүкен түрі, алу тәсілі. Жаңа есеп BI-мен орта есеппен 95%-ға сәйкес келді. Қиындықтар да болды: жаңа деректемелер тек енгізу күнінен бастап жазылады, тарихты қосымша жүктеуге тура келді, ал әртүрлі базаларда бірдей өрістер әртүрлі логикамен толтырылды. Мұндай жұмысты біз «Есепке алу жүйесімен салыстырылған бірыңғай есептілік» қызметі аясында орындаймыз.

Коммерциялық база мен бухгалтерия. Қаржыгерлер контрагенттер бойынша айлық салыстыру әкелді. Алшақтықтардың себептері қарапайым болды: түзету құжаттарын бухгалтерия басқа шотпен өткізеді, бір шот бойынша салыстырғанда олар түсіп қалады; маркетплейстердің теріс есептері ағымдағы күндерге ауыстырылған; бір рубльдік айырмашылықтарды, шамасы, ҚҚС бойынша дөңгелектеу береді.

Ең қызығы — пропорцияларда. Бір айда түзетулер айырманың шамамен 30%-ын түсіндірді. Басқа айда олардың сомасы қорытынды айырмадан 15 есе көп болды: әртүрлі таңбалы қателер бірін-бірі толығымен дерлік жойып, жалпы қорытынды мінсіз дерлік көрінді.

Не істеу керек: қорытындыдағы шағын айырмаға сенбей, жол-жолымен салыстыру.

Чек-парақ: есептегі аномалия ма, әлде деректердегі қате ме

Бұл жеті сұрақ жоғарыдағы жағдайлардың көбін қамтиды. Сақтап қойыңыз немесе командаға жіберіңіз.

1. Бұл басқа көзде көріне ме? Есепті шикі оқиғалармен, көрші есеппен немесе бухгалтериямен салыстырыңыз. Секіру тек бір жерде болса, мәселе сол жерде болуы әбден мүмкін.
2. Сол күні не өзгерді? Бизнесте емес, деректерде: есептеулер, анықтамалықтар, қолмен толтырылатын құжаттар, атрибуция ережелері, экспорт баптаулары.
3. Деректер толық па? Барлық күндер орнында ма және әр күннің ішіндегі оқиғалар көлемі қалыпты ма.
4. Метрика қалай анықталған? Қандай ақша (салықтар мен комиссияларға дейін немесе кейін), қай деңгейде (сатып алу, клиент, бүкіл аккаунт), есепте қандай сүзгілер мен ерекшеліктер бар.
5. Бұл кезеңде тағы не болды? Акциялар, бірлескен промолар, іске қосулар, ақаулар: Сіздің болжамыңыздан бөлек санды жылжыта алатынның бәрі.
6. Аномалия біркелкі ме? Оны арналар мен сегменттер бойынша бөліңіз. Барлық жерде бірдей — санау бұзылған болуы ықтимал. Бір арнада — сол арнаны зерттеңіз.
7. Салыстыру сәйкес келді ме? Бұл әлі бәрі емес. Шағын қорытынды айырма әртүрлі таңбалы ірі қателерді жасыруы мүмкін. Кем дегенде іріктемені жол-жолымен тексеріңіз.

Деректердегі қателерді қалай азайтуға болады: бес ереже

Чек-парақ аномалия болып қойған кезде көмектеседі. Олар сирек болуы үшін бес ереже жеткілікті:

• Әр негізгі метриканың иесі және жазылған анықтамасы бар: қандай ақша, қай деңгейде, қай кезеңге, қандай сүзгілермен. Сонда «қай сан дұрыс» деген дау бір минутта шешіледі. Осыдан data governance және метрикалар каталогы басталады.
• Деректердегі өзгерістер журналы бар: есептеулерде, анықтамалықтарда және атрибуция ережелерінде не және қашан өзгертілді. Жоғарыдағы бірнеше жағдай осындай журналға бір қараумен шешілер еді.
• Деректердің толықтығын машина тексереді: күндер саны, әдеттегі деңгейге қарағанда күндік оқиғалар көлемі, көздер арасындағы қорытындылардың сәйкестігі. Белгі есеп серіктеске кетпей тұрып келеді. Аномалия мониторингі осылай жұмыс істейді.
• Ақиқаттың бір көзі және құжаттардағы міндетті деректемелер. Жабық кезеңдердегі түзетулер — тек ізімен: кім, қашан және не үшін.
• Есептеулерге қатысатын қолмен толтырылатын құжаттарды екінші адам тексереді. Немесе кем дегенде бақылау сомасы.

Бәрі бірге — деректерді басқару. Іш пыстыратын естіледі, бірақ дәл осы бюджетті бөлуге болатын есепті әр жолы қайта тексеруге тура келетін есептен ажыратады. Неден бастау керегі түсініксіз болса, аналитиканың жетілу аудиті көмектеседі: ол негізгі олқылықтарды және 90/180/365 күндік жоспарды көрсетеді.

Қорытындының орнына

Тоғыз жағдайдың бәрінде себеп нарықта емес, құжаттарда, есептеулерде, сүзгілер мен ережелерде болды. Сондықтан метрика секіргенде мен алдымен деректерде не өзгергенін, содан кейін ғана бизнесте не өзгергенін сұраймын.

Егер Сізде сенбейтін сан болса, оны маған Telegram арқылы @OlegTsarkovv жіберіңіз немесе тегін 30 минуттық талдауға жазылыңыз. Қарап шығып, тексеруді неден бастау керегін айтамын.