Аномалия в отчете или ошибка в данных? 9 реальных случаев и чек-лист проверки за час

Как «всплеск» органики оказался ошибкой в бюджете

Утром маркетинг принес отчет: за первую неделю месяца резко выросло число новых аккаунтов, причем органических. Радоваться никто не стал. Первой версией были боты, и аналитикам поручили найти, где у ботов заканчивается скрипт.

Ботов не нашли. Нашли неправильно заполненный документ с бюджетом: из-за него в отчете задвоились другие данные, в том числе органика. После исправления цифра уменьшилась почти вдвое, и «всплеск» исчез.

Я много лет руководил аналитикой и данными в онлайн-сервисах и рознице, и такие истории повторялись постоянно. Проверки делали аналитики моих команд, выводы проверяли лиды и принимали проектные команды. Моя задача была в том, чтобы до решения доходила правильная цифра. Абсолютные суммы ниже убраны, но механика ошибок и пропорции настоящие.

Чем опасна ошибка в отчете

Сама по себе неверная цифра ничего не стоит. Дорого обходится решение, которое по ней принимают:

• урезают рекламный канал, который на деле работает, или переводят бюджет в канал, который только выглядит хорошо;
• неделями ищут несуществующих ботов и ужесточают фильтры, отсекая заодно живых клиентов;
• масштабируют акцию или рассылку, которая приносит меньше, чем показывает отчет;
• отправляют партнеру или бухгалтерии цифры, которые потом приходится объяснять.

Проверка отчета занимает час, а решение по неверной цифре живет месяцами. Поэтому ниже для каждого случая: симптом, первая версия бизнеса, проверка и что оказалось на самом деле.

Четыре типа ошибок в данных

1. Ошибка в исходных документах

Задвоение из-за одного документа. Это история из начала статьи. Ошибка ручного ввода в одном документе прошла по цепочке расчетов и задела показатели, которые с бюджетом напрямую не связаны.

Что делать: ручные документы, участвующие в расчетах, проверять так же строго, как код.

Продажи, которых не было. В рознице есть чеки, отложенные на кассе без оплаты. В конце смены они должны удаляться и не попадать в учет. Иногда по техническим причинам они задерживались дольше суток, хранилище данных их забирало, и они попадали в статистику продаж как настоящие. Теперь такие документы отсекаются при загрузке.

Что делать: учитывать статус документа в учетной системе. Это тоже данные, и без него отчет показывает продажи, которых не было.

2. Ошибка в расчете или фильтре

Трафик упал, хотя в кампаниях ничего не меняли. Отчет показал резкое падение трафика по одному из направлений. Маркетологи проверили кампании: изменений не было. Причина нашлась в хранилище: процедуру, которая собирает показатель, изменили с ошибкой. Ее откатили и пересчитали историю.

Что делать: если метрика сломалась, а в бизнесе ничего не менялось, первым делом узнать, что менялось в расчетах.

Неактивных резко стало больше. За две недели число «неактивных» пользователей в одном продукте резко выросло. Первая версия: пришел накрученный трафик. Мы разложили потери по каналам: органика потеряла 34% пользователей, привлеченные каналы 42%. Доли близкие, одного «плохого» канала нет, значит, дело не в трафике. Причина была в выгрузке: не выбрали фильтр, который исключает людей, активных в других продуктах компании. После этого обновили инструкцию по выгрузке.

Что делать: если «аномалия» равномерно размазана по всем каналам и сегментам, искать ошибку в способе подсчета, а не в одном источнике.

3. Ошибка в правилах и определениях метрик

«Органический» рост покупок. Новый продукт неожиданно показал рост покупок без рекламы. Бизнес решил, что сработало размещение у внешнего партнера, но его так и не опубликовали. Причина была в правиле атрибуции: если человек пришел в новый продукт и за последние 30 дней был активен в другом продукте компании, источником считается тот, другой продукт. В эти же недели шла совместная акция двух продуктов, и ее участники дали весь «органический» рост.

Что делать: прежде чем делать выводы об органике, открыть правила атрибуции и календарь акций. Если таких историй много, пора проводить аудит атрибуции и маркетинговых данных.

Отчет по рассылкам приписывает лишние деньги. Рассылки оценивали по отчету о выручке вернувшихся клиентов. Проверка нашла три проблемы: деньги не очищены от налогов и комиссий, есть небольшое дублирование, а возврат клиента засчитывался по покупке в одном продукте, тогда как деньги считались по всему аккаунту. В итоге по части клиентов отчет показывал больше денег, чем они вообще принесли компании.

Что делать: записать определение каждой «денежной» метрики: какие деньги, за какой период, на каком уровне. А эффект рассылок мерить через контрольную группу. Как это устроено, описано в услуге «Честная оценка CRM».

4. Неполные данные

В месяце 30 дней вместо 31. Каждый месяц компания отправляет партнеру отчет по ежедневной активности. В одном месяце в выгрузке оказалось 30 дней из 31, в следующем 29. Годом раньше было то же самое. Причина в частичной потере данных за отдельные дни, а в инструкции по исправлению таких сбоев тоже нашлась ошибка. Данные восстановили, инструкцию поправили.

Все дни на месте, а цифры не сходятся. После сбоя отчет для партнера разошелся с контрольной таблицей на 3–4%, хотя все дни месяца были на месте. Не хватало части событий внутри дней. Данные перезалили из резервных копий, и все сошлось.

Что делать: проверять не только наличие всех дат, но и объем данных внутри каждой даты. Это легко автоматизировать: ежедневно сравнивать число пришедших событий с обычным днем.

Почему учетная система, BI и бухгалтерия показывают разную выручку

Самый частый спор в компаниях: какая выручка правильная. Учетная система показывает одно, BI другое, бухгалтерия третье. Обычно все три по-своему правы, просто считают разное и из разных документов.

Учетная система против BI. В розничном бизнесе с интернет-магазином еженедельный отчет из учетной системы не сходился с BI. Сверка за год показала заметную сумму расхождений. Причины:

• часть онлайн-заказов была отмечена как офлайн, и наоборот;
• у части продаж не указан магазин;
• у разных учетных баз нет общих справочников товаров и точек продаж;
• часть отчетов учетной системы строилась из сводных документов, которые закрываются с опозданием, а BI — из первичных: чеков, реализаций, возвратов;
• документы правили задним числом в закрытых периодах, и история в отчетах менялась.

После очистки доля онлайна по большинству сегментов выросла до 20–30%. Значит, онлайн-канал до этого недооценивали, и решения по нему принимали на заниженной цифре.

Очередной сверкой это не лечится. Договорились, что первоисточником для всех отчетов станет учетная система, и добавили в документы заказа обязательные реквизиты: канал, тип магазина, способ получения. Новый отчет совпал с BI в среднем на 95%. Подвохи тоже были: новые реквизиты пишутся только с даты внедрения, историю пришлось догружать, а в разных базах одни и те же поля заполнялись по разной логике. Такую работу мы делаем в рамках услуги «Единая отчетность, сверенная с учетной системой».

Коммерческая база против бухгалтерии. Финансисты принесли помесячную сверку по контрагентам. Причины расхождений оказались будничными: корректировочные документы бухгалтерия проводит по другому счету, и при сверке по одному счету они выпадают; отрицательные отчеты маркетплейсов перенесены на текущие даты; расхождения в рубль дают округления, вероятно, на НДС.

Самое интересное в пропорциях. В одном месяце корректировки объясняли около 30% разницы. В другом их сумма была в 15 раз больше итоговой разницы: ошибки с разными знаками почти полностью погасили друг друга, и общий итог выглядел почти идеально.

Что делать: не доверять маленькой итоговой разнице и сверять построчно.

Чек-лист: аномалия в отчете или ошибка в данных

Эти семь вопросов закрывают большинство случаев выше. Сохраните себе или перешлите команде.

1. Видно ли это в другом источнике? Сравните отчет с сырыми событиями, соседним отчетом или бухгалтерией. Если скачок есть только в одном месте, проблема почти наверняка в нем.
2. Что менялось в эту дату? Не в бизнесе, а в данных: расчеты, справочники, ручные документы, правила атрибуции, настройки выгрузки.
3. Полные ли данные? Все ли дни на месте и нормальный ли объем событий внутри каждого дня.
4. Как определена метрика? Какие деньги (до или после налогов и комиссий), на каком уровне (покупка, клиент, весь аккаунт), какие фильтры и исключения стоят в отчете.
5. Что еще происходило в этот период? Акции, совместные промо, запуски, сбои: все, что могло сдвинуть цифру помимо Вашей гипотезы.
6. Равномерна ли аномалия? Разложите ее по каналам и сегментам. Одинакова везде — скорее сломан подсчет. Сидит в одном канале — разбирайте этот канал.
7. Сверка сошлась? Это еще не все. Маленькая итоговая разница может прятать крупные ошибки разных знаков. Проверьте хотя бы выборку построчно.

Как снизить число ошибок в данных: пять правил

Чек-лист помогает, когда аномалия уже случилась. Чтобы они случались реже, достаточно пяти правил:

• У каждой ключевой метрики есть владелец и записанное определение: какие деньги, на каком уровне, за какой период, с какими фильтрами. Тогда спор «какая цифра правильная» решается за минуту. С этого начинается data governance и каталог метрик.
• Есть журнал изменений в данных: что и когда поменяли в расчетах, справочниках и правилах атрибуции. Несколько случаев выше решились бы одним взглядом в такой журнал.
• Полноту данных проверяет машина: число дней, объем событий за день против обычного уровня, совпадение итогов между источниками. Сигнал приходит до того, как отчет уйдет партнеру. Так устроен мониторинг аномалий.
• Один источник правды и обязательные реквизиты в документах. Правки закрытых периодов — только со следом: кто, когда и зачем.
• Ручные документы, которые участвуют в расчетах, проверяет второй человек. Или хотя бы контрольная сумма.

Вместе это и есть управление данными. Звучит скучно, но именно оно отличает отчет, по которому можно распределять бюджет, от отчета, который каждый раз приходится перепроверять. Если непонятно, с чего начать, поможет аудит зрелости аналитики: он показывает главные разрывы и план на 90/180/365 дней.

Вместо вывода

Во всех девяти случаях причина была не в рынке, а в документах, расчетах, фильтрах и правилах. Поэтому, когда метрика прыгает, я сначала спрашиваю, что поменялось в данных, и только потом — что поменялось в бизнесе.

Если у Вас есть цифра, которой Вы не доверяете, пришлите ее в Telegram @OlegTsarkovv или запишитесь на бесплатный 30-минутный разбор. Посмотрю и скажу, с чего начать проверку.