Anomalie im Bericht oder Datenfehler? 9 echte Fälle und eine Checkliste für eine Stunde

Wie ein „organischer Anstieg“ zum Budgetfehler wurde

Eines Morgens brachte das Marketing einen Bericht: In der ersten Monatswoche war die Zahl neuer Konten stark gestiegen, und zwar organisch. Gefreut hat sich niemand. Erste Vermutung: Bots. Die Analysten sollten herausfinden, wo das Bot-Skript endet.

Bots fanden sie keine. Sie fanden ein falsch ausgefülltes Budgetdokument: Dadurch wurden andere Daten im Bericht doppelt gezählt, auch der organische Traffic. Nach der Korrektur halbierte sich die Zahl fast, und der „Anstieg“ war weg.

Ich habe viele Jahre Analytics und Daten in Onlinediensten und im Handel geleitet, und solche Geschichten wiederholten sich ständig. Die Prüfungen machten Analysten meiner Teams, die Schlüsse prüften Teamleiter, abgenommen wurden sie von den Projektteams. Meine Aufgabe war, dass die richtige Zahl bei der Entscheidung ankommt. Absolute Beträge sind unten entfernt, aber die Mechanik der Fehler und die Proportionen sind echt.

Warum ein Fehler im Bericht gefährlich ist

Eine falsche Zahl kostet für sich genommen nichts. Teuer ist die Entscheidung, die auf ihr beruht:

• Man kürzt einen Werbekanal, der eigentlich funktioniert, oder verschiebt Budget in einen Kanal, der nur gut aussieht;
• man sucht wochenlang nach Bots, die es nicht gibt, und verschärft Filter, die auch echte Kunden aussperren;
• man skaliert eine Aktion oder ein Mailing, das weniger bringt, als der Bericht zeigt;
• man schickt dem Partner oder der Buchhaltung Zahlen, die man später erklären muss.

Einen Bericht zu prüfen dauert eine Stunde, eine Entscheidung auf Basis einer falschen Zahl lebt monatelang. Deshalb zu jedem Fall: das Symptom, die erste Vermutung des Geschäfts, die Prüfung und was es wirklich war.

Vier Arten von Datenfehlern

1. Fehler in Quelldokumenten

Doppelzählung wegen eines Dokuments. Das ist die Geschichte vom Anfang. Ein manueller Eingabefehler in einem Dokument lief durch die Berechnungskette und betraf Kennzahlen, die mit dem Budget nicht direkt zusammenhängen.

Was tun: Manuelle Dokumente, die in Berechnungen einfließen, so streng prüfen wie Code.

Verkäufe, die es nicht gab. Im Handel gibt es Bons, die an der Kasse ohne Zahlung geparkt werden. Am Schichtende sollen sie gelöscht werden und nicht in die Buchhaltung gelangen. Manchmal blieben sie aus technischen Gründen länger als einen Tag liegen, das Data Warehouse übernahm sie, und sie erschienen in der Verkaufsstatistik als echte Verkäufe. Solche Dokumente werden jetzt beim Laden herausgefiltert.

Was tun: den Status des Dokuments im Buchhaltungssystem berücksichtigen. Auch das sind Daten, und ohne ihn zeigt der Bericht Verkäufe, die es nicht gab.

2. Fehler in Berechnung oder Filter

Der Traffic brach ein, obwohl an den Kampagnen nichts geändert wurde. Ein Bericht zeigte einen starken Traffic-Rückgang in einem Bereich. Das Marketing prüfte die Kampagnen: keine Änderungen. Die Ursache lag im Data Warehouse: Die Prozedur, die die Kennzahl berechnet, war fehlerhaft geändert worden. Sie wurde zurückgesetzt und die Historie neu berechnet.

Was tun: Wenn eine Kennzahl kippt, im Geschäft sich aber nichts geändert hat, zuerst klären, was sich in den Berechnungen geändert hat.

Plötzlich mehr inaktive Nutzer. Innerhalb von zwei Wochen stieg die Zahl „inaktiver“ Nutzer in einem Produkt stark an. Erste Vermutung: minderwertiger Traffic. Wir zerlegten die Verluste nach Kanälen: Organisch gingen 34 % der Nutzer verloren, in bezahlten Kanälen 42 %. Die Anteile sind ähnlich, es gibt keinen einzelnen „schlechten“ Kanal, also liegt es nicht am Traffic. Die Ursache lag im Export: Ein Filter, der Personen ausschließt, die in anderen Produkten des Unternehmens aktiv sind, war nicht gesetzt. Danach wurde die Exportanleitung aktualisiert.

Was tun: Ist eine „Anomalie“ gleichmäßig über alle Kanäle und Segmente verteilt, den Fehler in der Zählweise suchen, nicht in einer einzelnen Quelle.

3. Fehler in Regeln und Definitionen von Kennzahlen

„Organisches“ Kaufwachstum. Ein neues Produkt zeigte unerwartet Kaufwachstum ohne Werbung. Das Geschäft nahm an, eine Platzierung bei einem externen Partner habe gewirkt, doch sie wurde nie veröffentlicht. Die Ursache war die Attributionsregel: Kam eine Person zum neuen Produkt und war in den letzten 30 Tagen in einem anderen Produkt des Unternehmens aktiv, gilt dieses andere Produkt als Quelle. In denselben Wochen lief eine gemeinsame Aktion beider Produkte, und deren Teilnehmer lieferten das gesamte „organische“ Wachstum.

Was tun: Bevor man Schlüsse über organisches Wachstum zieht, Attributionsregeln und Aktionskalender öffnen. Häufen sich solche Fälle, ist es Zeit für ein Audit von Attribution und Marketingdaten.

Der Mailing-Bericht rechnet zusätzliches Geld zu. Mailings wurden mit einem Bericht über den Umsatz zurückgekehrter Kunden bewertet. Die Prüfung fand drei Probleme: Das Geld war nicht um Steuern und Gebühren bereinigt, es gab etwas Doppelzählung, und die Rückkehr eines Kunden wurde an einem Kauf in einem Produkt festgemacht, das Geld aber über das ganze Konto gezählt. Im Ergebnis zeigte der Bericht für einen Teil der Kunden mehr Geld, als sie dem Unternehmen überhaupt gebracht hatten.

Was tun: Die Definition jeder „Geld“-Kennzahl schriftlich festhalten: welches Geld, für welchen Zeitraum, auf welcher Ebene. Und den Effekt von Mailings über eine Kontrollgruppe messen. Wie das geht, beschreibt die Leistung „CRM ehrlich bewerten“.

4. Unvollständige Daten

Ein Monat mit 30 statt 31 Tagen. Jeden Monat schickt das Unternehmen einem Partner einen Bericht zur täglichen Aktivität. In einem Monat enthielt der Export 30 von 31 Tagen, im nächsten 29. Ein Jahr zuvor war es genauso. Die Ursache war ein teilweiser Datenverlust an einzelnen Tagen, und auch die Anleitung zur Behebung solcher Ausfälle enthielt einen Fehler. Die Daten wurden wiederhergestellt, die Anleitung korrigiert.

Alle Tage da, aber die Zahlen passen nicht. Nach einem Ausfall wich der Partnerbericht um 3–4 % von der Kontrolltabelle ab, obwohl alle Tage des Monats vorhanden waren. Es fehlte ein Teil der Ereignisse innerhalb der Tage. Die Daten wurden aus Backups neu geladen, und alles stimmte.

Was tun: Nicht nur prüfen, ob alle Daten vorhanden sind, sondern auch das Datenvolumen innerhalb jedes Tages. Das lässt sich leicht automatisieren: täglich die Zahl eingehender Ereignisse mit einem normalen Tag vergleichen.

Warum Buchhaltungssystem, BI und Finanzbuchhaltung unterschiedliche Umsätze zeigen

Der häufigste Streit in Unternehmen: Welcher Umsatz stimmt? Das Buchhaltungssystem zeigt eine Zahl, das BI eine andere, die Finanzbuchhaltung eine dritte. Meist haben alle drei auf ihre Weise recht, sie zählen nur Unterschiedliches aus unterschiedlichen Dokumenten.

Buchhaltungssystem gegen BI. In einem Handelsunternehmen mit Onlineshop passte der Wochenbericht aus dem Buchhaltungssystem nicht zum BI. Ein Abgleich über ein Jahr zeigte eine spürbare Summe an Abweichungen. Die Ursachen:

• ein Teil der Onlinebestellungen war als offline markiert und umgekehrt;
• bei einem Teil der Verkäufe fehlte die Filiale;
• verschiedene Buchhaltungsdatenbanken hatten keine gemeinsamen Stammdaten für Artikel und Verkaufsstellen;
• ein Teil der Berichte im Buchhaltungssystem beruhte auf Sammelbelegen, die verspätet abgeschlossen werden, das BI dagegen auf Primärbelegen: Bons, Lieferungen, Retouren;
• Dokumente wurden rückwirkend in abgeschlossenen Perioden geändert, und die Historie in den Berichten änderte sich.

Nach der Bereinigung stieg der Onlineanteil in den meisten Segmenten auf 20–30 %. Der Onlinekanal war also unterschätzt worden, und Entscheidungen dazu beruhten auf einer zu niedrigen Zahl.

Ein weiterer Abgleich löst das nicht. Man einigte sich, dass das Buchhaltungssystem die Quelle für alle Berichte wird, und ergänzte Pflichtfelder in Bestelldokumenten: Kanal, Filialtyp, Art der Übergabe. Der neue Bericht stimmte im Schnitt zu 95 % mit dem BI überein. Es gab auch Stolpersteine: Die neuen Felder werden erst ab dem Einführungsdatum befüllt, die Historie musste nachgeladen werden, und in verschiedenen Datenbanken wurden dieselben Felder nach unterschiedlicher Logik gefüllt. Solche Arbeit machen wir im Rahmen der Leistung „Einheitliches Reporting, abgestimmt mit der Buchhaltung“.

Vertriebsdatenbank gegen Finanzbuchhaltung. Die Finanzabteilung brachte einen monatlichen Abgleich nach Geschäftspartnern. Die Ursachen der Abweichungen waren alltäglich: Korrekturbelege bucht die Buchhaltung auf ein anderes Konto, beim Abgleich über ein Konto fallen sie heraus; negative Abrechnungen der Marktplätze wurden auf aktuelle Daten verschoben; Differenzen von einem Rubel entstehen durch Rundung, vermutlich bei der Mehrwertsteuer.

Am interessantesten sind die Proportionen. In einem Monat erklärten Korrekturen etwa 30 % der Differenz. In einem anderen war ihre Summe 15-mal größer als die Gesamtdifferenz: Fehler mit unterschiedlichen Vorzeichen hoben sich fast vollständig auf, und die Summe sah nahezu perfekt aus.

Was tun: Einer kleinen Gesamtdifferenz nicht trauen und zeilenweise abgleichen.

Checkliste: Anomalie im Bericht oder Datenfehler

Diese sieben Fragen decken die meisten Fälle oben ab. Speichern Sie sie oder leiten Sie sie an Ihr Team weiter.

1. Ist es in einer anderen Quelle sichtbar? Vergleichen Sie den Bericht mit Rohereignissen, einem benachbarten Bericht oder der Buchhaltung. Ist der Sprung nur an einer Stelle, liegt das Problem fast sicher dort.
2. Was hat sich an diesem Datum geändert? Nicht im Geschäft, sondern in den Daten: Berechnungen, Stammdaten, manuelle Dokumente, Attributionsregeln, Exporteinstellungen.
3. Sind die Daten vollständig? Sind alle Tage vorhanden, und ist das Ereignisvolumen innerhalb jedes Tages normal?
4. Wie ist die Kennzahl definiert? Welches Geld (vor oder nach Steuern und Gebühren), auf welcher Ebene (Kauf, Kunde, ganzes Konto), welche Filter und Ausschlüsse der Bericht anwendet.
5. Was geschah sonst in diesem Zeitraum? Aktionen, gemeinsame Promotions, Starts, Ausfälle: alles, was die Zahl außer Ihrer Hypothese bewegt haben könnte.
6. Ist die Anomalie gleichmäßig? Zerlegen Sie sie nach Kanälen und Segmenten. Überall gleich — eher ist die Zählung defekt. Nur in einem Kanal — diesen Kanal untersuchen.
7. Der Abgleich passt? Das ist noch nicht alles. Eine kleine Gesamtdifferenz kann große Fehler mit unterschiedlichen Vorzeichen verbergen. Prüfen Sie zumindest eine Stichprobe zeilenweise.

Wie man Datenfehler reduziert: fünf Regeln

Die Checkliste hilft, wenn eine Anomalie schon passiert ist. Damit sie seltener auftreten, reichen fünf Regeln:

• Jede wichtige Kennzahl hat einen Verantwortlichen und eine schriftliche Definition: welches Geld, auf welcher Ebene, für welchen Zeitraum, mit welchen Filtern. Dann ist der Streit „welche Zahl stimmt“ in einer Minute geklärt. Hier beginnt Data Governance mit einem Kennzahlenkatalog.
• Es gibt ein Änderungsprotokoll der Daten: was wann in Berechnungen, Stammdaten und Attributionsregeln geändert wurde. Mehrere Fälle oben wären mit einem Blick in ein solches Protokoll gelöst gewesen.
• Die Vollständigkeit prüft eine Maschine: Zahl der Tage, Ereignisse pro Tag im Vergleich zum Normalniveau, übereinstimmende Summen zwischen Quellen. Die Warnung kommt, bevor der Bericht an den Partner geht. So funktioniert Anomalie-Monitoring.
• Eine Quelle der Wahrheit und Pflichtfelder in Dokumenten. Änderungen in abgeschlossenen Perioden nur mit Nachweis: wer, wann und warum.
• Manuelle Dokumente, die in Berechnungen einfließen, prüft eine zweite Person. Oder zumindest eine Prüfsumme.

Zusammen ist das Datenmanagement. Klingt langweilig, aber genau das unterscheidet einen Bericht, auf dessen Basis man Budget verteilen kann, von einem, den man jedes Mal nachprüfen muss. Wenn unklar ist, wo man anfangen soll, hilft ein Reifegrad-Audit: Es zeigt die wichtigsten Lücken und einen Plan für 90/180/365 Tage.

Statt eines Fazits

In allen neun Fällen lag die Ursache nicht im Markt, sondern in Dokumenten, Berechnungen, Filtern und Regeln. Wenn eine Kennzahl springt, frage ich deshalb zuerst, was sich in den Daten geändert hat, und erst dann, was sich im Geschäft geändert hat.

Wenn Sie eine Zahl haben, der Sie nicht trauen, schicken Sie sie mir per Telegram @OlegTsarkovv oder vereinbaren Sie ein kostenloses 30-Minuten-Gespräch. Ich sehe sie mir an und sage Ihnen, womit Sie die Prüfung beginnen.