9. November 2026Aktualisiert am Fathy Shalaby12 Min. Lesezeit
Product-Analytics-Check: Annahmen mit vorhandenen Daten testen
Vielleicht hast du die Antwort schon. Sieh dir die Daten an, die du ohnehin erhebst, bevor du einen neuen Test planst – und lege fest, was zählt, bevor du hinschaust.
Teilen
Dieser Artikel wurde aus dem Englischen übersetzt. Original lesen
Ein Product-Analytics-Check nutzt das Verhalten, das dein Produkt ohnehin protokolliert, um eine einzelne Annahme zu bestätigen oder zu hinterfragen, bevor du einen neuen Test in Auftrag gibst. Du schreibst die Zahl auf, die du erwartest, holst die echte Zahl aus einem Tool wie Amplitude, PostHog oder Mixpanel und vergleichst die beiden. Das dauert etwa einen Tag, kostet nichts und liefert dir eine Richtung: was passiert ist, nicht warum.
Das Wichtigste in Kürze
Schreib Metrik, Gruppe, Zeitraum und Pass-Signal auf, bevor du ein Dashboard öffnest.
Vergangene Daten zeigen, dass Dinge zusammen auftreten, nicht was sie verursacht. Das Experimentation-Team von Microsoft nannte Post-hoc-Analysen „weitgehend auf die Identifikation von Korrelationen beschränkt“ (Kohavi et al., 2009).
„Day-30-Retention“ kann zwei verschiedene Zahlen meinen. Amplitude und Mixpanel unterscheiden beide zwischen „am Tag 30 zurückgekehrt“ (on) und „am Tag 30 oder später zurückgekehrt“ (on or after).
Prüfst du 20 Segmente bei einer Falsch-positiv-Rate von 5 %, liegt die Wahrscheinlichkeit, dass mindestens eines zufällig wie ein Gewinner aussieht, bei etwa 64 %.
Bei 100 Nutzer:innen pro Gruppe muss der Abstand zwischen zwei Retention-Raten rund 14 Punkte betragen, damit du ihn vom Rauschen unterscheiden kannst.
Was ist ein Product-Analytics-Check?
Er ist der günstigste Test der Reihe: kein Recruiting, kein Bau. Du nimmst eine Annahme, die hinter einer Produktwette steckt, etwa „Leute, die in der ersten Woche ein Teammitglied einladen, bleiben länger“, formulierst sie als Zahl um und schlägst sie nach.
Strategyzers Experiment-Bibliothek zu Testing Business Ideas ordnet diese Art von Arbeit den Discovery-Experimenten der Kategorie „Datenanalyse“ zu. Eine Karte namens Product-Analytics-Check gibt es dort nicht. Der nächste Verwandte, die Webtraffic-Analyse, wird bei den Kosten mit 2 von 5 und bei der Aussagekraft der Evidenz mit 2 von 5 bewertet (Strategyzer-Poster). Günstig und schnell, aber schwächer, als etwas gezielt zu verändern.
Er beantwortet Fragen zu Nutzung, Häufigkeit, Abfolge, Retention und Segmenten. Wird das Verhalten nicht protokolliert, fang mit einer Webtraffic-Analyse an oder baue das Event ein und warte.
Wann solltest du einen Product-Analytics-Check einsetzen – und wann nicht?
Setz ihn als Erstes ein, wann immer sich die Annahme auf etwas bezieht, das dein Produkt ohnehin protokolliert. Er dauert einen Tag, kostet nichts und beantwortet die Frage oft schon oder zeigt dir, welche Frage du eigentlich stellen solltest.
Nutze ihn nicht bei Produkten mit sehr wenigen Nutzer:innen, wo kleine Zahlen wild schwanken. Nutze ihn nicht für Dinge, die du nicht trackst, und geh nicht davon aus, dass ein Event das bedeutet, was sein Name sagt, bevor du es geprüft hast. Und wenn du zeigen willst, dass eine Änderung ein Ergebnis verursacht hat, brauchst du einen Split-Test, denn vergangene Daten zeigen nur, dass zwei Dinge zusammen aufgetreten sind.
Welches Risiko testet er, und wie stark ist die Evidenz?
Er testet Desirability: Verhalten bestehende Nutzer:innen sich so, wie du angenommen hast? Die Evidenz ist richtungsweisend. Es ist echtes Verhalten, aber du schaust zurück, nichts wurde kontrolliert, und du siehst nur, was protokolliert wurde.
Das ist trotzdem besser als ein Bauchgefühl. Kohavi und Kollegen berichteten, dass objektiv gemessen die meisten Ideen die Metriken, die sie verbessern sollten, nicht verbessern (Kohavi et al., 2009). Ein Check von einem Tag, der eine schwache Überzeugung vor einem Monat Entwicklung aus dem Weg räumt, ist ein guter Tausch – besonders, wenn die Metrik deine North-Star-Metrik ist. In unserem Leitfaden zur Wahl eines Produktexperiments erklären wir, warum er oft der beste erste Schritt ist.
Vorlage für den Product-Analytics-Check (kopieren und loslegen)
Öffne das Bild in voller Größe oder kopiere die Textversion unten.
Wen du rekrutierst und wie viele
Niemanden Neuen. Nutze deine vorhandenen Daten, in der Regel mindestens 30 Tage. Definiere die Gruppe genau, zum Beispiel „Accounts, die seit März angelegt wurden und das Setup abgeschlossen haben“.
Schritt-für-Schritt-Plan
Schreib die Annahme als Zahl auf, die du nachschlagen kannst.
Benenne die Metrik, die Gruppe und den Zeitraum.
Lege dein Pass-Signal fest.
Prüfe, ob das Event dann ausgelöst wird, wann du es denkst.
Hol die Zahl und teile sie nach ein oder zwei Gruppen auf.
Vergleiche sie mit dem Pass-Signal.
Schreib eine mögliche alternative Erklärung auf.
Fragen, die du beantwortest
„Wie viele von den Nutzer:innen, die das tun konnten, haben es getan?“
„Wie oft tun sie es?“
„Was haben die, die es getan haben, vorher anders gemacht?“
„Gilt das für neue und für alte Nutzer:innen?“
„Was hat sich in diesem Zeitraum sonst noch geändert?“
Was du misst
Die eine Metrik, die du benannt hast, die Größe der Gruppe und dieselbe Zahl, aufgeteilt nach einem sinnvollen Segment.
Pass-Signal, das du vor dem Start festlegst
Speckys Ausgangspunkt: Die Zahl, die du benannt hast, bewegt sich in die erwartete Richtung um den Betrag, den du festgelegt hast. Das ist ein Ausgangspunkt, kein Benchmark. Schreib sowohl die Richtung als auch den Betrag auf, bevor du das Dashboard öffnest.
Ergebnisprotokoll
Metrik
Gruppe
Zeitraum
Erwartet
Tatsächlich
Gruppengröße
Andere Erklärungen
Wie definierst du die Metrik, damit die Zahl etwas aussagt?
Schritt 2 ist der Punkt, an dem die meisten Checks schiefgehen. „Retention“ klingt nach einer einzigen Zahl, aber Analytics-Tools bieten mehrere an:
Deine Frage
Amplitude
Mixpanel
Sind sie genau am Tag 30 zurückgekommen?
Return On (früher N-Day)
„On“
Am Tag 30 oder irgendwann danach?
Return On or After (früher Unbounded)
„On or After“
Innerhalb eines Bereichs, etwa Tag 28–35?
Eigene Brackets, bis zu 100 pro Diagramm
Eigene Brackets
Was startet die Uhr?
Das Startevent (Datum des Cohort-Eintritts)
Das erste „A-Event“ der Nutzer:in
Quellen: Amplitude, Mixpanel. PostHog baut dasselbe Diagramm aus einem Start-Event und einem Rückkehr-Event (PostHog).
Drei Details verändern die Antwort:
„On or after“ ist immer mindestens so hoch wie „on“. Es nimmt alle dazu, die später zurückkehren. Vergleiche nie das „on“ des einen Teams mit dem „on or after“ eines anderen.
Rollierende vs. Kalendertage. Im Rolling-Modus von Mixpanel bedeutet Tag 1 24 bis 48 Stunden nach dem ersten Event. Im Kalendermodus bedeutet er den nächsten Kalendertag. Eine Anmeldung um 23:50 Uhr kann in dem einen Modus am Tag 1 gehalten sein und im anderen nicht.
First-time vs. recurring. Die First-time-Retention von PostHog zählt eine Nutzer:in nur beim ersten Mal, wenn sie das Start-Event ausgeführt hat, in einer Cohort; recurring zählt jede Periode, in der sie es getan hat. Für die Frage „Bleiben neue Nutzer:innen dabei?“ nimm first-time.
Mixpanel lässt unfertige Zeiträume in der durchschnittlichen Retention weg. Sieht die letzte Woche wie ein Einbruch aus, prüfe, ob sie schon zu Ende ist.
Wie prüfst du, dass ein Event das bedeutet, was sein Name sagt?
Schritt 4 dauert etwa 30 Minuten und spart Tage:
Führ die Aktion in einem Testaccount aus und sieh zu, wie das Event ankommt. Mach dann etwas Ähnliches, das es nicht auslösen sollte.
Vergleiche eine Woche Event-Zählungen mit deiner eigenen Datenbank. Eine Abweichung von mehr als ein paar Prozent braucht eine Erklärung.
Finde den Tag, an dem das Event zum ersten Mal gesendet wurde. Frühere Nutzer:innen sehen so aus, als hätten sie es nie getan.
Filtere dein Team, Testaccounts und Bots heraus.
Wie viele Nutzer:innen brauchst du für einen Product-Analytics-Check?
Du musst niemanden rekrutieren, aber die Gruppengröße entscheidet trotzdem, ob die Zahl etwas bedeutet. Die Tabelle verwendet die übliche 95-%-Näherung für eine Rate nahe 50 %, den ungünstigsten Fall:
Nutzer:innen pro Gruppe
Spielraum bei einer Rate
Spielraum beim Abstand zwischen zwei Gruppen
30
± 18 Punkte
± 25 Punkte
100
± 10 Punkte
± 14 Punkte
400
± 5 Punkte
± 7 Punkte
1.000
± 3 Punkte
± 4 Punkte
Setz das Pass-Signal also über den Spielraum: Bei 100 Nutzer:innen pro Gruppe ist „5 Punkte besser“ vom Rauschen nicht zu unterscheiden. Unter etwa 100 pro Gruppe behandle den Check als Skizze, die dir zeigt, was du in einem Kundeninterview fragen solltest, nicht als Urteil.
Wie vermeidest du, dich mit Analytics selbst zu täuschen?
Warum kann ein Abstand schrumpfen oder sich umkehren, wenn du die Daten aufteilst?
Weil ein dritter Faktor beide Zahlen antreiben kann. Im Extremfall, dem Simpson-Paradoxon, taucht ein Zusammenhang auf, verschwindet oder kehrt sich um, sobald du eine Population in Gruppen aufteilst (Stanford Encyclopedia of Philosophy). Das klassische Beispiel sind die Zulassungen zu Graduiertenprogrammen in Berkeley, die Bickel, Hammel und O'Connell 1975 untersucht haben. Männer wurden insgesamt häufiger zugelassen, doch keine Fakultät benachteiligte Frauen: Frauen hatten sich häufiger an Fakultäten beworben, die weniger Leute aufnahmen.
In Produktdaten ist der übliche dritte Faktor der Plantyp, die Unternehmensgröße, der Anmeldekanal oder die Nutzungsdauer. Deshalb sagt Schritt 5, dass du nach ein oder zwei Gruppen aufteilen sollst.
Wie viele Aufteilungen sind zu viele?
Jeder Schnitt ist ein weiteres Los. Behandelst du jeden 5-%-Zufallstreffer als Befund, liegt die Wahrscheinlichkeit, dass mindestens ein Segment zufällig „gewinnt“, bei 5 Segmenten bei 23 %, bei 10 bei 40 % und bei 20 bei 64 %. Lege deine ein oder zwei Aufteilungen vorab fest und protokolliere jedes ungeplante spannende Segment als neue Annahme, nicht als Ergebnis. Liste dann Releases, Preisänderungen und Kampagnen im Zeitfenster auf: Ein Ausschlag, der zu einer Launch-E-Mail passt, geht auf die E-Mail zurück.
Wie sieht ein Product-Analytics-Check in der Praxis aus?
Dieses Beispiel ist erfunden, um die Methode zu zeigen. Ein Team, das ein Design-Review-Tool baut, glaubt, dass Nutzer:innen, die in ihrer ersten Woche ein Teammitglied einladen, deutlich wahrscheinlicher bleiben. Es formuliert: „Eingeladene Nutzer:innen sollten am Tag 30 mindestens 20 Punkte besser gebunden sein.“
Das Team holt die Zahlen. Nutzer:innen, die in Woche eins jemanden eingeladen haben, lagen am Tag 30 bei 61 % Retention, gegenüber 33 % bei denen, die niemanden eingeladen haben – ein Abstand von 28 Punkten. Aber die Gruppe, die eingeladen hat, war auch überwiegend in bezahlten Plänen. Allein unter den bezahlten Accounts schrumpft der Abstand auf 9 Punkte.
Die erste Lesart besteht, die zweite nicht. Das Team hält es als nicht eindeutig fest und notiert, dass der Plantyp dahinterstecken könnte. Als Nächstes folgt ein kontrollierter Test eines Anstoßes, Teammitglieder einzuladen.
Hier dasselbe Beispiel mit Gruppengrößen:
Gruppe
Accounts
In bezahlten Plänen
Day-30-Retention
In Woche eins eingeladen
420
80 %
61 %
Nicht eingeladen
1.580
Etwa 33 %
33 %
Nur bezahlt: eingeladen
336
100 %
69 %
Nur bezahlt: nicht eingeladen
514
100 %
60 %
Der Abstand von 28 Punkten liegt weit außerhalb des Rauschens (etwa ± 5 Punkte), vermischt aber Einladen mit Bezahlen. Der Abstand von 9 Punkten unter den bezahlten Accounts (Spielraum etwa ± 6,5) ist real, liegt aber unter der Hälfte der geforderten 20 Punkte.
Product-Analytics-Check vs. Webtraffic-Analyse vs. Split-Test
Besuche und Pfade überwiegend anonymer Besucher:innen
Neue Daten aus einer Änderung, die du vornimmst
Beantwortet
Verhalten Nutzer:innen sich wie angenommen?
Woher kommen Besucher:innen, und wo springen sie ab?
Verursacht diese Änderung ein besseres Ergebnis?
Evidenz
Nur Zusammenhang
Nur Zusammenhang
Ursache, wenn randomisiert und groß genug
Strategyzer-Bewertung
Keine Karte
Discovery; Kosten 2/5, Evidenz 2/5
Validation; Kosten 2/5, Evidenz 3/5
Führ sie in dieser Reihenfolge durch: Der Analytics-Check sagt dir, ob eine Überzeugung einen Split-Test verdient.
Was sind die häufigsten Fehler bei der Produktanalyse?
Zuerst das Dashboard öffnen. Lege die Zahl fest, bevor du die Daten siehst.
Event-Namen glauben. Prüfe, ob „project_created“ das bedeutet, was du denkst.
Korrelation mit Ursache verwechseln. Leute, die X tun, sind vielleicht einfach von Anfang an engagierter.
So lange aufteilen, bis etwas funktioniert. Prüfst du 20 Segmente, sieht eines zufällig großartig aus.
Den Durchschnitt berichten. Durchschnitte verbergen, wer was getan hat.
Wann er nicht funktioniert: bei weniger als etwa 100 Nutzer:innen pro Gruppe, bei Verhalten, das du nicht protokollierst, und bei jeder Frage, die einen Beleg für Ursache und Wirkung braucht.
Ist es fair gegenüber Nutzer:innen, ihr Verhalten so zu analysieren?
In der Regel ja, solange du innerhalb dessen bleibst, wozu sie zugestimmt haben. Prüfe, ob deine Datenschutzerklärung Product Analytics abdeckt und ob Einwilligungsentscheidungen respektiert wurden. Arbeite mit Gruppen, nicht mit namentlich genannten Personen: Ein Cohort-Diagramm ist in Ordnung, eine Folie, die auflistet, welcher Kunde was getan hat, nicht.
So führst du ihn in Specky durch
Klick auf der Seite „Assumptions“ auf die Notiz und wähle Pick a test, dann Analytics. Specky füllt die Schritte, das Pass-Signal und einen Zeitplan von einem Tag aus.
Specky liest die Zahlen aus verbundenen Analytics-Tools wie PostHog, Mixpanel, Amplitude oder Pendo. Für diesen Test gibt es keinen Ein-Klick-Lauf: Frag im Chat nach der Zahl oder hol sie dir selbst und hänge sie dann als Evidenz an.
Ist nichts verbunden, füge die Zahlen mit Quelle und Datum ein.
Klick auf Start running und halte dann das Ergebnis fest.
Ein Bestehen erscheint auf dem Board als Early signal, nicht als Supported, weil das Lesen vergangener Daten nur eine Richtung zeigt.
Was solltest du mit jedem Ergebnis tun?
Supported (erscheint als Early signal): Die Daten stimmen zu. Willst du die Ursache belegen, führ einen Split-Test durch. Willst du wissen, warum, führ ein paar Interviews.
Unclear: Das Ergebnis hängt von der Gruppe ab. Notiere die Gruppen und entscheide dann, welche zählt.
Contradicted: Nutzer:innen verhalten sich nicht so, wie du angenommen hast. Hör auf, für diese Überzeugung zu entwerfen. Jede Wette, die auf dieser Notiz ruht, erscheint jetzt als Contradicted.
Häufig gestellte Fragen
Was ist ein Product-Analytics-Check?
Ein Product-Analytics-Check nutzt Daten, die du ohnehin erhebst, um eine Produktannahme zu bestätigen oder zu hinterfragen. Du schreibst zuerst die erwartete Zahl, die Gruppe und den Zeitraum auf, schlägst sie dann in deinem Analytics-Tool nach und vergleichst. Meist ist er der schnellste erste Schritt, wenn das Verhalten bereits getrackt wird.
Kann Analytics beweisen, dass ein Feature ein Ergebnis verursacht hat?
Nein. Vergangene Analytics zeigen nur, dass zwei Dinge zusammen aufgetreten sind. Leute, die ein Feature nutzen, sind vielleicht einfach von Anfang an engagierter. Um zu zeigen, dass eine Änderung ein Ergebnis verursacht hat, brauchst du ein kontrolliertes Experiment wie einen Split-Test, bei dem Nutzer:innen zufällig zugewiesen werden.
Wie vermeide ich, mich mit Analytics selbst zu täuschen?
Schreib Metrik, Gruppe und erwartete Veränderung auf, bevor du irgendein Dashboard öffnest. Prüfe dann, ob das Event das bedeutet, was du denkst, und begrenze, auf wie viele Arten du die Daten aufteilst. Benenne vorab ein oder zwei Aufteilungen und behandle jedes überraschende Segment als neue Annahme, die du testen musst.
Was ist der Unterschied zwischen N-Day- und Unbounded-Retention?
Die N-Day-Retention, die Amplitude jetzt Return On nennt, zählt Nutzer:innen, die an einem bestimmten Tag zurückgekommen sind, etwa am Tag 30. Die Unbounded-Retention, jetzt Return On or After, zählt Nutzer:innen, die an diesem Tag oder später zurückgekommen sind, und ist daher immer gleich hoch oder höher. Mixpanel nutzt dieselbe Trennung.
Wie viele Daten brauchst du für einen Product-Analytics-Check?
Nimm mindestens 30 Tage und strebe einige hundert Nutzer:innen in jeder Gruppe an, die du vergleichst. Bei 100 Nutzer:innen pro Gruppe hat der Abstand zwischen zwei Raten einen Spielraum von etwa 14 Punkten, sodass nur große Unterschiede etwas bedeuten. Bei 1.000 pro Gruppe sinkt der Spielraum auf etwa 4 Punkte.
GDPR-aligned. EU workspace data is stored in Frankfurt, Germany. GDPR and EU data Built in Vienna, Austria. A product of influence solutions fm GmbH (FN 675374y). Imprint 14-day trial. Card required, and nothing is charged until day 14. 30-day refund after subscribing. See pricing