5. Juli 2026Aktualisiert am Fathy Shalaby15 Min. Lesezeit
A/B-Tests für Product Manager: Von der Hypothese zur Entscheidung
Wie du A/B-Tests durchführst, aus denen du etwas lernst: Hypothesen-Vorlage, Primär- und Guardrail-Metriken, ein durchgerechnetes Beispiel zur Stichprobengröße, die Peeking-Falle und eine kopierbare Checkliste.
Teilen
Dieser Artikel wurde aus dem Englischen übersetzt. Original lesen
A/B-Tests für Product Manager bedeuten: Einer zufällig ausgewählten Hälfte der Nutzer zeigst du eine Änderung, der anderen Hälfte die aktuelle Version, und anhand einer vorab vereinbarten Metrik entscheidest du, ob die Änderung eine Verbesserung verursacht hat. Gut gemacht beenden sie Diskussionen mit Belegen und zeigen dir, warum Nutzer sich so verhalten. Schlecht gemacht geben sie schlechten Entscheidungen ein falsches Sicherheitsgefühl.
Das Wichtigste in Kürze
Die meisten Ideen scheitern im Test: Nur ein Drittel der bei Microsoft getesteten Ideen verbesserte die Metrik, die sie verbessern sollte, und die Erfolgsquoten bei Bing und Google lagen bei etwa 10–20 % (Kohavi, Tang und Xu, 2020).
Die Stichprobengröße kommt zuerst. Um einen relativen Zuwachs von 10 % bei einer Conversion-Rate von 4 % zu erkennen, brauchst du bei 95 % Signifikanz und 80 % Power etwa 38.200 Nutzer pro Variante.
Peeking bricht die Mathematik. Wer beim ersten „signifikanten“ Ergebnis stoppte und nach jedem Besucher nachsah, erzeugte in 26,1 % der Fälle falsch-positive Ergebnisse statt 5 % (Evan Miller, 2010).
Prüfe die Aufteilung vor dem Ergebnis: Bei etwa 6 % der Experimente bei Microsoft trat ein Sample Ratio Mismatch auf (Lukas Vermeer).
Eine primäre Metrik, ein paar Guardrails, ein schriftlich festgehaltenes Enddatum und eine Notiz nach dem Test dazu, warum es so kam: Das ist die ganze Disziplin.
Was sind A/B-Tests für Product Manager, und wann solltest du sie einsetzen?
Nutze einen A/B-Test, wenn vier Dinge zutreffen:
Du hast den Traffic. Kohavi, Tang und Xu empfehlen Tausende von Versuchseinheiten; je mehr du hast, desto kleinere Effekte kannst du erkennen.
Das Ergebnis zeigt sich schnell. Sie raten zu einem Overall Evaluation Criterion (OEC), das sich innerhalb von ein bis zwei Wochen messen lässt.
Die Änderung ist umkehrbar. Du kannst beide Versionen ausliefern und zurückrollen.
Ihr seid euch über den Effekt uneinig. Wenn sich alle schon einig sind und das Risiko gering ist, liefere es einfach aus und beobachte es.
Der Gewinn kann groß sein. Bei Bing lag 2012 eine Idee, die Titelzeilen von Anzeigen zu verlängern, über sechs Monate im Backlog. Als ein Softwareentwickler sie schließlich testete, stieg der Umsatz um 12 %, allein in den USA um über 100 Millionen $ pro Jahr (Kohavi, Tang und Xu, 2020). Niemand hatte das vorhergesagt.
Wenn du nicht genug Traffic hast oder die Frage lautet „Will das überhaupt jemand?“, ist ein A/B-Test das falsche Werkzeug. Such dir eine andere Methode aus dem Leitfaden zur Wahl eines Produktexperiments, etwa einen Fake-Door-Test.
Warum scheitern die meisten A/B-Tests, bevor sie beginnen?
Das Scheitern passiert bei der Hypothese, genauer gesagt: durch ihr Fehlen. „Lass uns den CTA-Button testen“ ist keine Hypothese. Es ist eine Aufgabe.
Aufgaben-Formulierung: den grünen Button gegen den blauen Button testen.
Hypothesen-Formulierung: Wir glauben, dass „Kostenlos testen“ besser abschneidet als „Registrieren“, weil Nutzer in unserem Segment risikoscheu sind und „kostenlos“ die gefühlte Verbindlichkeit senkt. Wir messen die Klickrate und die anschließende Trial-Aktivierung.
Die Hypothesen-Version sagt dir drei Dinge, die die Aufgaben-Version nicht sagt: was du glaubst, warum du es glaubst und welche Belege deine Meinung ändern würden. Ohne falsifizierbare Hypothese kannst du auf einen Test reagieren, aber nicht aus ihm lernen.
Jeder Test sollte außerdem auf ein Nutzerproblem zurückgehen, nicht auf eine Produktmeinung. Bevor du die Hypothese schreibst, verankere sie in Belegen:
Womit haben Nutzer nach eigener Aussage Schwierigkeiten?
Wo springen sie ab?
Was tun erfolgreiche Nutzer, was erfolglose nicht tun?
Wie schreibst du eine Hypothese für einen A/B-Test?
Verwende diese Vorlage:
Wir glauben, dass [Änderung] bei [Segment] zu [Ergebnis] führt, weil [Begründung]. Wir wissen, dass das stimmt, wenn sich [Metrik] innerhalb von [Zeitraum] um [Schwellenwert] bewegt.
Sie erweitert das Format der hypothesengetriebenen Entwicklung, das Barry O'Reilly 2014 bei Thoughtworks veröffentlicht hat: Wir glauben, dass diese Fähigkeit zu diesem Ergebnis führt, und wir wissen, dass wir erfolgreich waren, wenn wir ein messbares Signal sehen (Thoughtworks, 2014). Das Experimentierteam von Microsoft ergänzt zwei Regeln: Halte die Hypothese einfach (teile eine komplexe Änderung in mehrere Tests auf) und stelle sicher, dass die gewählten Metriken sie tatsächlich widerlegen können (Microsoft Research, 2020).
Beispielhaft:
Wir glauben, dass die Anzeige der Zahl aktiver Teams, die Specky nutzen, auf der Preisseite die Trial-Starts bei Besuchern erhöht, die die Produktdemo gesehen haben, weil Social Proof das Zögern bei B2B-Kaufentscheidungen verringert. Wir wissen, dass das stimmt, wenn die Trial-Start-Rate für dieses Segment innerhalb von 14 Tagen um ≥10 % steigt.
Beachte, wozu sich dieser letzte Satz verpflichtet: eine Metrik, ein Segment, ein Schwellenwert und eine Frist. Im Abschnitt zur Stichprobengröße unten prüfen wir, ob 14 Tage realistisch sind.
Wie viele Metriken sollte ein A/B-Test haben?
Eine primäre Metrik. Alles andere sind Guardrails.
Die Todsünde sind mehrere Erfolgsmetriken. Wenn du fünf Metriken prüfst, sieht wahrscheinlich eine rein zufällig signifikant aus, und du redest dir ein, genau die sei die entscheidende gewesen.
Kohavi, Tang und Xu nennen die primäre Metrik das Overall Evaluation Criterion (OEC): ein quantitatives Maß für das Ziel des Experiments. Guardrail-Metriken schützen, was das Unternehmen nicht opfern will. Das ExP-Team von Microsoft berechnet bei jedem Experiment unabhängig vom Feature einen Kernsatz: Metriken zu Nutzerzufriedenheit, Guardrails, Features und Engagement sowie Datenqualität (Microsoft Research, 2020).
Primäre Metrik
Guardrail
Warum der Guardrail wichtig ist
Anmelderate
Aktivierungsrate
Du willst keine Nutzer anziehen, die sofort wieder abspringen
Sitzungsdauer
Task-Completion-Rate
Längere Sitzungen sollten nicht verwirrte Nutzer bedeuten
Feature-Adoption
Support-Tickets
Adoption sollte nicht auf Kosten von Verwirrung gehen
Trial-Starts
Trial-to-Paid-Conversion
Mehr Trials mit geringerer Absicht können den Umsatz senken
Umsatz pro Besucher
Ladezeit der Seite, Fehlerrate
Performance-Rückschritte schaden jeder anderen Metrik
Wenn deine primäre Metrik weit von Umsatz oder Retention entfernt ist, prüfe, ob sie beides vorhersagt. Unser Leitfaden zu Product-Led-Growth-Kennzahlen zeigt, welche Verhaltensweisen das tendenziell tun.
Wie berechnest du die Stichprobengröße für einen A/B-Test?
Hier geben die meisten PMs das Problem an einen Data Scientist ab und hören auf zu denken. Tu das nicht. Du brauchst drei Konzepte und eine Zahl.
Statistische Signifikanz (α). Die Rate falsch-positiver Ergebnisse, die du akzeptierst. Standard sind 5 %: Wenn es keinen echten Unterschied gibt, rufst du in 5 % der Fälle fälschlich einen Gewinner aus. Signifikanz sagt nichts darüber, ob der Effekt groß genug ist, um zu zählen.
Statistische Power (1 − β). Die Wahrscheinlichkeit, dass dein Test einen echten Effekt der Größe erkennt, die dich interessiert. Üblich sind 80 %. Geringe Power bedeutet, dass du oft „kein Gewinner“ schließt, obwohl es einen gab.
Minimum Detectable Effect (MDE). Die kleinste Verbesserung, die zu erkennen sich lohnt. Das ist eine Geschäftsentscheidung, keine statistische. Wenn ein Zuwachs von 0,1 Punkten den Entwicklungsaufwand nicht wert ist, entwirf keinen Test, der empfindlich genug wäre, ihn zu finden.
Gib Basisrate, MDE, Signifikanz und Power in einen Rechner ein, etwa den Stichprobenrechner von Evan Miller. Für eine schnelle Schätzung nennt Evan Miller eine Faustregel: n = 16 × σ² ÷ δ² pro Variante, wobei δ der minimale Effekt ist und σ² = p × (1 − p) für eine Conversion-Rate p (Evan Miller, 2010).
Durchgerechnetes Beispiel: Sind 14 Tage realistisch?
Nimm die obige Hypothese zur Preisseite. Angenommen, die Basis-Trial-Start-Rate in diesem Segment beträgt 4 %. Mit der Formel des Rechners bei 5 % Signifikanz und 80 % Power:
Zu erkennender relativer Zuwachs
Absolute Änderung
Nutzer pro Variante
Nutzer gesamt
Wochen bei 4.000 Besuchern pro Woche
5 %
4,0 % → 4,2 %
~151.800
~303.600
~76
10 %
4,0 % → 4,4 %
~38.200
~76.400
~19
20 %
4,0 % → 4,8 %
~9.700
~19.400
~5
Die Faustregel stimmt überein: 16 × 0,04 × 0,96 ÷ 0,004² = 38.400 pro Variante für den Zuwachs von 10 %.
Um in 14 Tagen fertig zu werden, braucht das Segment etwa 76.400 ÷ 14 ≈ 5.460 infrage kommende Besucher pro Tag. Ein Team mit 4.000 pro Woche hat drei ehrliche Optionen:
Den MDE erhöhen. Teste nur Änderungen, die mutig genug sind, die Metrik um 20 % und mehr zu bewegen.
Die Metrik nach vorn verlagern. Teste an einem Schritt mit höherem Volumen, etwa Klicks auf der Preisseite, und behandle Trial-Starts als Guardrail.
Nicht A/B-testen. Ausliefern, beobachten und stattdessen aus Kundengesprächen lernen.
Wenn du die nötige Stichprobe nicht in vertretbarer Zeit erreichst, lohnt sich der Test nicht.
Wie lange sollte ein A/B-Test laufen, und warum solltest du nicht peeken?
Lege das Enddatum vor dem Start fest, abgeleitet aus der Berechnung der Stichprobengröße. Lass den Test dann über ganze Wochen laufen, damit Wochentags- und Wochenendnutzer beide vertreten sind.
Prüfe die Ergebnisse nicht täglich und stoppe nicht, wenn sie gut aussehen. Das nennt sich Peeking und ruiniert deine Rate falsch-positiver Ergebnisse. Evan Miller hat gezeigt: Wer nach jeder Beobachtung nachsieht und beim ersten signifikanten Ergebnis stoppt, erklärt eine Änderung, die nichts bewirkt, in 26,1 % der Fälle zum Gewinner, nicht in 5 %. Bei 10-mal Nachsehen liegt ein mit 1 % Signifikanz berichtetes Ergebnis in Wahrheit bei 5 % (Evan Miller, 2010).
Schreib das Enddatum auf und widersteh dem Drang. Wenn du wirklich früh wegen eines Gewinners stoppen musst, nutze eine dafür gebaute Methode wie sequenzielles Testen oder ein Bayes'sches Design, das du vor dem Start aufsetzt.
Es gibt eine Ausnahme: Beobachte Guardrails auf schwere Schäden. Wenn ein Test einen Einbruch von 40 % bei einer kritischen Metrik verursacht, stoppe ihn wegen des Guardrails, nicht weil die primäre Metrik hin und her springt.
Was ist mit dem Neuheitseffekt?
Nutzer verhalten sich anders, wenn etwas neu aussieht. Eine frische Oberfläche kann das Engagement kurz steigern und dann wieder abflachen, wenn der Reiz des Neuen verfliegt. Das Gegenteil kommt auch vor: Kohavi, Tang und Xu warnen, dass Redesigns auf Primacy-Effekte stoßen, bei denen Nutzer, die an die alte Version gewöhnt sind, anfangs schlecht reagieren (Kohavi, Tang und Xu, 2020). Bei Änderungen an häufig genutzten Oberflächen solltest du den Effekt nach Tagen darstellen. Wenn er stetig schrumpft oder wächst, lass den Test länger laufen, bevor du entscheidest.
Wie liest du A/B-Test-Ergebnisse, ohne dich selbst zu täuschen?
Prüfe die Aufteilung vor dem Ergebnis
Wenn du 50/50 zugewiesen hast, aber bei großen Zahlen 52/48 siehst, ist etwas kaputt: eine Weiterleitung, ein Bot-Filter, ein Logging-Fehler. Das nennt sich Sample Ratio Mismatch (SRM). Bei etwa 6 % der Experimente bei Microsoft und etwa 10 % der getriggerten Experimente bei LinkedIn trat einer auf, und ein Produkt mit 10.000 Experimenten im Jahr kann mit mindestens einem pro Tag rechnen (Lukas Vermeer). Einem Test mit SRM kannst du nicht trauen, egal wie der p-Wert aussieht.
Misstraue überraschenden Gewinnen
Kohavi, Tang und Xu unterstützen das Twyman-Gesetz: „Jede Zahl, die interessant oder anders aussieht, ist meist falsch.“ Ein Zuwachs von 40 % durch eine Textänderung ist eher ein Bug als ein Durchbruch. Prüfe die Daten noch einmal und wiederhole den Test.
Wähle eines von drei Ergebnissen
Die Variante gewinnt. Die primäre Metrik hat sich signifikant verbessert, die Stichprobe ist erreicht und kein Guardrail hat ausgelöst. Liefere sie aus und schreib auf, warum sie deiner Meinung nach funktioniert hat.
Die Kontrolle gewinnt oder es gibt keinen Unterschied. Die Änderung hat nichts bewegt. Das ist trotzdem ein Gewinn: Du hast vermieden, etwas Nutzloses auszuliefern. Halte fest, warum die Hypothese falsch war.
Nicht aussagekräftig. Du hast die geplante Stichprobe nicht erreicht, oder der Effekt ist zu klein, um zu zählen. Erkläre keinen Gewinner. Lass den Test bis zum geplanten Enddatum laufen oder brich ab und akzeptiere, dass du nichts schließen kannst.
Frag, warum es gewonnen hat
Eine gewinnende Variante sagt dir, dass etwas funktioniert hat, selten warum. Ohne das Warum kannst du die Erkenntnis nicht verallgemeinern. Nach einem Gewinn:
Interviewe oder befrage Nutzer, die die Variante gesehen haben.
Sieh dir Segmentaufschlüsselungen an und behandle sie als neue Hypothesen, nicht als Beweis; wer viele Segmente aufschneidet, erzeugt zufällige Gewinner.
Betrachte den gesamten Funnel, nicht nur die primäre Metrik.
Schreib eine Synthese nach dem Test: „Wir glauben, dass das funktioniert hat, weil X. Beleg: Y. Nächster Test: Z.“
Was sind die häufigsten Fehler beim A/B-Testen?
1. Zu viele Dinge auf einmal testen. Multivariate Tests brauchen viel mehr Traffic, um für jede Kombination Signifikanz zu erreichen, und verschleiern, welche Änderung das Ergebnis getrieben hat. Teste nur eine Änderung nach der anderen, es sei denn, du hast sehr viel Traffic.
2. Überlappende Tests auf denselben Nutzern ohne Plan. Wenn ein Test das Onboarding und ein anderer die Preise für dieselben Nutzer ändert, können sich die Effekte vermischen. Lass sie nacheinander laufen oder nutze eine Plattform, die überlappende Zuweisung beherrscht.
3. Neuheits- und Primacy-Effekte ignorieren. Kurze Tests auf vertrauten Screens über- oder unterschätzen den langfristigen Effekt.
4. Die falsche Funnel-Stufe optimieren. Wenn das eigentliche Problem die Aktivierung ist, behebt eine bessere Anmelderate nichts. Frag, ob die Metrik Retention und Umsatz vorhersagt; das SaaS-Aktivierungs-Playbook zeigt, wie du das prüfst.
5. Tests mit zu wenig Power durchführen. Ein Test, der nur einen Zuwachs von 50 % erkennen könnte, liefert bei den meisten echten Verbesserungen „kein Unterschied“, und das Team schließt fälschlich, die Idee sei gescheitert.
6. Den Gewinner ausliefern, ohne die Erkenntnis mitzunehmen. Der Sinn eines Tests ist, etwas Wahres über Nutzer zu lernen. Ein Gewinner, den niemand erklären kann, ist eine verpasste Chance; ein Verlierer, den der PM vollständig versteht, ist ein Erfolg.
Wie baust du eine Testkultur auf, die sich auszahlt?
Der eigentliche Wert von A/B-Tests für Product Manager baut sich über viele Tests auf, rechne also damit, die meiste Zeit falsch zu liegen. Wenn bei Microsoft nur ein Drittel der Ideen die Zielmetrik verbessert, ist ein Team mit einer Gewinnquote von 30 % normal und nicht gescheitert.
Dokumentiere jeden Test, auch Fehlschläge. Fehlgeschlagene Tests sind oft mehr wert: Sie widerlegen Annahmen, die das Team in die falsche Richtung geschickt hätten.
Tagge Tests nach der zugrunde liegenden Nutzerannahme. „Nutzer sind bei der Anmeldung risikoscheu.“ „Power-User lesen keine Tooltips.“ „Preisanker funktionieren in unserem Segment.“ Mit der Zeit entsteht eine Landkarte dessen, was du über deine Nutzer weißt.
Führe einen vierteljährlichen Experiment-Review durch. Welche Muster sind entstanden? Was glaubst du jetzt, was du vorher nicht geglaubt hast? Welche alte Annahme wurde widerlegt?
Verknüpfe Ergebnisse mit Produktentscheidungen. Wenn du eine Spezifikation schreibst, zitiere die Tests dahinter. Prüfe vor einem Test, ob ein früherer die Frage schon beantwortet hat. Ein Product-Decision-Log ist der einfachste Ort, diese Verknüpfung zu pflegen.
A/B-Tests für Product Manager funktionieren am besten bei umkehrbaren Änderungen mit viel Traffic und schnellen Ergebnissen. In vier Situationen sind sie das falsche Werkzeug:
Wenig Traffic. Die meisten B2B-Produkte in der Frühphase erreichen nicht Zehntausende Nutzer pro Variante. Setze stattdessen auf qualitative Forschung und mutige Änderungen.
Langfristige Ergebnisse. Jahresverlängerungen oder 12-Monats-Retention zeigen sich nicht in einem Test von zwei Wochen.
Netzwerkeffekte. Wo Nutzer miteinander interagieren, etwa in Collaboration-Tools oder Marktplätzen, kann die Behandlung auf die Kontrolle durchsickern.
Nicht umkehrbare oder ethische Fragen. Preise, die manche Kunden als unfair empfänden, oder Änderungen, die du nicht zurücknehmen kannst, brauchen einen anderen Entscheidungsprozess.
Wo Specky ins Spiel kommt
Die meisten Experimentergebnisse liegen in einem Analytics-Tool oder einer Tabelle, abgeschnitten von den Gründen, aus denen sie durchgeführt wurden. In der Experimente-Ansicht von Specky verknüpfst du jeden Test mit der Annahme oder Opportunity, die er prüft, schreibst die Erfolgskriterien vor dem Start auf und hältst das Ergebnis als bestätigt oder widerlegt fest. Die Erkenntnis landet im Product Graph und die Entscheidung im Log. Wenn also sechs Monate später jemand ein verwandtes Feature zuschneidet, tauchen der frühere Test und seine Belege auf, statt dass er wiederholt wird. Specky ersetzt weder dein Testing-Tool noch dessen Statistik; es hält fest, was du gelernt hast, und verknüpft es mit dem, was du entscheidest.
Häufig gestellte Fragen
Wie lange sollte ein A/B-Test laufen?
Ein A/B-Test sollte so lange laufen, bis er die Stichprobengröße erreicht, die du vor dem Start berechnet hast, aufgerundet auf ganze Wochen, damit jeder Wochentag abgedeckt ist. Kohavi, Tang und Xu empfehlen Metriken, die sich innerhalb von ein bis zwei Wochen ablesen lassen. Stoppe nie früher, nur weil das Ergebnis signifikant aussieht; das bläht die falsch-positiven Ergebnisse auf.
Welche Stichprobengröße brauche ich für einen A/B-Test?
Das hängt von deiner Basisrate und dem kleinsten lohnenden Zuwachs ab. Bei einer Basis von 4 % braucht man, um einen relativen Zuwachs von 10 % zu erkennen, etwa 38.200 Nutzer pro Variante bei 5 % Signifikanz und 80 % Power; für 20 % sind es etwa 9.700. Nutze einen Rechner wie den von Evan Miller oder die Faustregel n = 16 × p(1 − p) ÷ δ².
Kann man A/B-Tests mit wenig Traffic durchführen?
Nur für große Effekte bei häufigen Aktionen. Bei einer Basis von 20 % braucht man, um einen relativen Zuwachs von 20 % zu erkennen, etwa 1.600 Nutzer pro Variante; ein paar tausend Nutzer können das also beantworten, kleine Änderungen an seltenen Aktionen lassen sich dagegen nicht testen. Nutze sonst qualitative Methoden: Usability-Tests, Kundeninterviews, Fake-Door-Tests oder Concierge-Tests. Sie beantworten andere Fragen, liefern dir aber Belege statt eines nicht aussagekräftigen Tests.
Was ist eine Guardrail-Metrik beim A/B-Testing?
Eine Guardrail-Metrik ist eine, die die Änderung nicht verschlechtern darf, selbst wenn sich die primäre Metrik verbessert. Typische Guardrails sind Aktivierung, Retention, Fehlerraten, Ladezeit und Support-Tickets. Lege sie vor dem Start fest und stoppe einen Test nur dann früher, wenn ein Guardrail schweren Schaden zeigt, nicht weil die primäre Metrik gut aussieht.
Was bedeutet Peeking beim A/B-Testing?
Peeking heißt, die Signifikanz zu prüfen, während ein Test läuft, und zu stoppen, sobald sie signifikant aussieht. Das verletzt die Annahme einer festen Stichprobengröße. Evan Miller hat gezeigt, dass das Nachsehen nach jeder Beobachtung mit Stopp beim ersten signifikanten Ergebnis in 26,1 % der Fälle falsch-positive Ergebnisse liefert statt in 5 %. Lege Stichprobengröße und Enddatum im Voraus fest.
Wie führst du einen A/B-Test für eine Win-back-Kampagne für abgewanderte Nutzer durch?
Teile inaktive Nutzer zufällig in eine Gruppe, die das Win-back-Angebot erhält, und eine Holdout-Gruppe, die nichts erhält. Nimm die Reaktivierung innerhalb eines festen Zeitfensters, etwa 30 Tage, als primäre Metrik und die Kosten für Rabatte sowie die Abmelderate als Guardrails. Listen inaktiver Nutzer sind oft klein, also teste mutige Unterschiede und bestimme die Stichprobe zuerst.
GDPR-aligned. EU workspace data is stored in Frankfurt, Germany. GDPR and EU data Built in Vienna, Austria. A product of influence solutions fm GmbH (FN 675374y). Imprint 14-day trial. Card required, and nothing is charged until day 14. 30-day refund after subscribing. See pricing