5 juli 2026Bijgewerkt op Fathy Shalaby15 min leestijd
A/B-testen voor product managers: van hypothese tot beslissing
Hoe je A/B-tests uitvoert waar je iets van leert: hypothesesjabloon, primaire en guardrailmetrics, een uitgewerkt voorbeeld voor de steekproefgrootte, de peeking-valkuil en een kopieerbare checklist.
A/B-testen voor product managers betekent dat je een willekeurig gekozen helft van de gebruikers een wijziging laat zien en de andere helft de huidige versie, en aan de hand van één vooraf afgesproken metric beslist of de wijziging een verbetering heeft veroorzaakt. Goed gedaan beslecht het discussies met bewijs en leert het je waarom gebruikers zich gedragen zoals ze doen. Slecht gedaan geeft het slechte beslissingen een vals gevoel van zekerheid.
Belangrijkste punten
De meeste ideeën falen als je ze test: slechts een derde van de bij Microsoft geteste ideeën verbeterde de metric waarvoor ze bedoeld waren, en de succespercentages bij Bing en Google lagen rond 10-20% (Kohavi, Tang en Xu, 2020).
De steekproefgrootte komt eerst. Om een relatieve stijging van 10% bij een conversiepercentage van 4% te detecteren, heb je bij 95% significantie en 80% power zo'n 38.200 gebruikers per variant nodig.
Peeking breekt de wiskunde. Stoppen bij het eerste "significante" resultaat, terwijl je na elke bezoeker keek, gaf in 26,1% van de gevallen vals-positieven in plaats van 5% (Evan Miller, 2010).
Controleer de verdeling vóór het resultaat: ongeveer 6% van de experimenten bij Microsoft vertoonde een sample ratio mismatch (Lukas Vermeer).
Eén primaire metric, een paar guardrails, een opgeschreven einddatum en een notitie na de test over het waarom: dat is de hele discipline.
Wat is A/B-testen voor product managers, en wanneer moet je het gebruiken?
Gebruik een A/B-test wanneer vier dingen waar zijn:
Je hebt het verkeer. Kohavi, Tang en Xu raden duizenden experimentele eenheden aan; hoe meer je er hebt, hoe kleiner het effect dat je kunt detecteren.
De uitkomst laat snel zien. Ze adviseren een overall evaluation criterion (OEC) dat je binnen een tot twee weken kunt meten.
De wijziging is omkeerbaar. Je kunt beide versies uitrollen en terugdraaien.
Jullie zijn het oneens over het effect. Als iedereen het al eens is en het risico klein is, rol het dan gewoon uit en houd het in de gaten.
De opbrengst kan groot zijn. Bij Bing lag in 2012 een idee om de titelregels van advertenties te verlengen meer dan zes maanden in de backlog. Toen een softwareontwikkelaar het eindelijk testte, steeg de omzet met 12%, meer dan 100 miljoen dollar per jaar alleen al in de VS (Kohavi, Tang en Xu, 2020). Niemand had het voorspeld.
Waarom mislukken de meeste A/B-tests nog voordat ze beginnen?
Het falen gebeurt bij de hypothese, of beter gezegd: door het ontbreken ervan. "Laten we de CTA-knop testen" is geen hypothese. Het is een taak.
Taakformulering: de groene knop testen tegen de blauwe knop.
Hypotheseformulering: we geloven dat "Start gratis proefperiode" beter presteert dan "Aanmelden", omdat gebruikers in ons segment risicomijdend zijn en "gratis" de ervaren verplichting verlaagt. We meten de klikratio en de daaropvolgende activatie van de proefperiode.
De hypotheseversie vertelt je drie dingen die de taakversie niet vertelt: wat je gelooft, waarom je het gelooft en welk bewijs je van gedachten zou doen veranderen. Zonder falsifieerbare hypothese kun je op een test handelen, maar kun je er niet van leren.
Elke test moet bovendien terug te voeren zijn op een probleem van gebruikers, niet op een mening over het product. Voordat je de hypothese schrijft, verankeer je haar in bewijs:
Waar zeggen gebruikers moeite mee te hebben?
Waar haken ze af?
Wat doen succesvolle gebruikers wat niet-succesvolle gebruikers niet doen?
Hoe schrijf je een hypothese voor een A/B-test?
Gebruik dit sjabloon:
We geloven dat [wijziging] [uitkomst] zal veroorzaken voor [segment], omdat [redenering]. We weten dat dit klopt als [metric] binnen [tijdsbestek] met [drempel] verandert.
Het breidt het format van hypothesegedreven ontwikkeling uit dat Barry O'Reilly in 2014 bij Thoughtworks publiceerde: we geloven dat deze mogelijkheid tot deze uitkomst leidt, en we weten dat we geslaagd zijn als we een meetbaar signaal zien (Thoughtworks, 2014). Het experimenteerteam van Microsoft voegt er twee regels aan toe: houd de hypothese eenvoudig (splits een complexe wijziging in meerdere tests) en zorg dat de gekozen metrics haar echt kunnen weerleggen (Microsoft Research, 2020).
Ter illustratie:
We geloven dat het tonen van het aantal actieve teams dat Specky gebruikt op de prijspagina het aantal gestarte proefperiodes verhoogt bij bezoekers die de productdemo hebben gezien, omdat social proof twijfel bij B2B-aankoopbeslissingen verkleint. We weten dat dit klopt als het percentage gestarte proefperiodes voor dat segment binnen 14 dagen met ≥10% stijgt.
Let op waartoe die laatste zin zich verbindt: een metric, een segment, een drempel en een deadline. In het onderstaande gedeelte over steekproefgrootte kijken we of 14 dagen realistisch is.
Hoeveel metrics moet een A/B-test hebben?
Eén primaire metric. Al het andere zijn guardrails.
De hoofdzonde is meerdere succesmetrics hebben. Kijk naar vijf metrics en eentje zal waarschijnlijk toevallig significant lijken, en dan overtuig je jezelf dat dat degene was die ertoe deed.
Kohavi, Tang en Xu noemen de primaire metric het overall evaluation criterion (OEC): een kwantitatieve maat voor het doel van het experiment. Guardrailmetrics beschermen wat de organisatie niet wil opofferen. Het ExP-team van Microsoft berekent bij elk experiment, ongeacht de feature, een kernset: tevredenheid van gebruikers, guardrails, feature en betrokkenheid, en datakwaliteit (Microsoft Research, 2020).
Primaire metric
Guardrail
Waarom de guardrail ertoe doet
Aanmeldpercentage
Activatiepercentage
Je wilt geen gebruikers aantrekken die meteen afhaken
Sessieduur
Taakvoltooiingspercentage
Langere sessies mogen niet betekenen dat gebruikers in de war zijn
Featuregebruik
Supporttickets
Gebruik mag niet ten koste gaan van verwarring
Gestarte proefperiodes
Conversie van proefperiode naar betalend
Meer proefperiodes met minder intentie kunnen de omzet verlagen
Omzet per bezoeker
Laadtijd van de pagina, foutpercentage
Prestatieverslechteringen schaden elke andere metric
Als je primaire metric ver van omzet of retentie af staat, controleer dan of ze die voorspelt. Onze gids over product-led growth-metrics behandelt welk gedrag dat doorgaans doet.
Hoe bereken je de steekproefgrootte van een A/B-test?
Hier schuiven de meeste PM's het probleem naar een data scientist en houden ze op met nadenken. Doe dat niet. Je hebt drie begrippen en één getal nodig.
Statistische significantie (α). Het percentage vals-positieven dat je accepteert. De standaard is 5%: als er geen echt verschil is, roep je in 5% van de gevallen ten onrechte een winnaar uit. Significantie zegt niets over of het effect groot genoeg is om ertoe te doen.
Statistische power (1 − β). De kans dat je test een echt effect van de grootte die je interesseert detecteert. De gebruikelijke doelstelling is 80%. Lage power betekent dat je vaak "geen winnaar" concludeert terwijl die er wel was.
Minimum detectable effect (MDE). De kleinste verbetering die het waard is om te detecteren. Dit is een zakelijke beslissing, geen statistische. Als een stijging van 0,1 punt de engineeringkosten niet waard is, ontwerp dan geen test die gevoelig genoeg is om die te vinden.
Voer je basispercentage, MDE, significantie en power in een rekenmachine in, zoals de steekproefgrootte-calculator van Evan Miller. Voor een snelle schatting geeft Evan Miller een vuistregel: n = 16 × σ² ÷ δ² per variant, waarbij δ het minimale effect is en σ² = p × (1 − p) voor een conversiepercentage p (Evan Miller, 2010).
Uitgewerkt voorbeeld: zijn 14 dagen realistisch?
Neem de hypothese over de prijspagina hierboven. Stel dat het basispercentage gestarte proefperiodes in dat segment 4% is. Met de formule van de calculator bij 5% significantie en 80% power:
Relatieve stijging die je wilt detecteren
Absolute verandering
Gebruikers per variant
Gebruikers totaal
Weken bij 4.000 bezoekers per week
5%
4,0% → 4,2%
~151.800
~303.600
~76
10%
4,0% → 4,4%
~38.200
~76.400
~19
20%
4,0% → 4,8%
~9.700
~19.400
~5
De vuistregel komt overeen: 16 × 0,04 × 0,96 ÷ 0,004² = 38.400 per variant voor de stijging van 10%.
Om in 14 dagen klaar te zijn, heeft het segment ongeveer 76.400 ÷ 14 ≈ 5.460 in aanmerking komende bezoekers per dag nodig. Een team met 4.000 per week heeft drie eerlijke opties:
De MDE verhogen. Test alleen wijzigingen die gedurfd genoeg zijn om de metric met 20% of meer te laten bewegen.
De metric naar boven in de funnel verplaatsen. Test op een stap met meer volume, zoals klikken op de prijspagina, en behandel gestarte proefperiodes als guardrail.
Niet A/B-testen. Uitrollen, in de gaten houden en in plaats daarvan leren van gesprekken met klanten.
Als je de benodigde steekproef niet in redelijke tijd kunt halen, is de test het niet waard om uit te voeren.
Hoe lang moet een A/B-test lopen, en waarom mag je niet peeken?
Bepaal de einddatum vóór de lancering, op basis van de berekening van de steekproefgrootte. Laat de test daarna hele weken lopen, zodat zowel doordeweekse als weekendgebruikers zijn vertegenwoordigd.
Check de resultaten niet elke dag en stop niet zodra ze er goed uitzien. Dit heet peeking en het ruïneert je vals-positievenpercentage. Evan Miller liet zien dat als je na elke waarneming kijkt en stopt bij het eerste significante resultaat, een wijziging die niets doet in 26,1% van de gevallen tot winnaar wordt uitgeroepen, niet in 5%. Kijk je 10 keer, dan zit een resultaat dat op 1% significantie wordt gemeld in werkelijkheid op 5% (Evan Miller, 2010).
Schrijf de einddatum op en weersta de neiging. Als je echt vroeg moet stoppen vanwege een winnaar, gebruik dan een methode die daarvoor is gebouwd, zoals sequentieel testen of een Bayesiaans ontwerp, ingesteld vóór de lancering.
Er is één uitzondering: houd guardrails in de gaten voor ernstige schade. Als een test een daling van 40% in een kritieke metric veroorzaakt, stop hem dan op de guardrail, niet omdat de primaire metric heen en weer springt.
En het nieuwheidseffect?
Gebruikers gedragen zich anders als iets nieuw lijkt. Een verse interface kan de betrokkenheid kort verhogen en daarna wegebben als de nieuwigheid slijt. Het omgekeerde gebeurt ook: Kohavi, Tang en Xu waarschuwen dat redesigns te maken krijgen met primacy-effecten, waarbij gebruikers die aan de oude versie gewend zijn eerst slecht reageren (Kohavi, Tang en Xu, 2020). Zet bij wijzigingen aan veelgebruikte schermen het effect per dag uit in een grafiek. Als het gestaag kleiner of groter wordt, laat de test dan langer lopen voordat je beslist.
Hoe lees je A/B-testresultaten zonder jezelf voor de gek te houden?
Controleer de verdeling vóór het resultaat
Als je 50/50 hebt toegewezen maar bij grote aantallen 52/48 ziet, is er iets kapot: een redirect, een botfilter, een logfout. Dit is een sample ratio mismatch (SRM). Ongeveer 6% van de experimenten bij Microsoft en ongeveer 10% van de getriggerde experimenten bij LinkedIn vertoonde er een, en een product dat 10.000 experimenten per jaar draait, mag minstens één per dag verwachten (Lukas Vermeer). Een test met een SRM is niet te vertrouwen, wat de p-waarde ook is.
Wees achterdochtig bij verrassende winsten
Kohavi, Tang en Xu onderschrijven de wet van Twyman: "Elk cijfer dat interessant of anders lijkt, is meestal fout." Een stijging van 40% door een tekstwijziging is eerder een bug dan een doorbraak. Controleer de data opnieuw en draai de test dan opnieuw.
Kies een van de drie uitkomsten
De variant wint. De primaire metric is significant verbeterd, de steekproef is gehaald en er is geen guardrail geraakt. Rol hem uit en schrijf op waarom je denkt dat het werkte.
De controle wint, of er is geen verschil. De wijziging deed niets. Dit is nog steeds een winst: je hebt voorkomen dat je iets nutteloos uitrolde. Leg vast waarom de hypothese fout was.
Niet-conclusief. Je hebt de geplande steekproef niet gehaald, of het effect is te klein om ertoe te doen. Roep geen winnaar uit. Laat de test tot de geplande einddatum doorlopen of stop en accepteer dat je niets kunt concluderen.
Vraag waarom het won
Een winnende variant vertelt je dat iets werkte, zelden waarom. Zonder het waarom kun je de les niet generaliseren. Na een winst:
Interview of enquêteer gebruikers die aan de variant werden blootgesteld.
Bekijk uitsplitsingen per segment, maar behandel ze als nieuwe hypotheses, niet als bewijs; veel segmenten doorsnijden creëert toevallige winnaars.
Kijk naar de hele funnel, niet alleen naar de primaire metric.
Schrijf een synthese na de test: "We geloven dat dit werkte door X. Bewijs: Y. Volgende test: Z."
Wat zijn de meest voorkomende fouten bij A/B-testen?
1. Te veel dingen tegelijk testen. Multivariate tests hebben veel meer verkeer nodig om voor elke combinatie significantie te bereiken en verbergen welke wijziging het resultaat veroorzaakte. Test, tenzij je veel verkeer hebt, één wijziging tegelijk.
2. Overlappende tests op dezelfde gebruikers draaien zonder plan. Als de ene test de onboarding wijzigt en een andere de prijzen voor dezelfde gebruikers, kunnen effecten door elkaar lopen. Draai ze na elkaar of gebruik een platform dat overlappende toewijzing aankan.
3. Nieuwheid en primacy negeren. Korte tests op bekende schermen overschatten of onderschatten het effect op de lange termijn.
4. De verkeerde stap van de funnel optimaliseren. Als het echte probleem activatie is, lost een beter aanmeldpercentage niets op. Vraag je af of de metric retentie en omzet voorspelt; de SaaS-activatiegids laat zien hoe je dat controleert.
5. Tests met te weinig power draaien. Een test die alleen een stijging van 50% kon detecteren, geeft bij de meeste echte verbeteringen "geen verschil", en het team concludeert dan ten onrechte dat het idee faalde.
6. De winnaar uitrollen zonder de les. Het doel van een test is iets waars over gebruikers te leren. Een winnaar die niemand kan verklaren is een gemiste kans; een verliezer die de PM volledig begrijpt is een succes.
Hoe bouw je een testcultuur die zich opstapelt?
De echte waarde van A/B-testen voor product managers bouwt zich op over veel tests, dus verwacht dat je het meestal bij het verkeerde eind hebt. Als bij Microsoft maar een derde van de ideeën de doelmetric verbetert, is een team met 30% winst normaal, niet mislukt.
Documenteer elke test, ook de mislukte. Mislukte tests zijn vaak meer waard: ze weerleggen overtuigingen die het team de verkeerde kant op hadden gestuurd.
Label tests naar de onderliggende overtuiging over gebruikers. "Gebruikers zijn risicomijdend bij het aanmelden." "Powergebruikers lezen geen tooltips." "Prijsanchoring werkt in ons segment." Na verloop van tijd bouw je een kaart van wat je over je gebruikers weet.
Houd elk kwartaal een experimentenreview. Welke patronen zijn ontstaan? Wat geloof je nu wat je eerder niet geloofde? Welke oude overtuiging is weerlegd?
Koppel resultaten aan productbeslissingen. Wanneer je een spec schrijft, verwijs dan naar de tests erachter. Controleer voordat je een test draait of een eerdere de vraag al beantwoordde. Een productbeslissingenlogboek is de eenvoudigste plek om die koppeling te bewaren.
A/B-testchecklist om te kopiëren
Voordat je begint:
Probleemstelling met onderbouwend bewijs (quotes, data)
Wanneer is een A/B-test het verkeerde gereedschap?
A/B-testen voor product managers werkt het best bij omkeerbare wijzigingen met veel verkeer en snelle uitkomsten. In vier situaties is het het verkeerde gereedschap:
Weinig verkeer. De meeste B2B-producten in een vroeg stadium halen geen tienduizenden gebruikers per variant. Gebruik in plaats daarvan kwalitatief onderzoek en gedurfde wijzigingen.
Uitkomsten op de lange termijn. Jaarlijkse verlenging of retentie na 12 maanden laat zich niet zien in een test van twee weken.
Netwerkeffecten. Als gebruikers met elkaar interacteren, zoals in samenwerkingstools of marktplaatsen, kan de behandeling doorsijpelen naar de controle.
Onomkeerbare of ethische vragen. Prijzen die sommige klanten oneerlijk zouden vinden, of wijzigingen die je niet kunt terugdraaien, vragen om een ander besluitvormingsproces.
Waar Specky past
De meeste experimentresultaten staan in een analysetool of een spreadsheet, losgekoppeld van de redenen waarom ze zijn uitgevoerd. In de weergave Experimenten van Specky koppel je elke test aan de aanname of kans die hij toetst, schrijf je de succescriteria op voordat hij begint en leg je het resultaat vast als gevalideerd of ongeldig. De les wordt opgeslagen in de Product Graph en de beslissing wordt gelogd, zodat wanneer iemand zes maanden later een verwante feature uitwerkt, de eerdere test en het bewijs bovenkomen in plaats van opnieuw te worden uitgevoerd. Het vervangt je testtool en de statistiek ervan niet; het houdt vast wat je hebt geleerd aan wat je beslist.
Veelgestelde vragen
Hoe lang moet een A/B-test lopen?
Een A/B-test moet lopen tot hij de steekproefgrootte bereikt die je vóór de lancering hebt berekend, naar boven afgerond op hele weken zodat elke dag van de week is gedekt. Kohavi, Tang en Xu stellen metrics voor die je binnen een tot twee weken kunt aflezen. Stop nooit eerder omdat het resultaat significant lijkt; dat blaast vals-positieven op.
Welke steekproefgrootte heb ik nodig voor een A/B-test?
Dat hangt af van je basispercentage en de kleinste stijging die het waard is om te detecteren. Bij een basis van 4% vraagt het detecteren van een relatieve stijging van 10% om zo'n 38.200 gebruikers per variant bij 5% significantie en 80% power; voor 20% zijn dat er zo'n 9.700. Gebruik een calculator zoals die van Evan Miller, of de vuistregel n = 16 × p(1 − p) ÷ δ².
Kun je A/B-tests doen met weinig verkeer?
Alleen voor grote effecten op veelvoorkomende acties. Bij een basis van 20% vraagt het detecteren van een relatieve stijging van 20% om zo'n 1.600 gebruikers per variant, dus een paar duizend gebruikers kunnen dat beantwoorden; kleine aanpassingen aan zeldzame acties zijn niet te testen. Gebruik anders kwalitatieve methoden: usabilitytests, klantinterviews, fake door-tests of conciergetests. Ze beantwoorden andere vragen, maar geven je bewijs in plaats van een niet-conclusieve test.
Wat is een guardrailmetric bij A/B-testen?
Een guardrailmetric is een metric die de wijziging niet mag schaden, ook niet als de primaire metric verbetert. Typische guardrails zijn activatie, retentie, foutpercentages, laadtijd van pagina's en supporttickets. Spreek ze af vóór de lancering en stop een test alleen vroeger als een guardrail ernstige schade laat zien, niet omdat de primaire metric er goed uitziet.
Wat betekent peeking bij A/B-testen?
Peeking betekent dat je de significantie controleert terwijl een test loopt en stopt zodra die significant lijkt. Dat schendt de aanname van een vaste steekproefgrootte. Evan Miller liet zien dat het controleren na elke waarneming en stoppen bij het eerste significante resultaat in 26,1% van de gevallen vals-positieven oplevert in plaats van 5%. Leg steekproefgrootte en einddatum vooraf vast.
Hoe A/B-test je een win-backcampagne voor vertrokken gebruikers?
Verdeel inactieve gebruikers willekeurig in een groep die het win-backaanbod krijgt en een holdoutgroep die niets krijgt. Gebruik heractivatie binnen een vast tijdvenster, zoals 30 dagen, als primaire metric, en de kosten van de korting en het uitschrijfpercentage als guardrails. Lijsten met inactieve gebruikers zijn vaak klein, dus test gedurfde verschillen en bepaal eerst de steekproef.
GDPR-aligned. EU workspace data is stored in Frankfurt, Germany. GDPR and EU data Built in Vienna, Austria. A product of influence solutions fm GmbH (FN 675374y). Imprint 14-day trial. Card required, and nothing is charged until day 14. 30-day refund after subscribing. See pricing