Een boomerangtest kijkt mee terwijl klanten het product van een concurrent voor een echte taak gebruiken, zodat je ziet waar het tekortschiet en wat jouw aanbod moet verslaan. Je bouwt niets: de concurrent heeft al een werkend prototype van jouw idee gebouwd. In vijf sessies van een uur leer je hoe "goed genoeg" er nu uitziet en welke tekortkoming mensen echt belangrijk vinden.
Kort samengevat
Werf vijf mensen uit je doelsegment: twee die de concurrent nu gebruiken en drie die dat niet doen.
De experimentenbibliotheek van Strategyzer voor Testing Business Ideas geeft de boomerang 2 op 5 voor kosten, opzet- en looptijd, met een sterkte van het bewijs van 1 tot 3 op 5 (Strategyzer-poster).
Benoem de tekortkoming vóór de eerste sessie. Slagingscriterium: minstens 3 van de 5 lopen tegen dezelfde tekortkoming aan, en het is er een die je wilt oplossen.
Noteer wat de concurrent goed doet. Het advies van Nielsen Norman Group over concurrentietests: versla de concurrentie, kopieer haar niet (NN/g, 2024).
Een tekortkoming laat zien dat er een probleem is. Ze laat niet zien dat mensen zouden overstappen.
Wat is een boomerangtest?
Een boomerangtest is een begeleide sessie waarin een klant een echte taak uitvoert met een bestaand product, meestal dat van een concurrent, terwijl jij kijkt en hij of zij hardop denkt. Je noteert waar ze vastlopen, welke noodoplossingen ze gebruiken en wat goed werkt.
De naam komt uit Testing Business Ideas van David J. Bland en Alexander Osterwalder, een bibliotheek van 43 soorten experimenten, gesorteerd op kosten, tijd en sterkte van het bewijs (Strategyzer). De boomerang zit in de discovery-groep van "discussion prototypes", naast het papieren prototype, de storyboard en de pretend-to-own-test. De poster van Strategyzer voor de bibliotheek scoort hem zo (Strategyzer-poster):
Het onderste deel van het bewijsbereik is wat mensen over het product zeggen. Het bovenste deel is wat je ze ermee ziet doen.
UX-onderzoekers voeren een nauwe verwant uit, de competitieve usabilitytest, waarbij mensen dezelfde taken uitvoeren op twee of meer ontwerpen (NN/g, 2024). De boomerang leent die methode, maar stelt een productvraag: is er een tekortkoming waarvoor het loont om te bouwen?
Welk risico test hij, en hoe sterk is het bewijs?
Hij test desirability (aantrekkelijkheid): waar laten bestaande opties een gat dat mensen belangrijk vinden? Het bewijs is gedrag, want je ziet echte pogingen bij een echte taak. Het vertelt je dat er een gat is, niet dat mensen zouden overstappen om het te dichten. Zie onze gids voor het kiezen van een productexperiment om verder te gaan.
Wanneer voer je een boomerangtest uit, en wanneer niet?
Gebruik hem als er al alternatieven zijn en je wilt weten wat je echt beter zou moeten doen. Je krijgt een werkend product om te testen zonder iets te bouwen, en je leert hoe "goed genoeg" eruitziet.
NN/g noemt dezelfde voordelen voor concurrentietests: concurrenten hebben vaak al eigen testrondes gedaan, zodat je van hun sterktes en zwaktes kunt leren zonder het werk te herhalen, en je aanpakken kunt vergelijken voordat je veel ontwerpt (NN/g, 2024).
Gebruik hem niet als er niets vergelijkbaars is, of als het gebruik van het product van de concurrent de voorwaarden zou schenden of de login van iemand anders vereist. Ga er niet in op zoek naar fouten om je beter te voelen. Gebruik hem niet als bewijs dat mensen jouw versie willen, want iedereen vindt wel iets mis met alles. Om dat te checken, volg je op met een fake door.
Boomerangtest-template (kopiëren en gebruiken)
Open de afbeelding op volledige grootte, of kopieer de tekstversie hieronder.
Wie je werft en hoeveel
Vijf klanten uit je doelsegment. Een mix is het best: twee die de concurrent nu gebruiken en drie die dat niet doen. Elke deelnemer gebruikt zijn of haar eigen gratis of betaalde account, of een publieke proefversie.
Stappenplan
Kies één echte taak die ertoe doet.
Kies het alternatief dat je klanten het waarschijnlijkst zouden gebruiken.
Bepaal je slagingscriterium, inclusief de tekortkoming die je wilt oplossen.
Vraag iedereen de taak uit te voeren terwijl jij kijkt.
Zwijg en maak aantekeningen over noodoplossingen.
Vraag wat ze hierna zouden doen en of ze het zouden blijven gebruiken.
Vergelijk de tekortkomingen tussen mensen.
Script
"Doe dit alsjeblieft zoals je dat normaal zou doen, met dit product: [taak]. Ik heb het niet gebouwd, dus je kunt me niet beledigen. Denk alsjeblieft hardop."
Daarna:
"Wat was het vervelendste onderdeel?"
"Wat deed je om eromheen te werken?"
"Als dit morgen zou verdwijnen, wat zou je dan doen?"
"Wat deed het beter dan je had verwacht?"
Wat je meet
Of ze klaar waren. Waar ze vastliepen. Noodoplossingen. Hoeveel mensen tegen dezelfde tekortkoming aanliepen. Wat het product goed deed.
Slagingscriterium dat je vóór de start bepaalt
Het startpunt van Specky: minstens 3 van de 5 lopen tegen dezelfde tekortkoming aan, en het is er een die je wilt oplossen. Dit is een startpunt, geen benchmark. Benoem de tekortkoming voordat je begint.
Resultatenlog
Persoon
Huidige gebruiker?
Taak afgerond?
Tegengekomen tekortkoming
Noodoplossing
Wat het goed deed
Zouden ze het houden?
Hoe voer je een boomerangsessie stap voor stap uit?
Plan 60 minuten per persoon en houd de opzet elke keer hetzelfde:
Minuut 0-5: voorbereiding. Vraag toestemming voor opnemen en vraag testgegevens te gebruiken in plaats van echte klantgegevens.
Minuut 5-10: context. Vraag hoe ze deze taak de vorige keer deden, en waarmee. Gedrag uit het verleden verslaat voorspellingen.
Minuut 10-35: de taak. Lees hem hardop voor en zwijg dan. Jakob Nielsens recept voor hardop denken is representatieve gebruikers, representatieve taken en dan mensen laten praten; hij waarschuwt dat onderbrekingen gedrag makkelijk kunnen veranderen (NN/g, 2012).
Minuut 35-50: nabespreking. Stel de vier scriptvragen. Noteer de sterke punten net zo zorgvuldig als de tekortkomingen.
Minuut 50-60: uitwerken. Leg de tekortkoming, de noodoplossing en het sterke punt vast zolang het vers is.
Moet je meer dan één concurrent testen?
Dat kan. NN/g stelt voor je op 2 tot 4 concurrenten te richten, elke deelnemer 2 of 3 producten te laten gebruiken en niet meer dan 3, omdat meer mensen kan overweldigen. Loot welk product iedereen als eerste gebruikt, zodat wat ze van het eerste leren het tweede niet bevoordeelt. Eindig met deelnemers te vragen te vergelijken wat ze hebben gebruikt (NN/g, 2024).
Hoeveel deelnemers heb je nodig voor een boomerangtest?
Vijf is een praktische eerste ronde. Jakob Nielsens model schat dat vijf gebruikers ongeveer 85% van de usabilityproblemen in één ontwerp vinden, en beveelt drie rondes van vijf aan boven één ronde van 15 (NN/g, 2000). Bij twee verschillende groepen, zoals huidige gebruikers en niet-gebruikers, stelt hij drie tot vier mensen per groep voor.
Met dezelfde formule is dit de kans dat een tekortkoming minstens één keer opduikt in vijf sessies, afhankelijk van hoe vaak ze echt voorkomt (eigen berekening):
Aandeel klanten dat tegen de tekortkoming aanloopt
Kans dat ze opduikt in 5 sessies
50%
97%
30%
83%
10%
41%
Vijf sessies brengen bijna altijd een tekortkoming boven water waar de helft van je klanten tegenaan loopt. Een tekortkoming waar maar 1 op 10 tegenaan loopt, missen ze vaak, wat nog een reden is om niet te bouwen voor een tekortkoming die één keer opduikt.
Boomerangtest vs usabilitytest: welke moet je gebruiken?
Beide kijken naar mensen die zwijgend een taak uitvoeren. Het verschil zit in van wie het product is dat ze gebruiken, en wat je aan het beslissen bent.
Dat van een concurrent, of het alternatief dat ze nu gebruiken
Je eigen prototype of live product
Vraag die hij beantwoordt
Is er een tekortkoming waarvoor het loont om te bouwen?
Kunnen mensen gebruiken wat we hebben gebouwd?
Wanneer in de cyclus
Voordat je ontwerpt
Nadat je iets hebt om te testen
Typische omvang
5 mensen, mix van huidige gebruikers en niet-gebruikers
5 mensen van één type
Strategyzer-score
2/5 kosten, 1-3/5 bewijs
Geen aparte vermelding in de bibliotheek
Wat slagen betekent
Er bestaat een gedeelde tekortkoming
Mensen kunnen zonder hulp afronden
Grootste valkuil
Aannemen dat een tekortkoming overstappen betekent
Details oplossen voordat je de vraag hebt gecheckt
Doe eerst een boomerang om te kiezen wat je bouwt. Doe een usabilitytest zodra je het hebt gebouwd. Sommige teams herhalen daarna de boomerangtaak op hun eigen prototype, met dezelfde opzet van vijf mensen, als directe vergelijking.
Hoe ziet een boomerang eruit in de praktijk?
Dit voorbeeld is verzonnen om de methode te laten zien. Een team wil een eenvoudige boekhoudtool voor freelancers bouwen, in de overtuiging dat bestaande tools te ingewikkeld zijn. Ze kijken hoe vijf freelancers een populaire optie gebruiken om een factuur te versturen en een uitgave vast te leggen.
Iedereen rondt af. De factuur is simpel en alle vijf zijn er lovend over. Maar vier van de vijf lopen vast bij het categoriseren van een uitgave, en twee geven op en vullen "overig" in. Eén zegt dat ze het exporteert naar een spreadsheet.
Vier mensen lopen tegen dezelfde tekortkoming aan, en het was de tekortkoming die het team had benoemd, dus het signaal slaagt. Ze leren ook iets wat ze niet hadden gepland: factureren is al goed en hoeft niet opnieuw gebouwd.
Het voorbeeld uitgebreid: vijf sessies van een uur kosten het team ongeveer één werkdag plus uitwerken. Hun volgende stap is een fake door die freelancers "uitgaven automatisch gesorteerd" aanbiedt, om te zien of de tekortkoming van 4 van de 5 verandert in klikken van mensen die zouden overstappen.
Wat zijn de meest gemaakte boomerangfouten?
Fouten zoeken om je beter te voelen. Noteer ook wat goed is. Dat is wat je moet evenaren.
Een taak testen die niemand doet. Gebruik een taak waar mensen echt om geven.
De featurelijst van de concurrent kopiëren. Je zoekt tekortkomingen, geen checklist.
Aannemen dat een tekortkoming overstappen betekent. Mensen verdragen veel.
De regels overtreden. Gebruik publieke proefversies en de eigen accounts van mensen.
Het product uitleggen. Als je helpt, verberg je de tekortkoming. NN/g voegt een verwante waarschuwing toe: kijk wat mensen doen, niet alleen wat ze zeggen.
Wanneer het niet werkt: bij gloednieuwe categorieën zonder echt alternatief, bij producten die mensen zelden gebruiken, en als de echte concurrent een spreadsheet of een gewoonte is. Kijk in dat geval naar de spreadsheet: dat is het alternatief dat je moet verslaan.
Is het legaal en eerlijk om het product van een concurrent te testen?
Over het algemeen is kijken hoe iemand een product gebruikt waar hij of zij legitiem toegang toe heeft gewoon onderzoek, maar de voorwaarden verschillen. Dit is geen juridisch advies. Lees eerst de voorwaarden van het product. Die van HubSpot geven bijvoorbeeld elke gebruiker een eigen login en verbieden reverse engineering van de dienst (voorwaarden van HubSpot). Gebruik dus het eigen account van elke deelnemer of een publieke proefversie, nooit een gedeelde login, en probeer het product niet uit elkaar te halen.
Behandel deelnemers ook eerlijk. Vraag toestemming voordat je opneemt, gebruik testgegevens zodat de gegevens van hun klanten nooit op het scherm verschijnen, en plaats geen clips van een product van een concurrent dat faalt.
Zo voer je hem uit in Specky
Klik op de pagina Assumptions op de notitie en kies Pick a test, daarna Boomerang (competitor testing). Specky vult de stappen, het slagingscriterium en een tijdlijn van een week in.
Deze voer je zelf uit. Specky bewaart het plan en het resultaat. Kijk zelf mee bij de sessies.
Klik op Start running. Plak de tekortkomingen, noodoplossingen en sterke punten en leg het resultaat vast.
Een geslaagde test staat op het bord als Supported, omdat kijken naar echte pogingen gedrag is. Wat het onderbouwt, is dat de tekortkoming bestaat. Het laat niet zien dat mensen zouden overstappen.
Wat moet je doen met elke uitkomst?
Supported: je weet wat je moet verslaan. Bied precies dat aan met een fake door en test of mensen het genoeg willen om te handelen.
Unclear: de tekortkomingen verschilden per persoon. Misschien meng je verschillende soorten klanten. Maak de groep smaller, of verander de taak.
Contradicted: de bestaande optie is goed genoeg. Concurreer daar niet. Zoek iets wat het product elders slecht doet, of een groep die het niet bedient. Elke gok die op deze notitie rust staat nu als Contradicted.
Veelgestelde vragen
Wat is een boomerangtest?
Bij een boomerangtest gebruiken klanten het product van een concurrent voor een echte taak terwijl jij kijkt en zij hardop denken. Hij laat zien waar de bestaande optie tekortschiet en wat ze goed doet, zonder dat je iets hoeft te bouwen. De methode komt uit de experimentenbibliotheek in Testing Business Ideas van Bland en Osterwalder.
Hoeveel mensen heb je nodig voor een boomerangtest?
Vijf is een praktische eerste ronde: twee die de concurrent nu gebruiken en drie die dat niet doen. Nielsens model schat dat vijf gebruikers ongeveer 85% van de usabilityproblemen vinden. Vijf sessies brengen bijna altijd een tekortkoming boven water waar de helft van je klanten tegenaan loopt, maar kunnen zeldzamere missen, dus test opnieuw voordat je bouwt voor een tekortkoming die je maar één keer zag.
Is het legaal om het product van een concurrent met klanten te testen?
Over het algemeen mag je kijken hoe mensen een product gebruiken waar ze toegang toe hebben, maar check de voorwaarden van het product en deel geen accounts. Gebruik publieke proefversies en de eigen login van elke persoon, en doe geen reverse engineering op het product. Voorwaarden en wetten verschillen, dus lees de overeenkomst en vraag juridisch advies als je twijfelt.
Wat moet ik doen als het product van de concurrent goed werkt?
Dat is een bruikbaar resultaat. Het betekent dat je niet op die taak moet proberen te concurreren. Zoek een andere taak, of een klantgroep die het product slecht bedient. Noteer precies wat het goed doet, want elk product dat je bouwt wordt ermee vergeleken.
Wat is het verschil tussen een boomerangtest en een usabilitytest?
Een boomerangtest kijkt naar mensen die het product van een concurrent gebruiken om een tekortkoming te vinden waarvoor het loont om te bouwen. Een usabilitytest kijkt naar mensen die je eigen product gebruiken om te checken of ze een taak kunnen afronden. Doe de boomerang voordat je ontwerpt, en de usabilitytest zodra je iets hebt om aan mensen voor te leggen.
GDPR-aligned. EU workspace data is stored in Frankfurt, Germany. GDPR and EU data Built in Vienna, Austria. A product of influence solutions fm GmbH (FN 675374y). Imprint 14-day trial. Card required, and nothing is charged until day 14. 30-day refund after subscribing. See pricing