Een Wizard of Oz-test is een productexperiment waarbij klanten iets gebruiken wat eruitziet als een afgewerkt, geautomatiseerd product, terwijl een mens achter de schermen stilletjes het werk doet. Je ziet eraan of de ervaring werkt, en wat de machine zou moeten kunnen, voordat je maanden in het moeilijke deel steekt. Hieronder vind je een gratis Wizard of Oz-testsjabloon, een operatorgids en de ethiekregels.
Belangrijkste punten
De methode stamt uit 1973; Jeff Kelley gaf haar in 1983 haar naam (NN/g, 2024).
Strategyzer geeft de Wizard of Oz 2 uit 5 voor kosten en 5 uit 5 voor bewijskracht (Strategyzer poster).
Hij test de ervaring, niet de technologie: een geslaagde test zegt dat mensen willen wat de machine zou doen, niet dat een machine het kan.
Log bij AI-producten hoe vaak de mens het model overrulet. Kromatic leest een goedkeuringspercentage rond 90% als teken dat een kant-en-klaar model misschien volstaat, en rond 30% als teken dat de mens het werk doet (Kromatic).
Er komt misleiding bij kijken: vermijd advies met grote gevolgen, bescherm data en geef iedereen achteraf uitleg.
Wat is een Wizard of Oz-test?
Bij een Wizard of Oz-test ziet de klant een werkende interface: een chatvenster, een app, een zoekveld. Daarachter leest een mens (de "wizard" of operator) elk verzoek en maakt het antwoord met de hand. NN/g beschrijft het als een interface die autonoom lijkt, maar geheel of gedeeltelijk door een mens wordt bestuurd. Bij gemodereerde onderzoeken leidt een facilitator de sessie, terwijl de wizard buiten beeld blijft.
Startups noemen het ook een Wizard of Oz-MVP. Van de 44 experimenttypes in Testing Business Ideas van David J. Bland en Alex Osterwalder (Strategyzer) is het een validatie-experiment uit de groep "simulatie".
Waar komt de naam Wizard of Oz vandaan?
Uit het verhaal van L. Frank Baum, waarin de tovenaar een gewone man achter een gordijn is. De onderzoeksgeschiedenis:
1973: Don Norman en Allen Munro gebruikten de methode om een geautomatiseerde reisassistent op een luchthaven te testen, het eerste gedocumenteerde gebruik volgens NN/g.
1983: Gould, Conti en Hovanyecz publiceerden "Composing letters with a simulated listening typewriter" in Communications of the ACM. Spraakherkenning was nog niet goed genoeg, dus simuleerden ze herkenners met een woordenschat van 1.000 woorden, 5.000 woorden en onbeperkt (CACM, 1983). Een replicatie uit 1990 merkt op dat hun operator het dictaat op een QWERTY-toetsenbord typte (Newell et al., 1990).
1983-1984: Jeff Kelley gaf de methode haar naam in zijn proefschrift aan Johns Hopkins over natuurlijketaalinterfaces en publiceerde in 1984 zijn iteratieve ontwerpmethode voor natuurlijketaalkantoorsystemen in ACM Transactions on Information Systems (Kelley, 1984).
Wat zijn voorbeelden van Wizard of Oz-tests?
Zappos. In 1999 fotografeerde Nick Swinmurn schoenen in een winkel in Sunnyvale, verkocht ze via een website en kocht elk paar pas tegen de volle prijs in nadat er een bestelling binnenkwam (Fortune, 2012). Shoppers zagen een webshop, geen man met een camera.
AI-assistenten en chatbots. Kromatic merkt op dat de meeste tests tegenwoordig hybride zijn: een taalmodel schrijft elk antwoord en een mens keurt het goed, past het aan of herschrijft het. De test laat dan zien of de ervaring werkt en hoeveel de mens bijstuurt.
Wanneer gebruik je een Wizard of Oz-test, en wanneer niet?
Gebruik hem wanneer je product iets belooft wat moeilijk te automatiseren is, zoals AI die een verzoek echt begrijpt, en je wilt weten of de ervaring werkt voordat je maanden in het moeilijke deel steekt. NN/g noemt chatbots, aanbevelingen en realtime opzoekingen als typische toepassingen.
Gebruik hem niet wanneer een fout antwoord iemand kan schaden, zoals bij gezondheid, recht of veiligheid, tenzij een expert het werk doet. Als klanten mogen weten dat een mens helpt, is een concierge-MVP eenvoudiger en eerlijker. En als een statische mockup je vraag kan beantwoorden, raadt NN/g aan die te gebruiken.
Welk risico controleert een Wizard of Oz-test, en hoe sterk is het bewijs?
Hij test haalbaarheid vanuit het perspectief van de klant: als de machine dit kon, zou de ervaring dan werken, en wat zou ze moeten doen? Het bewijs is gedrag, omdat echte klanten het gebruiken. Hij zegt weinig over of software het werk echt zou kunnen doen. Zie onze gids voor het kiezen van een productexperiment.
Strategyzer geeft hem 2/5 voor kosten, 3/5 voor opzettijd, 3/5 voor looptijd en 5/5 voor bewijskracht. De echte kosten zijn de tijd van de operator.
Wizard of Oz-testsjabloon (kopieer en gebruik)
Open de afbeelding op volledige grootte, of kopieer de tekstversie hieronder.
Wie je werft en hoeveel
Vijf klanten met een echte taak om te doen. Houd de groep klein, want bij elke klant zit een mens aan de knoppen. Beloof niets wat je niet met de hand kunt waarmaken.
Stappenplan
Schrijf op wat de klant ziet en wat de mens doet.
Bepaal je slaagsignaal en de langst aanvaardbare wachttijd.
Bouw een eenvoudige front-end.
Kies een operator en schrijf de regels voor die persoon op.
Laat het een vast aantal uur per dag draaien en wees duidelijk over die uren.
Log elk verzoek, het antwoord van de operator en de benodigde tijd.
Vertel klanten aan het einde van de test hoe het werkte.
Operatorgids
Antwoord binnen [X] minuten.
Als je het niet kunt, zeg dan: "Dat kan ik nog niet."
Doe niets wat het echte product nooit zou kunnen.
Log elk verzoek, ook de verzoeken die je niet kon beantwoorden.
Vragen voor achteraf
"Wat verwachtte je dat er zou gebeuren toen je dat vroeg?"
"Waar werd je verrast?"
"Voelde iets raar?"
"Als het elke dag zo werkte, waarvoor zou je het dan gebruiken?"
Nadat je hebt uitgelegd hoe het werkte: "Verandert dat hoe je erover denkt?"
Wat je meet
Afgeronde taken. Tijd per verzoek. Aandeel verzoeken dat de operator binnen de regels kon beantwoorden. Hoeveel klanten het merkten, of het erg vonden.
Slaagsignaal dat je vóór de start bepaalt
Speckys uitgangspunt: minstens 3 van de 5 ronden de taak af en merken niets of vinden het niet erg. Dit is een uitgangspunt, geen benchmark. Voeg een eigen grens toe voor de operatortijd per taak.
Resultatenlog
Klant
Verzoek
Operatortijd
Binnen de regels beantwoord?
Taak afgerond?
Gemerkt of erg gevonden?
Opmerkingen
Hoe bereid je de operator voor?
De operator bepaalt of je resultaten iets betekenen. De opzetstappen van NN/g en Kromatics operatoradvies komen neer op vijf gewoonten:
Kies een antwoordmethode.Gesloten (kiezen uit voorbereide antwoorden) is snel maar rigide; open (elk antwoord schrijven) is flexibel maar wisselend; hybride mengt beide.
Schrijf de regels op en vraag een engineer welke antwoorden haalbaar zijn.
Bouw een console die de klant nooit ziet: verzoek, concept, verzenden, log.
Doe een pilot met een collega om de antwoorden te vinden die je vergeten bent.
Controleer de operator. Als een model concepten maakt, stelt Kromatic blinde dubbelchecks voor bij ongeveer 10% van de antwoorden, omdat operators gaan afstempelen.
Hoeveel deelnemers heb je nodig voor een Wizard of Oz-test?
Speckys sjabloon begint met vijf klanten, genoeg om te zien of de ervaring werkt en om de verzoeken te verzamelen die je regels hadden gemist. Voor een duidelijker beeld van gedrag zoals terugkomen of betalen stelt Kromatic 10 tot 30 gebruikers voor over 1 tot 3 weken, voor ongeveer $40 tot $400.
Reken eerst de operatoruren uit: vijf klanten, 10 verzoeken elk, 5 minuten per antwoord is ruwweg 4 uur. Dertig klanten is 25 uur. Open het product pas als iemand het kan bemannen.
Wat moet je meten bij een Wizard of Oz-test?
De metingen van het sjabloon zeggen of de test geslaagd is. Voeg bij AI-producten overrulegegevens toe:
Meting
Wat het je vertelt
Afgeronde taken
Of de ervaring überhaupt werkt
Tijd per verzoek
Of de wachttijd aanvaardbaar is en wat de machine moet verslaan
Aandeel te beantwoorden binnen de regels
Hoeveel van het werk een echt product zou kunnen dekken
Goedkeur-/bewerk-/afwijspercentage (als een model concepten maakt)
3 van 5 ronden af en merken niets of vinden het niet erg
4 van 10 gebruiken het opnieuw in week 2
3 ronden van begin tot eind af en vragen om door te gaan
De beslissende vraag: zouden mensen een menselijke dienst anders beoordelen dan software? Zo ja, gebruik dan de Wizard of Oz. Zo nee, dan is een concierge eenvoudiger en heb je geen misleiding nodig.
Hoe ziet een Wizard of Oz-test er in de praktijk uit?
Dit voorbeeld is verzonnen om de methode te laten zien. Een team plant een chatbot die vragen van huurders beantwoordt met behulp van huurcontracten. Voordat ze iets bouwen, zetten ze een chatvenster op en een teamlid leest elk huurcontract en typt de antwoorden binnen vijf minuten.
Vijf vastgoedbeheerders proberen het een week uit. Alle vijf ronden hun taken af. Drie vinden de wachttijd prima. Twee vragen om antwoorden die de exacte clausule noemen. De log laat zien dat 40 van de 52 vragen alleen uit het huurcontract te beantwoorden waren.
Het signaal is gehaald. Nog beter: het team leerde dat het noemen van de clausule ertoe doet en dat 12 van de 52 vragen een oordeel van iemand vragen. Beide dingen bepalen wat ze gaan bouwen.
De log geeft ook de omvang van de bouw aan: 40 van 52 is 77% te beantwoorden uit het document, voor ruwweg 3,5 uur operatortijd bij vier minuten per antwoord. Daarna test een spike of een model voor die 40 vragen de juiste clausule kan noemen.
Wat zijn de meest gemaakte fouten bij Wizard of Oz-testen?
Beloven wat je niet kunt. De operator is gebonden aan wat het echte product uiteindelijk zou kunnen.
Geen regels opschrijven. Zonder regels wordt je operator een heel slimme mens.
Privacy vergeten. Een mens leest klantgegevens, dus ga er zorgvuldig mee om.
Het mensen nooit vertellen. Vertel hoe het werkte als de test voorbij is.
De reactietijd weglaten. De vertraging is onderdeel van de ervaring.
Is een Wizard of Oz-test ethisch?
Dat kan, als je de misleiding beperkt. NN/g pleit voor uitleg achteraf. Kromatic voegt regels toe die het waard zijn om over te nemen:
Geen advies met grote gevolgen via de wizard: niets medisch, juridisch of financieels, tenzij een gekwalificeerd persoon het doet.
Verzamel alleen wat het opgeleverde product zou kunnen verzamelen, en vermeld in je privacyverklaring dat je team verzoeken kan inzien.
Betaal terug aan iedereen die betaald heeft voor een functie die niet is gebouwd.
Geef iedereen uitleg achteraf en kom elke belofte na die de wizard heeft gedaan.
In de EU verwerkt iemand die klantberichten leest persoonsgegevens, dus bepaal eerst je rechtsgrond.
Zo voer je het uit in Specky
Klik op de Assumptions-pagina op de notitie en kies Pick a test, daarna Wizard of Oz. Specky vult de stappen, het slaagsignaal en een planning van twee weken in.
Klik op Test with a page. Specky bouwt een pagina om klanten uit te nodigen en verzamelt de reacties.
De front-end en de mens erachter zijn jouw deel. Specky speelt niet de wizard voor je.
Klik op Start running. Plak je operatorlog in de test en leg het resultaat vast.
Een geslaagde test staat op het bord als Supported, omdat gebruik door klanten gedrag is.
Wat doe je met elk resultaat?
Supported: de ervaring werkt. Zoek nu uit of een machine het zou kunnen met een technische spike.
Unclear: mensen rondden het af, maar het werk van de operator was te zwaar of te slim. Scherp de regels aan en draai de test opnieuw.
Contradicted: mensen rondden het niet af, of de ervaring was niet goed. Automatiseer niets wat met de hand niet werkt. Elke gok die op deze notitie rust, staat nu als Contradicted.
Veelgestelde vragen
Wat is een Wizard of Oz-test?
Een Wizard of Oz-test toont iets wat op een werkend product lijkt, terwijl een mens in het geheim het werk doet. Zo kun je de ervaring testen voordat je de moeilijke technologie erachter bouwt. Teams gebruiken hem het meest voor chatbots, spraakinterfaces en AI-features.
Is een Wizard of Oz-test misleidend?
Dat kan, dus wees voorzichtig. Vermijd hem waar een fout antwoord iemand kan schaden, bescherm alle data die je operator leest en vertel deelnemers hoe het werkte als de test voorbij is. De Nielsen Norman Group raadt uitleg achteraf aan, en wie betaald heeft voor een functie die niet bestaat, hoort zijn geld terug te krijgen.
Wat is het verschil tussen Wizard of Oz en concierge-testen?
Bij Wizard of Oz denken klanten dat ze software gebruiken. Bij concierge-testen weten klanten dat een mens het werk doet. Kies Wizard of Oz wanneer mensen een menselijke dienst anders zouden beoordelen dan een geautomatiseerde; anders is een concierge eenvoudiger en voorkomt het misleiding.
Wie heeft de Wizard of Oz-methode bedacht?
De Nielsen Norman Group dateert het eerste gedocumenteerde gebruik op 1973, toen Don Norman en Allen Munro een reisassistent op een luchthaven simuleerden. Jeff Kelley gaf de methode haar naam in zijn proefschrift uit 1983 aan Johns Hopkins en publiceerde haar in 1984.
Hoeveel mensen heb je nodig voor een Wizard of Oz-test?
Vijf klanten is een praktische start, omdat bij elke klant een operator aan de knoppen zit. Dat is genoeg om te zien of de ervaring werkt. Om gedrag zoals herhaald gebruik of betalen te meten, stelt Kromatic 10 tot 30 gebruikers voor over 1 tot 3 weken; reken de operatoruren door voordat je werft.
GDPR-aligned. EU workspace data is stored in Frankfurt, Germany. GDPR and EU data Built in Vienna, Austria. A product of influence solutions fm GmbH (FN 675374y). Imprint 14-day trial. Card required, and nothing is charged until day 14. 30-day refund after subscribing. See pricing