9. November 2026Aktualisiert am Fathy Shalaby12 Min. Lesezeit
Wizard-of-Oz-Test: Vorlage, Operator-Leitfaden und echte Beispiele
Bevor du sechs Monate in den schwierigen Teil steckst, setz einen Menschen hinter den Vorhang und prüf, ob die Erfahrung funktioniert.
Teilen
Dieser Artikel wurde aus dem Englischen übersetzt. Original lesen
Ein Wizard-of-Oz-Test ist ein Produktexperiment, bei dem Kunden ein scheinbar fertiges, automatisiertes Produkt nutzen, während im Hintergrund ein Mensch still die Arbeit erledigt. Er zeigt, ob die Erfahrung funktioniert und was die Maschine leisten müsste, bevor du Monate in den schwierigen Teil investierst. Unten findest du eine kostenlose Wizard-of-Oz-Testvorlage, einen Operator-Leitfaden und die Ethikregeln.
Das Wichtigste in Kürze
Die Methode stammt aus dem Jahr 1973; Jeff Kelley prägte den Namen 1983 (NN/g, 2024).
Strategyzer bewertet den Wizard of Oz bei den Kosten mit 2 von 5 und bei der Aussagekraft der Belege mit 5 von 5 (Strategyzer poster).
Er testet die Erfahrung, nicht die Technik: Ein bestandener Test sagt, dass Menschen wollen, was die Maschine tun würde – nicht, dass eine Maschine es kann.
Bei KI-Produkten solltest du protokollieren, wie oft der Mensch das Modell überstimmt. Kromatic deutet eine Freigaberate von rund 90 % als Zeichen, dass ein Standardmodell reichen könnte, und rund 30 % als Zeichen, dass der Mensch die Arbeit macht (Kromatic).
Er arbeitet mit Täuschung: Gib keine folgenschweren Ratschläge, schütze Daten und kläre alle am Ende auf.
Was ist ein Wizard-of-Oz-Test?
Bei einem Wizard-of-Oz-Test sieht der Kunde eine funktionierende Oberfläche: ein Chatfenster, eine App, ein Suchfeld. Dahinter liest ein Mensch (der „Wizard“ oder Operator) jede Anfrage und erstellt die Antwort von Hand. NN/g beschreibt ihn als Oberfläche, die autonom wirkt, aber ganz oder teilweise von einem Menschen gesteuert wird. In moderierten Studien leitet ein Moderator die Sitzung, während der Wizard unsichtbar bleibt.
Startups nennen ihn auch Wizard-of-Oz-MVP. Von den 44 Experimenttypen in Testing Business Ideas von David J. Bland und Alex Osterwalder (Strategyzer) ist er ein Validierungsexperiment aus der Gruppe „Simulation“.
Aus der Geschichte von L. Frank Baum, in der der Zauberer ein gewöhnlicher Mann hinter einem Vorhang ist. Die Forschungsgeschichte:
1973: Don Norman und Allen Munro nutzten die Methode, um einen automatisierten Reiseassistenten am Flughafen zu testen – laut NN/g der erste dokumentierte Einsatz.
1983: Gould, Conti und Hovanyecz veröffentlichten „Composing letters with a simulated listening typewriter“ in Communications of the ACM. Die Spracherkennung war nicht gut genug, also simulierten sie Erkenner mit 1.000 Wörtern, 5.000 Wörtern und unbegrenztem Vokabular (CACM, 1983). Eine Replikation von 1990 hält fest, dass ihr Operator das Diktat auf einer QWERTY-Tastatur tippte (Newell et al., 1990).
1983–1984: Jeff Kelley gab der Methode in seiner Dissertation an der Johns Hopkins University über Natural-Language-Schnittstellen den Namen und veröffentlichte 1984 seine iterative Designmethode für natürlichsprachliche Büroanwendungen in ACM Transactions on Information Systems (Kelley, 1984).
Welche Wizard-of-Oz-Beispiele gibt es?
Zappos. 1999 fotografierte Nick Swinmurn Schuhe in einem Geschäft in Sunnyvale, verkaufte sie über eine Website und kaufte jedes Paar erst zum vollen Preis, nachdem eine Bestellung eingegangen war (Fortune, 2012). Die Kunden sahen einen Onlineshop, keinen Mann mit Kamera.
KI-Assistenten und Chatbots. Kromatic stellt fest, dass die meisten Tests heute Hybride sind: Ein Sprachmodell entwirft jede Antwort, und ein Mensch gibt sie frei, überarbeitet oder ersetzt sie. Der Test zeigt dann, ob die Erfahrung funktioniert und wie viel der Mensch korrigiert.
Wann solltest du einen Wizard-of-Oz-Test einsetzen und wann nicht?
Setz ihn ein, wenn dein Produkt etwas verspricht, das sich schwer automatisieren lässt, etwa eine KI, die eine Anfrage wirklich versteht, und du wissen musst, ob die Erfahrung funktioniert, bevor du Monate in den schwierigen Teil steckst. NN/g nennt Chatbots, Empfehlungen und Echtzeit-Abfragen als typische Einsatzfälle.
Setz ihn nicht ein, wenn eine falsche Antwort jemandem schaden könnte, etwa bei Gesundheit, Recht oder Sicherheit – es sei denn, ein Experte macht die Arbeit. Wenn Kunden wissen dürfen, dass ein Mensch hilft, ist ein Concierge-MVP einfacher und ehrlicher. Und wenn ein statischer Mockup deine Frage beantworten kann, rät NN/g, stattdessen den zu nutzen.
Welches Risiko prüft ein Wizard-of-Oz-Test, und wie stark sind die Belege?
Er prüft die Machbarkeit aus Sicht des Kunden: Wenn die Maschine das könnte, würde die Erfahrung funktionieren, und was müsste sie leisten? Der Beleg ist Verhalten, weil echte Kunden das Produkt nutzen. Er sagt wenig darüber aus, ob Software die Aufgabe wirklich erledigen könnte. Lies dazu unseren Leitfaden zur Wahl des passenden Produktexperiments.
Strategyzer bewertet ihn mit 2/5 bei den Kosten, 3/5 bei der Vorbereitungszeit, 3/5 bei der Laufzeit und 5/5 bei der Aussagekraft der Belege. Die eigentlichen Kosten sind die Zeit des Operators.
Wizard-of-Oz-Testvorlage (zum Kopieren und Verwenden)
Öffne das Bild in voller Größe oder kopiere die Textversion unten.
Wen du rekrutierst und wie viele
Fünf Kunden mit einer echten Aufgabe. Halt die Gruppe klein, denn für jeden braucht es einen Menschen an den Reglern. Versprich nichts, was du nicht von Hand einlösen könntest.
Schritt-für-Schritt-Plan
Schreib auf, was der Kunde sehen wird und was der Mensch tun wird.
Leg dein Pass-Signal fest und die längste akzeptable Wartezeit.
Bau eine einfache Oberfläche.
Wähle einen Operator und schreib seine Regeln auf.
Lass es eine festgelegte Zahl von Stunden pro Tag laufen und sei bei diesen Zeiten klar.
Protokolliere jede Anfrage, die Antwort des Operators und die benötigte Zeit.
Sag den Kunden am Ende des Tests, wie es funktioniert hat.
Operator-Leitfaden
Antworte innerhalb von [X] Minuten.
Wenn du es nicht kannst, sag: „Das kann ich noch nicht.“
Tu nichts, was das echte Produkt nie könnte.
Protokolliere jede Anfrage, auch die, die du nicht beantworten konntest.
Fragen für danach
„Was hast du erwartet, als du das gefragt hast?“
„Wo hat dich etwas überrascht?“
„Kam dir irgendetwas komisch vor?“
„Wenn es jeden Tag so funktionieren würde, wofür würdest du es nutzen?“
Nachdem du erklärt hast, wie es funktioniert hat: „Ändert das, wie du darüber denkst?“
Was du misst
Erledigte Aufgaben. Zeit pro Anfrage. Anteil der Anfragen, die der Operator innerhalb der Regeln beantworten konnte. Wie viele Kunden etwas gemerkt oder sich daran gestört haben.
Pass-Signal, das du vor dem Start festlegst
Speckys Ausgangspunkt: Mindestens 3 von 5 erledigen die Aufgabe und merken nichts oder stört es nicht. Das ist ein Ausgangspunkt, kein Benchmark. Füge eine eigene Obergrenze für die Operator-Zeit pro Aufgabe hinzu.
Ergebnisprotokoll
Kunde
Anfrage
Operator-Zeit
Innerhalb der Regeln beantwortet?
Aufgabe erledigt?
Bemerkt oder gestört?
Kommentare
Wie bereitest du den Operator vor?
Der Operator entscheidet, ob deine Ergebnisse etwas aussagen. Die Einrichtungsschritte von NN/g und Kromatics Tipps für Operatoren laufen auf fünf Gewohnheiten hinaus:
Wähle eine Antwortmethode.Geschlossen (aus vorbereiteten Antworten wählen) ist schnell, aber starr; offen (jede Antwort schreiben) ist flexibel, aber uneinheitlich; hybrid mischt beides.
Schreib die Regeln auf und frag eine Entwicklerin oder einen Entwickler, welche Antworten machbar sind.
Bau eine Konsole, die der Kunde nie sieht: Anfrage, Entwurf, Senden, Protokoll.
Pilotiere mit einer Kollegin oder einem Kollegen, um die Antworten zu finden, die du vergessen hast.
Kontrolliere den Operator. Wenn ein Modell Entwürfe liefert, empfiehlt Kromatic blinde Gegenkontrollen bei etwa 10 % der Antworten, weil Operatoren anfangen, alles abzunicken.
Wie viele Teilnehmende brauchst du für einen Wizard-of-Oz-Test?
Speckys Vorlage startet mit fünf Kunden – genug, um zu sehen, ob die Erfahrung funktioniert, und um die Anfragen zu sammeln, die deine Regeln nicht abgedeckt haben. Für ein klareres Bild von Verhalten wie Wiederkehr oder Zahlung empfiehlt Kromatic 10 bis 30 Nutzer über 1 bis 3 Wochen, bei etwa 40 bis 400 US-Dollar.
Rechne zuerst den Aufwand des Operators durch: fünf Kunden, je 10 Anfragen, 5 Minuten pro Antwort ergeben grob 4 Stunden. Dreißig Kunden sind 25 Stunden. Öffne das Produkt erst, wenn jemand es besetzen kann.
Was solltest du bei einem Wizard-of-Oz-Test messen?
Die Messgrößen der Vorlage sagen, ob der Test bestanden wurde. Bei KI-Produkten kommen Überstimmungsdaten hinzu:
Messgröße
Was sie dir sagt
Erledigte Aufgaben
Ob die Erfahrung überhaupt funktioniert
Zeit pro Anfrage
Ob die Wartezeit akzeptabel ist und was die Maschine schlagen muss
Anteil, der sich innerhalb der Regeln beantworten lässt
Wie viel der Aufgabe ein echtes Produkt abdecken könnte
Freigabe-/Änderungs-/Ablehnungsquote (wenn ein Modell Entwürfe liefert)
Wie nah ein Standardmodell schon dran ist
Anfragen, die der Operator nicht beantworten konnte
3 von 5 erledigen die Aufgabe und merken nichts oder stört es nicht
4 von 10 nutzen es in Woche 2 erneut
3 schaffen es durchgängig und wollen weitermachen
Die entscheidende Frage: Würden Menschen einen menschlichen Service anders beurteilen als Software? Wenn ja, nimm den Wizard of Oz. Wenn nein, ist ein Concierge einfacher und kommt ohne Täuschung aus.
Wie sieht ein Wizard-of-Oz-Test in der Praxis aus?
Dieses Beispiel ist erfunden, um die Methode zu zeigen. Ein Team plant einen Chatbot, der Fragen von Mietern anhand von Mietverträgen beantwortet. Bevor sie irgendetwas bauen, richten sie ein Chatfenster ein, und ein Teammitglied liest jeden Mietvertrag und tippt die Antworten innerhalb von fünf Minuten.
Fünf Hausverwalter probieren es eine Woche lang aus. Alle fünf erledigen ihre Aufgaben. Drei finden die Wartezeit in Ordnung. Zwei wünschen sich Antworten, die die genaue Klausel zitieren. Das Protokoll zeigt, dass sich 40 von 52 Fragen allein aus dem Mietvertrag beantworten ließen.
Das Signal ist bestanden. Noch besser: Das Team hat gelernt, dass das Zitieren der Klausel wichtig ist und dass 12 von 52 Fragen eine Ermessensentscheidung erfordern. Beides prägt, was sie bauen.
Das Protokoll liefert auch eine Größenordnung für den Bau: 40 von 52 sind 77 % allein aus dem Dokument beantwortbar, bei etwa 3,5 Stunden Operator-Zeit mit vier Minuten pro Antwort. Als Nächstes prüft ein Spike, ob ein Modell für diese 40 Fragen die richtige Klausel zitieren kann.
Was sind die häufigsten Fehler beim Wizard-of-Oz-Test?
Versprechen, was du nicht halten kannst. Der Operator ist an das gebunden, was das echte Produkt irgendwann könnte.
Keine Regeln schreiben. Ohne sie wird dein Operator zu einem sehr klugen Menschen.
Datenschutz vergessen. Ein Mensch liest Kundendaten, also geh sorgfältig damit um.
Es den Leuten nie sagen. Erzähl nach dem Test, wie es funktioniert hat.
Die Antwortzeit weglassen. Die Verzögerung ist Teil der Erfahrung.
Ist ein Wizard-of-Oz-Test ethisch vertretbar?
Das kann er sein, wenn du die Täuschung begrenzt. NN/g fordert eine Aufklärung am Ende. Kromatic ergänzt Regeln, die du übernehmen solltest:
Keine folgenschweren Ratschläge durch den Wizard: nichts Medizinisches, Rechtliches oder Finanzielles, es sei denn, eine qualifizierte Person übernimmt das.
Erhebe nur, was auch das fertige Produkt erheben könnte, und weise in deiner Datenschutzerklärung darauf hin, dass dein Team Anfragen einsehen kann.
Erstatte Geld zurück an alle, die für eine Funktion bezahlt haben, die nicht gebaut wurde.
Kläre alle auf und halte jedes Versprechen, das der Wizard gegeben hat.
In der EU verarbeitest du personenbezogene Daten, wenn ein Mensch Kundennachrichten liest. Kläre also zuerst deine Rechtsgrundlage.
So führst du ihn in Specky durch
Klick auf der Seite „Assumptions“ auf die Notiz und wähle Pick a test, dann Wizard of Oz. Specky füllt die Schritte, das Pass-Signal und einen Zeitplan über zwei Wochen aus.
Klick auf Test with a page. Specky baut eine Seite, über die du Kunden einlädst, und sammelt die Antworten.
Die Oberfläche und der Mensch dahinter sind dein Part. Specky spielt nicht den Wizard für dich.
Klick auf Start running. Füge dein Operator-Protokoll in den Test ein und halte das Ergebnis fest.
Ein bestandener Test erscheint auf dem Board als Supported, weil die Nutzung durch Kunden Verhalten ist.
Was solltest du bei jedem Ergebnis tun?
Supported: Die Erfahrung funktioniert. Finde jetzt mit einem Technical Spike heraus, ob eine Maschine es könnte.
Unclear: Die Leute haben es geschafft, aber die Arbeit des Operators war zu aufwendig oder zu clever. Straffe die Regeln und führ den Test erneut durch.
Contradicted: Die Leute haben es nicht geschafft, oder die Erfahrung war nicht gut. Automatisiere nichts, was von Hand nicht funktioniert. Jede Wette, die auf dieser Notiz beruht, zeigt jetzt Contradicted.
Häufig gestellte Fragen
Was ist ein Wizard-of-Oz-Test?
Ein Wizard-of-Oz-Test zeigt ein scheinbar funktionierendes Produkt, während ein Mensch heimlich die Arbeit macht. So kannst du die Erfahrung testen, bevor du die schwierige Technik dahinter baust. Teams nutzen ihn am häufigsten für Chatbots, Sprachschnittstellen und KI-Features.
Ist ein Wizard-of-Oz-Test eine Täuschung?
Das kann er sein, also sei vorsichtig. Verzichte darauf, wo eine falsche Antwort jemandem schaden könnte, schütze alle Daten, die dein Operator liest, und sag den Teilnehmenden nach dem Test, wie es funktioniert hat. Die Nielsen Norman Group empfiehlt eine Aufklärung, und wer für eine nicht existierende Funktion bezahlt hat, sollte sein Geld zurückbekommen.
Was ist der Unterschied zwischen Wizard of Oz und Concierge-Test?
Beim Wizard of Oz glauben Kunden, sie nutzten Software. Beim Concierge-Test wissen Kunden, dass ein Mensch die Arbeit macht. Wähl den Wizard of Oz, wenn Menschen einen menschlichen Service anders beurteilen würden als einen automatisierten; sonst ist ein Concierge einfacher und kommt ohne Täuschung aus.
Wer hat die Wizard-of-Oz-Methode erfunden?
Die Nielsen Norman Group datiert den ersten dokumentierten Einsatz auf 1973, als Don Norman und Allen Munro einen Reiseassistenten am Flughafen simulierten. Jeff Kelley prägte den Namen in seiner Dissertation von 1983 an der Johns Hopkins University und veröffentlichte die Methode 1984.
Wie viele Leute brauchst du für einen Wizard-of-Oz-Test?
Fünf Kunden sind ein praktischer Start, weil jeder einen Operator an den Reglern braucht. Das reicht, um zu sehen, ob die Erfahrung funktioniert. Um Verhalten wie wiederholte Nutzung oder Zahlung zu messen, empfiehlt Kromatic 10 bis 30 Nutzer über 1 bis 3 Wochen; plane die Operator-Stunden ein, bevor du rekrutierst.
GDPR-aligned. EU workspace data is stored in Frankfurt, Germany. GDPR and EU data Built in Vienna, Austria. A product of influence solutions fm GmbH (FN 675374y). Imprint 14-day trial. Card required, and nothing is charged until day 14. 30-day refund after subscribing. See pricing