Un test du magicien d’Oz (Wizard of Oz) est une expérience produit où les clients utilisent ce qui ressemble à un produit fini et automatisé, alors qu’une personne fait discrètement le travail en coulisses. Il montre si l’expérience fonctionne, et ce que la machine devrait faire, avant que vous ne consacriez des mois à la partie difficile. Vous trouverez ci-dessous un modèle gratuit de test du magicien d’Oz, un guide de l’opérateur et les règles d’éthique.
L’essentiel
La méthode date de 1973 ; Jeff Kelley lui a donné son nom en 1983 (NN/g, 2024).
Strategyzer note le magicien d’Oz 2 sur 5 pour le coût et 5 sur 5 pour la solidité des preuves (Strategyzer poster).
Il teste l’expérience, pas la technologie : un test réussi montre que les gens veulent ce que la machine ferait, pas qu’une machine en soit capable.
Pour les produits d’IA, consignez la fréquence à laquelle l’humain corrige le modèle. Kromatic interprète un taux d’approbation proche de 90 % comme le signe qu’un modèle du commerce peut suffire, et proche de 30 % comme le signe que c’est l’humain qui fait le travail (Kromatic).
Il comporte une part de tromperie : évitez les conseils à fort enjeu, protégez les données, informez tout le monde à la fin.
Qu’est-ce qu’un test du magicien d’Oz ?
Dans un test du magicien d’Oz, le client voit une interface qui fonctionne : une fenêtre de chat, une application, un champ de recherche. Derrière, une personne (le « magicien » ou opérateur) lit chaque demande et produit la réponse à la main. Le NN/g le décrit comme une interface qui semble autonome mais qui est entièrement ou partiellement pilotée par un humain. Dans les études modérées, un animateur conduit la séance pendant que le magicien reste hors de vue.
Les startups parlent aussi de MVP du magicien d’Oz. Parmi les 44 types d’expériences du livre Testing Business Ideas de David J. Bland et Alex Osterwalder (Strategyzer), c’est une expérience de validation du groupe « simulation ».
Du récit de L. Frank Baum, où le magicien n’est qu’un homme ordinaire caché derrière un rideau. L’historique de la recherche :
1973 : Don Norman et Allen Munro ont utilisé la méthode pour tester un assistant de voyage automatisé dans un aéroport, premier usage documenté selon le NN/g.
1983 : Gould, Conti et Hovanyecz ont publié « Composing letters with a simulated listening typewriter » dans Communications of the ACM. La reconnaissance vocale n’était pas assez performante, ils ont donc simulé des reconnaisseurs dotés d’un vocabulaire de 1 000 mots, de 5 000 mots et d’un vocabulaire illimité (CACM, 1983). Une réplication de 1990 note que leur opérateur tapait la dictée sur un clavier QWERTY (Newell et al., 1990).
1983-1984 : Jeff Kelley a baptisé la méthode dans sa thèse à Johns Hopkins sur les interfaces en langage naturel, puis a publié en 1984 sa méthode de conception itérative pour les systèmes de bureautique en langage naturel dans ACM Transactions on Information Systems (Kelley, 1984).
Quels sont des exemples de tests du magicien d’Oz ?
Zappos. En 1999, Nick Swinmurn a photographié des chaussures dans un magasin de Sunnyvale, les a vendues via un site web et n’a acheté chaque paire au prix fort qu’une fois la commande reçue (Fortune, 2012). Les clients voyaient une boutique en ligne, pas un homme avec un appareil photo.
Assistants IA et chatbots. Kromatic note que la plupart des tests actuels sont hybrides : un modèle de langage rédige chaque réponse et un humain l’approuve, la modifie ou la réécrit. Le test montre alors si l’expérience fonctionne et dans quelle mesure l’humain corrige.
Quand utiliser un test du magicien d’Oz, et quand l’éviter ?
Utilisez-le quand votre produit promet quelque chose de difficile à automatiser, comme une IA qui comprend vraiment une demande, et que vous devez savoir si l’expérience fonctionne avant de consacrer des mois à la partie difficile. Le NN/g cite les chatbots, les recommandations et les recherches en temps réel comme cas typiques.
Ne l’utilisez pas quand une mauvaise réponse pourrait faire du tort à quelqu’un, par exemple en matière de santé, de droit ou de sécurité, sauf si un expert fait le travail. Si les clients peuvent savoir qu’une personne les aide, un MVP concierge est plus simple et plus honnête. Et si une maquette statique peut répondre à votre question, le NN/g conseille d’utiliser celle-ci à la place.
Quel risque un test du magicien d’Oz vérifie-t-il, et quelle est la force des preuves ?
Il teste la faisabilité du point de vue du client : si la machine pouvait le faire, l’expérience fonctionnerait-elle, et que devrait-elle faire ? La preuve est un comportement, puisque de vrais clients l’utilisent. Il dit peu de choses sur la capacité réelle d’un logiciel à faire le travail. Voir notre guide pour choisir une expérience produit.
Strategyzer lui donne 2/5 pour le coût, 3/5 pour le temps de mise en place, 3/5 pour la durée d’exécution et 5/5 pour la solidité des preuves. Le vrai coût, c’est le temps de l’opérateur.
Modèle de test du magicien d’Oz (à copier et utiliser)
Ouvrez l’image en taille réelle, ou copiez la version texte ci-dessous.
Qui recruter et combien
Cinq clients ayant une vraie tâche à accomplir. Gardez le groupe petit, car chacun demande une personne aux commandes. Ne promettez rien que vous ne pourriez pas tenir à la main.
Plan pas à pas
Écrivez ce que le client verra et ce que la personne fera.
Fixez votre signal de réussite et l’attente maximale acceptable.
Construisez une interface simple.
Choisissez un opérateur et notez ses règles.
Faites tourner le test un nombre d’heures défini par jour, et soyez clair sur ces horaires.
Consignez chaque demande, la réponse de l’opérateur et le temps écoulé.
Expliquez aux clients, à la fin du test, comment cela fonctionnait.
Guide de l’opérateur
Répondez dans un délai de [X] minutes.
Si vous ne pouvez pas le faire, dites : « Je ne peux pas encore faire cela. »
Ne faites rien que le vrai produit ne pourrait jamais faire.
Consignez chaque demande, y compris celles auxquelles vous n’avez pas pu répondre.
Questions à poser ensuite
« Qu’attendiez-vous qu’il se passe quand vous avez demandé cela ? »
« Où avez-vous été surpris ? »
« Quelque chose vous a-t-il paru étrange ? »
« Si cela fonctionnait ainsi tous les jours, à quoi vous servirait-il ? »
Après avoir expliqué comment cela fonctionnait : « Est-ce que cela change votre avis ? »
Ce qu’il faut mesurer
Tâches accomplies. Temps par demande. Part des demandes auxquelles l’opérateur a pu répondre dans le respect des règles. Nombre de clients qui l’ont remarqué, ou que cela a gênés.
Signal de réussite à fixer avant de commencer
Point de départ de Specky : au moins 3 personnes sur 5 accomplissent la tâche et ne remarquent rien, ou n’y voient pas d’inconvénient. C’est un point de départ, pas une référence. Ajoutez votre propre limite sur le temps d’opérateur par tâche.
Journal des résultats
Client
Demande
Temps de l’opérateur
Réponse conforme aux règles ?
Tâche accomplie ?
Remarqué ou gêné ?
Commentaires
Comment préparer l’opérateur ?
L’opérateur détermine si vos résultats ont un sens. Les étapes de mise en place du NN/g et les conseils de Kromatic aux opérateurs se résument à cinq habitudes :
Choisissez une méthode de réponse.Fermée (choisir parmi des réponses préparées) est rapide mais rigide ; ouverte (rédiger chaque réponse) est souple mais variable ; hybride mélange les deux.
Écrivez les règles et demandez à un ingénieur quelles réponses sont réalisables.
Construisez une console que le client ne voit jamais : demande, brouillon, envoi, journal.
Faites un pilote avec un collègue pour trouver les réponses que vous aviez oubliées.
Contrôlez l’opérateur. Si un modèle rédige, Kromatic suggère des doubles vérifications à l’aveugle sur environ 10 % des réponses, car les opérateurs finissent par valider sans regarder.
De combien de participants avez-vous besoin pour un test du magicien d’Oz ?
Le modèle de Specky commence avec cinq clients, assez pour voir si l’expérience fonctionne et pour recueillir les demandes que vos règles n’avaient pas prévues. Pour une lecture plus nette d’un comportement comme le retour ou le paiement, Kromatic suggère de 10 à 30 utilisateurs sur 1 à 3 semaines, pour environ 40 à 400 $.
Faites d’abord le calcul du temps d’opérateur : cinq clients, 10 demandes chacun, 5 minutes par réponse, cela fait environ 4 heures. Trente clients, 25 heures. N’ouvrez le produit que lorsque quelqu’un peut l’assurer.
Que faut-il mesurer dans un test du magicien d’Oz ?
Les mesures du modèle disent si le test est réussi. Pour les produits d’IA, ajoutez les données de correction :
Mesure
Ce qu’elle vous apprend
Tâches accomplies
Si l’expérience fonctionne tout court
Temps par demande
Si l’attente est acceptable et ce que la machine doit battre
Part des demandes traitables dans les règles
Quelle part du travail un vrai produit pourrait couvrir
Taux d’approbation / de modification / de rejet (si un modèle rédige)
À quel point un modèle du commerce est déjà proche
L’expérience fonctionne-t-elle si une machine pouvait le faire ?
Reviennent-ils spontanément vers une seule tranche ?
La chaîne d’outils tient-elle de bout en bout ?
Strategyzer coût / mise en place / exécution / preuves (sur 5)
1 / 2 / 3 / 5
2 / 3 / 3 / 5
4 / 3 / 4 / 5
3 / 3 / 4 / 5
Signal de réussite Specky
3 sur 5 reviennent ou paient
3 sur 5 accomplissent la tâche et ne remarquent rien ou n’y voient pas d’inconvénient
4 sur 10 le réutilisent en semaine 2
3 vont au bout et demandent à continuer
La question décisive : les gens jugeraient-ils un service humain différemment d’un logiciel ? Si oui, utilisez le magicien d’Oz. Sinon, un concierge est plus simple et n’exige aucune tromperie.
À quoi ressemble un test du magicien d’Oz en pratique ?
Cet exemple est inventé pour illustrer la méthode. Une équipe prévoit un chatbot qui répond aux questions de locataires à partir de contrats de bail. Avant de construire quoi que ce soit, elle met en place une fenêtre de chat, et un membre de l’équipe lit chaque bail et tape les réponses en moins de cinq minutes.
Cinq gestionnaires immobiliers l’essaient pendant une semaine. Les cinq accomplissent leurs tâches. Trois trouvent l’attente acceptable. Deux demandent que les réponses citent la clause exacte. Le journal montre que 40 questions sur 52 pouvaient être traitées à partir du seul bail.
Le signal est atteint. Mieux encore, l’équipe a appris que citer la clause compte, et que 12 questions sur 52 demandent un jugement humain. Ces deux enseignements orientent ce qu’elle construit.
Le journal permet aussi de dimensionner le développement : 40 sur 52, soit 77 %, sont traitables à partir du document, pour environ 3,5 heures de temps d’opérateur à raison de quatre minutes par réponse. Ensuite, un spike teste si un modèle sait citer la bonne clause pour ces 40 questions.
Quelles sont les erreurs les plus courantes dans un test du magicien d’Oz ?
Promettre ce que vous ne pouvez pas faire. L’opérateur est limité à ce que le vrai produit pourrait un jour faire.
Ne pas écrire de règles. Sans elles, votre opérateur devient un humain très astucieux.
Oublier la confidentialité. Une personne lit des données clients, traitez-les donc avec soin.
Ne jamais le dire aux gens. Expliquez comment cela fonctionnait une fois le test terminé.
Omettre le temps de réponse. Le délai fait partie de l’expérience.
Un test du magicien d’Oz est-il éthique ?
Il peut l’être si vous limitez la tromperie. Le NN/g demande un débriefing à la fin. Kromatic ajoute des règles qui valent la peine d’être adoptées :
Aucun conseil à fort enjeu par le magicien : rien de médical, juridique ou financier, sauf si une personne qualifiée s’en charge.
Ne collectez que ce que le produit livré pourrait collecter, et indiquez dans votre politique de confidentialité que votre équipe peut relire les demandes.
Remboursez toute personne qui a payé pour une fonctionnalité qui n’a pas été construite.
Informez tout le monde et tenez toute promesse faite par le magicien.
Dans l’UE, une personne qui lit des messages de clients traite des données personnelles ; déterminez donc d’abord votre base légale.
Comment le mener dans Specky
Sur la page Assumptions, cliquez sur la note et choisissez Pick a test, puis Wizard of Oz. Specky renseigne les étapes, le signal de réussite et un calendrier de deux semaines.
Cliquez sur Test with a page. Specky crée une page pour inviter des clients et recueille les réponses.
L’interface et la personne qui œuvre derrière sont votre part. Specky ne joue pas le magicien à votre place.
Cliquez sur Start running. Collez votre journal d’opérateur dans le test et enregistrez le résultat.
Un test réussi apparaît sur le tableau comme Supported, car l’usage par des clients est un comportement.
Que faire de chaque résultat ?
Supported : l’expérience fonctionne. Cherchez maintenant si une machine pourrait le faire, avec un spike technique.
Unclear : les gens sont allés au bout, mais le travail de l’opérateur était trop lourd ou trop ingénieux. Resserrez les règles et relancez le test.
Contradicted : les gens ne sont pas allés au bout, ou l’expérience n’était pas bonne. N’automatisez pas ce qui ne marche pas à la main. Tout pari reposant sur cette note apparaît désormais comme Contradicted.
Questions fréquentes
Qu’est-ce qu’un test du magicien d’Oz ?
Un test du magicien d’Oz présente ce qui ressemble à un produit fonctionnel pendant qu’une personne fait secrètement le travail. Il permet de tester l’expérience avant de construire la technologie difficile qui la sous-tend. Les équipes l’utilisent surtout pour les chatbots, les interfaces vocales et les fonctionnalités d’IA.
Un test du magicien d’Oz est-il trompeur ?
Il peut l’être, soyez donc prudent. Évitez-le quand une mauvaise réponse pourrait nuire à quelqu’un, protégez les données lues par votre opérateur et expliquez aux participants comment cela fonctionnait une fois le test terminé. Le Nielsen Norman Group recommande un débriefing, et toute personne ayant payé pour une fonctionnalité inexistante devrait être remboursée.
Quelle est la différence entre le magicien d’Oz et le test concierge ?
Dans un test du magicien d’Oz, les clients pensent utiliser un logiciel. Dans un test concierge, ils savent qu’une personne fait le travail. Choisissez le magicien d’Oz si les gens jugeraient un service humain différemment d’un service automatisé ; sinon, un concierge est plus simple et évite la tromperie.
Qui a inventé la méthode du magicien d’Oz ?
Le Nielsen Norman Group situe le premier usage documenté en 1973, lorsque Don Norman et Allen Munro ont simulé un assistant de voyage d’aéroport. Jeff Kelley a donné son nom à la méthode dans sa thèse de 1983 à Johns Hopkins et l’a publiée en 1984.
De combien de personnes avez-vous besoin pour un test du magicien d’Oz ?
Cinq clients, c’est un bon début, car chacun demande un opérateur aux commandes. C’est assez pour voir si l’expérience fonctionne. Pour mesurer un comportement comme l’usage répété ou le paiement, Kromatic suggère de 10 à 30 utilisateurs sur 1 à 3 semaines ; prévoyez les heures d’opérateur avant de recruter.
GDPR-aligned. EU workspace data is stored in Frankfurt, Germany. GDPR and EU data Built in Vienna, Austria. A product of influence solutions fm GmbH (FN 675374y). Imprint 14-day trial. Card required, and nothing is charged until day 14. 30-day refund after subscribing. See pricing