Un test del Mago de Oz (Wizard of Oz) es un experimento de producto en el que los clientes usan lo que parece un producto terminado y automatizado mientras una persona hace el trabajo en silencio por detrás. Muestra si la experiencia funciona, y qué tendría que hacer la máquina, antes de que gastes meses en la parte difícil. A continuación encontrarás una plantilla gratuita de test del Mago de Oz, una guía del operador y las reglas éticas.
Ideas clave
El método se remonta a 1973; Jeff Kelley le puso nombre en 1983 (NN/g, 2024).
Strategyzer puntúa el Mago de Oz con 2 sobre 5 en coste y 5 sobre 5 en solidez de la evidencia (Strategyzer poster).
Prueba la experiencia, no la tecnología: superarlo indica que la gente quiere lo que haría la máquina, no que una máquina pueda hacerlo.
En productos de IA, registra con qué frecuencia el humano corrige al modelo. Kromatic interpreta una tasa de aprobación cercana al 90 % como señal de que quizá baste un modelo estándar, y cercana al 30 % como señal de que el humano está haciendo el trabajo (Kromatic).
Implica engaño: evita los consejos de alto riesgo, protege los datos y explícaselo a todos al final.
¿Qué es un test del Mago de Oz?
En un test del Mago de Oz, el cliente ve una interfaz que funciona: una ventana de chat, una app, un cuadro de búsqueda. Detrás, una persona (el «mago» u operador) lee cada petición y produce la respuesta a mano. NN/g lo describe como una interfaz que parece autónoma pero está controlada total o parcialmente por un humano. En los estudios moderados, un facilitador dirige la sesión mientras el mago permanece fuera de la vista.
Las startups también lo llaman MVP del Mago de Oz. De los 44 tipos de experimentos de Testing Business Ideas, de David J. Bland y Alex Osterwalder (Strategyzer), es un experimento de validación del grupo de «simulación».
¿De dónde viene el nombre Mago de Oz?
Del cuento de L. Frank Baum, en el que el mago es un hombre corriente escondido tras una cortina. La historia en la investigación:
1973: Don Norman y Allen Munro usaron el método para probar un asistente de viajes automatizado en un aeropuerto, el primer uso documentado según NN/g.
1983: Gould, Conti y Hovanyecz publicaron «Composing letters with a simulated listening typewriter» en Communications of the ACM. El reconocimiento de voz no era lo bastante bueno, así que simularon reconocedores con vocabularios de 1.000 palabras, 5.000 palabras e ilimitado (CACM, 1983). Una réplica de 1990 señala que su operador tecleaba el dictado en un teclado QWERTY (Newell et al., 1990).
1983-1984: Jeff Kelley bautizó el método en su tesis doctoral de Johns Hopkins sobre interfaces de lenguaje natural, y publicó en 1984 su método de diseño iterativo para sistemas de oficina en lenguaje natural en ACM Transactions on Information Systems (Kelley, 1984).
¿Qué ejemplos hay de tests del Mago de Oz?
Zappos. En 1999, Nick Swinmurn fotografió zapatos en una tienda de Sunnyvale, los vendió a través de un sitio web y compraba cada par a precio completo solo después de recibir un pedido (Fortune, 2012). Los compradores veían una tienda online, no a un hombre con una cámara.
Asistentes de IA y chatbots. Kromatic señala que la mayoría de las pruebas actuales son híbridas: un modelo de lenguaje redacta cada respuesta y un humano la aprueba, la edita o la reescribe. Entonces el test muestra si la experiencia funciona y cuánto está corrigiendo el humano.
¿Cuándo usar un test del Mago de Oz y cuándo no?
Úsalo cuando tu producto prometa algo difícil de automatizar, como una IA que de verdad entienda una petición, y necesites saber si la experiencia funciona antes de gastar meses en la parte difícil. NN/g cita los chatbots, las recomendaciones y las consultas en tiempo real como casos típicos.
No lo uses cuando una respuesta equivocada pueda perjudicar a alguien, como en temas de salud, legales o de seguridad, salvo que lo haga un experto. Si los clientes pueden saber que los ayuda una persona, un MVP de conserje es más sencillo y más honesto. Y si una maqueta estática puede responder a tu pregunta, NN/g aconseja usar esa en su lugar.
¿Qué riesgo comprueba un test del Mago de Oz y qué solidez tiene la evidencia?
Prueba la viabilidad desde el punto de vista del cliente: si la máquina pudiera hacerlo, ¿funcionaría la experiencia y qué tendría que hacer? La evidencia es comportamiento, porque lo usan clientes reales. Dice poco sobre si un software podría hacer realmente el trabajo. Consulta nuestra guía para elegir un experimento de producto.
Strategyzer lo puntúa con 2/5 en coste, 3/5 en tiempo de preparación, 3/5 en tiempo de ejecución y 5/5 en solidez de la evidencia. El coste real es el tiempo del operador.
Plantilla de test del Mago de Oz (copia y usa)
Abre la imagen a tamaño completo o copia la versión en texto de abajo.
A quién reclutar y cuántos
Cinco clientes con una tarea real que resolver. Mantén el grupo pequeño, porque cada uno requiere a una persona a los mandos. No prometas nada que no puedas cumplir a mano.
Plan paso a paso
Escribe lo que verá el cliente y lo que hará la persona.
Fija tu señal de éxito y la espera máxima aceptable.
Construye una interfaz sencilla.
Elige a un operador y anota sus reglas.
Hazlo funcionar un número fijo de horas al día y sé claro con ese horario.
Registra cada petición, la respuesta del operador y el tiempo que llevó.
Cuéntales a los clientes cómo funcionó al terminar el test.
Guía del operador
Responde en menos de [X] minutos.
Si no puedes hacerlo, di: «Eso todavía no puedo hacerlo».
No hagas nada que el producto real nunca podría hacer.
Registra todas las peticiones, incluidas las que no pudiste responder.
Preguntas para después
«¿Qué esperabas que pasara cuando pediste eso?»
«¿Dónde te sorprendió?»
«¿Hubo algo que te sonara raro?»
«Si funcionara así todos los días, ¿para qué lo usarías?»
Después de explicar cómo funcionó: «¿Cambia eso lo que piensas?»
Qué medir
Tareas completadas. Tiempo por petición. Porcentaje de peticiones que el operador pudo responder dentro de las reglas. Cuántos clientes lo notaron, o les importó.
Señal de éxito que debes fijar antes de empezar
Punto de partida de Specky: al menos 3 de 5 completan la tarea y no lo notan o no les importa. Es un punto de partida, no una referencia. Añade tu propio límite de tiempo de operador por tarea.
Registro de resultados
Cliente
Petición
Tiempo del operador
¿Respondida dentro de las reglas?
¿Tarea completada?
¿Lo notó o le importó?
Comentarios
¿Cómo preparas al operador?
El operador decide si tus resultados significan algo. Los pasos de preparación de NN/g y los consejos de Kromatic para operadores se resumen en cinco hábitos:
Elige un método de respuesta.Cerrado (elegir entre respuestas preparadas) es rápido pero rígido; abierto (escribir cada respuesta) es flexible pero variable; híbrido mezcla ambos.
Escribe las reglas y pregunta a un ingeniero qué respuestas son factibles.
Construye una consola que el cliente nunca vea: petición, borrador, envío, registro.
Haz un piloto con un colega para encontrar las respuestas que olvidaste.
Controla al operador. Si un modelo redacta, Kromatic sugiere comprobaciones ciegas en alrededor del 10 % de las respuestas, porque los operadores empiezan a aprobar sin mirar.
¿Cuántos participantes necesitas para un test del Mago de Oz?
La plantilla de Specky empieza con cinco clientes, suficientes para ver si la experiencia funciona y para recoger las peticiones que tus reglas no cubrían. Para una lectura más clara de comportamientos como volver o pagar, Kromatic sugiere de 10 a 30 usuarios durante 1 a 3 semanas, por unos 40 a 400 dólares.
Haz primero las cuentas del operador: cinco clientes, 10 peticiones cada uno, 5 minutos por respuesta son unas 4 horas. Treinta clientes son 25 horas. Abre el producto solo cuando alguien pueda atenderlo.
¿Qué deberías medir en un test del Mago de Oz?
Las métricas de la plantilla dicen si se superó. En productos de IA, añade los datos de correcciones:
Métrica
Qué te dice
Tareas completadas
Si la experiencia funciona siquiera
Tiempo por petición
Si la espera es aceptable y qué tiene que superar la máquina
Porcentaje respondible dentro de las reglas
Cuánto del trabajo podría cubrir un producto real
Tasa de aprobación / edición / rechazo (si un modelo redacta)
3 de 5 completan la tarea y no lo notan o no les importa
4 de 10 lo usan de nuevo en la semana 2
3 llegan hasta el final y piden seguir
La pregunta decisiva: ¿juzgaría la gente un servicio humano de forma distinta a un software? Si es así, usa el Mago de Oz. Si no, un conserje es más sencillo y no necesita engaño.
¿Cómo es un test del Mago de Oz en la práctica?
Este ejemplo es inventado para mostrar el método. Un equipo planea un chatbot que responde a las preguntas de inquilinos usando contratos de alquiler. Antes de construir nada, montan una ventana de chat, y un miembro del equipo lee cada contrato y escribe las respuestas en cinco minutos.
Cinco administradores de propiedades lo prueban durante una semana. Los cinco completan sus tareas. Tres dicen que la espera está bien. Dos piden que las respuestas citen la cláusula exacta. El registro muestra que 40 de 52 preguntas se podían responder solo con el contrato.
La señal se supera. Mejor aún, el equipo aprendió que citar la cláusula importa y que 12 de cada 52 preguntas requieren que alguien use su criterio. Ambas cosas dan forma a lo que construyen.
El registro también dimensiona el desarrollo: 40 de 52 es el 77 % respondible a partir del documento, con unas 3,5 horas de tiempo de operador a cuatro minutos por respuesta. Después, un spike prueba si un modelo puede citar la cláusula correcta para esas 40 preguntas.
¿Cuáles son los errores más comunes en un test del Mago de Oz?
Prometer lo que no puedes hacer. El operador está limitado por lo que el producto real podría llegar a hacer.
No escribir reglas. Sin ellas, tu operador se convierte en un humano muy listo.
Olvidar la privacidad. Una persona lee datos de clientes, así que trátalos con cuidado.
No decírselo nunca a la gente. Cuenta cómo funcionó cuando termine el test.
Dejar fuera el tiempo de respuesta. La demora forma parte de la experiencia.
¿Es ético un test del Mago de Oz?
Puede serlo si limitas el engaño. NN/g pide una explicación final. Kromatic añade reglas que conviene adoptar:
Ningún consejo de alto riesgo a través del mago: nada médico, legal ni financiero, salvo que lo haga una persona cualificada.
Recoge solo lo que podría recoger el producto final y menciona en tu aviso de privacidad que tu equipo puede revisar las peticiones.
Reembolsa a quien haya pagado por una capacidad que no se construyó.
Explícaselo a todos y cumple cualquier promesa que haya hecho el mago.
En la UE, una persona que lee mensajes de clientes está tratando datos personales, así que define antes tu base jurídica.
Cómo hacerlo en Specky
En la página Assumptions, haz clic en la nota y elige Pick a test, luego Wizard of Oz. Specky rellena los pasos, la señal de éxito y un calendario de dos semanas.
Haz clic en Test with a page. Specky crea una página para invitar a clientes y recoge las respuestas.
La interfaz y la persona que está detrás son cosa tuya. Specky no hace de mago por ti.
Haz clic en Start running. Pega tu registro de operador en el test y anota el resultado.
Un test superado aparece en el tablero como Supported, porque el uso por parte de clientes es comportamiento.
¿Qué hacer con cada resultado?
Supported: la experiencia funciona. Ahora averigua si una máquina podría hacerlo con un spike técnico.
Unclear: la gente terminó, pero el trabajo del operador fue demasiado pesado o demasiado ingenioso. Ajusta las reglas y repite el test.
Contradicted: la gente no terminó, o la experiencia no fue buena. No automatices algo que no funciona a mano. Cualquier apuesta que dependa de esta nota aparece ahora como Contradicted.
Preguntas frecuentes
¿Qué es un test del Mago de Oz?
Un test del Mago de Oz presenta lo que parece un producto que funciona mientras una persona hace el trabajo en secreto. Te permite probar la experiencia antes de construir la tecnología difícil que hay detrás. Los equipos lo usan sobre todo para chatbots, interfaces de voz y funciones de IA.
¿Es engañoso un test del Mago de Oz?
Puede serlo, así que ten cuidado. Evítalo donde una respuesta equivocada pueda perjudicar a alguien, protege los datos que lea tu operador y cuéntales a los participantes cómo funcionó cuando termine el test. Nielsen Norman Group recomienda una explicación final, y quien haya pagado por una función que no existe debería recibir un reembolso.
¿Qué diferencia hay entre el Mago de Oz y el test de conserje?
En el Mago de Oz, los clientes creen que usan software. En el test de conserje, saben que una persona hace el trabajo. Elige el Mago de Oz cuando la gente juzgaría un servicio humano de forma distinta a uno automatizado; si no, un conserje es más sencillo y evita el engaño.
¿Quién inventó el método del Mago de Oz?
Nielsen Norman Group sitúa el primer uso documentado en 1973, cuando Don Norman y Allen Munro simularon un asistente de viajes de aeropuerto. Jeff Kelley le dio nombre en su tesis de 1983 en Johns Hopkins y publicó el método en 1984.
¿Cuánta gente necesitas para un test del Mago de Oz?
Cinco clientes es un comienzo práctico, porque cada uno necesita un operador a los mandos. Es suficiente para ver si la experiencia funciona. Para medir comportamientos como el uso repetido o el pago, Kromatic sugiere de 10 a 30 usuarios durante 1 a 3 semanas; calcula las horas de operador antes de reclutar.
GDPR-aligned. EU workspace data is stored in Frankfurt, Germany. GDPR and EU data Built in Vienna, Austria. A product of influence solutions fm GmbH (FN 675374y). Imprint 14-day trial. Card required, and nothing is charged until day 14. 30-day refund after subscribing. See pricing