Un test del Mago di Oz (Wizard of Oz) è un esperimento di prodotto in cui i clienti usano quello che sembra un prodotto finito e automatizzato, mentre una persona fa in silenzio il lavoro dietro le quinte. Mostra se l'esperienza funziona, e che cosa dovrebbe fare la macchina, prima che tu spenda mesi sulla parte difficile. Qui sotto trovi un template gratuito per il test del Mago di Oz, una guida per l'operatore e le regole etiche.
In sintesi
Il metodo risale al 1973; Jeff Kelley gli diede il nome nel 1983 (NN/g, 2024).
Strategyzer dà al Mago di Oz 2 su 5 per il costo e 5 su 5 per la solidità delle prove (Strategyzer poster).
Testa l'esperienza, non la tecnologia: superarlo significa che le persone vogliono ciò che farebbe la macchina, non che una macchina possa farlo.
Per i prodotti di AI, registra quanto spesso l'umano corregge il modello. Kromatic legge un tasso di approvazione vicino al 90% come segno che può bastare un modello standard, e vicino al 30% come segno che il lavoro lo sta facendo l'umano (Kromatic).
Implica un inganno: evita i consigli ad alto rischio, proteggi i dati e spiega tutto a tutti alla fine.
Che cos'è un test del Mago di Oz?
In un test del Mago di Oz, il cliente vede un'interfaccia funzionante: una finestra di chat, un'app, una casella di ricerca. Dietro, una persona (il «mago» o operatore) legge ogni richiesta e produce la risposta a mano. NN/g lo descrive come un'interfaccia che sembra autonoma ma è controllata in tutto o in parte da un essere umano. Negli studi moderati, un facilitatore conduce la sessione mentre il mago resta fuori vista.
Le startup lo chiamano anche MVP del Mago di Oz. Dei 44 tipi di esperimento di Testing Business Ideas di David J. Bland e Alex Osterwalder (Strategyzer), è un esperimento di validazione del gruppo «simulazione».
Da dove viene il nome Mago di Oz?
Dal racconto di L. Frank Baum, in cui il mago è un uomo qualunque nascosto dietro una tenda. La storia nella ricerca:
1973: Don Norman e Allen Munro usarono il metodo per testare un assistente di viaggio automatizzato in un aeroporto, il primo utilizzo documentato secondo NN/g.
1983: Gould, Conti e Hovanyecz pubblicarono «Composing letters with a simulated listening typewriter» su Communications of the ACM. Il riconoscimento vocale non era abbastanza buono, così simularono dei riconoscitori con vocabolari di 1.000 parole, 5.000 parole e illimitato (CACM, 1983). Una replica del 1990 nota che il loro operatore digitava il dettato su una tastiera QWERTY (Newell et al., 1990).
1983-1984: Jeff Kelley diede il nome al metodo nella sua tesi di dottorato alla Johns Hopkins sulle interfacce in linguaggio naturale e nel 1984 pubblicò il suo metodo di progettazione iterativa per i sistemi d'ufficio in linguaggio naturale su ACM Transactions on Information Systems (Kelley, 1984).
Quali sono alcuni esempi di test del Mago di Oz?
Zappos. Nel 1999 Nick Swinmurn fotografò scarpe in un negozio di Sunnyvale, le vendette tramite un sito web e comprava ogni paio a prezzo pieno solo dopo aver ricevuto un ordine (Fortune, 2012). Gli acquirenti vedevano un negozio online, non un uomo con una macchina fotografica.
Assistenti AI e chatbot. Kromatic osserva che la maggior parte dei test oggi è ibrida: un modello linguistico scrive ogni risposta e un umano la approva, la modifica o la riscrive. Il test mostra allora se l'esperienza funziona e quanto sta correggendo l'umano.
Quando usare un test del Mago di Oz, e quando no?
Usalo quando il tuo prodotto promette qualcosa di difficile da automatizzare, come un'AI che capisce davvero una richiesta, e devi sapere se l'esperienza funziona prima di spendere mesi sulla parte difficile. NN/g indica chatbot, raccomandazioni e ricerche in tempo reale come casi tipici.
Non usarlo quando una risposta sbagliata potrebbe far male a qualcuno, come in ambito sanitario, legale o di sicurezza, a meno che il lavoro non lo faccia un esperto. Se i clienti possono sapere che li aiuta una persona, un MVP concierge è più semplice e più onesto. E se un mockup statico può rispondere alla tua domanda, il consiglio di NN/g è di usare quello.
Quale rischio verifica un test del Mago di Oz, e quanto sono solide le prove?
Verifica la fattibilità dal punto di vista del cliente: se la macchina potesse farlo, l'esperienza funzionerebbe, e che cosa dovrebbe fare? La prova è il comportamento, perché lo usano clienti reali. Dice poco su se un software potrebbe davvero fare il lavoro. Leggi la nostra guida alla scelta di un esperimento di prodotto.
Strategyzer gli dà 2/5 per il costo, 3/5 per il tempo di preparazione, 3/5 per il tempo di esecuzione e 5/5 per la solidità delle prove. Il costo reale è il tempo dell'operatore.
Template del test del Mago di Oz (copia e usa)
Apri l'immagine a dimensione piena, oppure copia la versione testuale qui sotto.
Chi reclutare e quanti
Cinque clienti con un compito reale da svolgere. Tieni il gruppo piccolo, perché ognuno richiede una persona ai comandi. Non promettere nulla che non potresti mantenere a mano.
Piano passo per passo
Scrivi cosa vedrà il cliente e cosa farà la persona.
Fissa il tuo segnale di riuscita e l'attesa massima accettabile.
Costruisci un front end semplice.
Scegli un operatore e scrivi le sue regole.
Fallo girare per un numero fisso di ore al giorno, e sii chiaro su quegli orari.
Registra ogni richiesta, la risposta dell'operatore e il tempo impiegato.
Dì ai clienti, alla fine del test, come ha funzionato.
Guida per l'operatore
Rispondi entro [X] minuti.
Se non puoi farlo, di': «Questo non posso ancora farlo».
Non fare nulla che il prodotto reale non potrebbe mai fare.
Registra ogni richiesta, comprese quelle a cui non hai saputo rispondere.
Domande da fare dopo
«Cosa ti aspettavi che succedesse quando hai chiesto quello?»
«Dove ti ha sorpreso?»
«Qualcosa ti è sembrato strano?»
«Se funzionasse così ogni giorno, per cosa lo useresti?»
Dopo aver spiegato come ha funzionato: «Questo cambia cosa ne pensi?»
Cosa misurare
Compiti completati. Tempo per richiesta. Quota di richieste a cui l'operatore ha potuto rispondere entro le regole. Quanti clienti se ne sono accorti, o se ne sono infastiditi.
Segnale di riuscita da fissare prima di iniziare
Punto di partenza di Specky: almeno 3 su 5 completano il compito e non se ne accorgono o non gli importa. È un punto di partenza, non un benchmark. Aggiungi un tuo limite al tempo dell'operatore per compito.
Registro dei risultati
Cliente
Richiesta
Tempo dell'operatore
Risposta entro le regole?
Compito completato?
Notato o infastidito?
Commenti
Come prepari l'operatore?
L'operatore decide se i tuoi risultati significano qualcosa. I passaggi di impostazione di NN/g e i consigli di Kromatic per gli operatori si riducono a cinque abitudini:
Scegli un metodo di risposta.Chiuso (scegliere tra risposte preparate) è veloce ma rigido; aperto (scrivere ogni risposta) è flessibile ma variabile; ibrido li mescola.
Scrivi le regole e chiedi a un ingegnere quali risposte sono fattibili.
Costruisci una console che il cliente non vede mai: richiesta, bozza, invio, registro.
Fai un pilota con un collega per trovare le risposte che avevi dimenticato.
Controlla l'operatore. Se un modello scrive le bozze, Kromatic suggerisce controlli incrociati alla cieca su circa il 10% delle risposte, perché gli operatori iniziano ad approvare tutto senza guardare.
Di quanti partecipanti hai bisogno per un test del Mago di Oz?
Il template di Specky parte da cinque clienti, abbastanza per vedere se l'esperienza funziona e per raccogliere le richieste che le tue regole non coprivano. Per una lettura più chiara di comportamenti come il ritorno o il pagamento, Kromatic suggerisce da 10 a 30 utenti in 1-3 settimane, per circa 40-400 dollari.
Fai prima i conti sull'operatore: cinque clienti, 10 richieste ciascuno, 5 minuti per risposta fanno circa 4 ore. Trenta clienti sono 25 ore. Apri il prodotto solo quando qualcuno può presidiarlo.
Cosa dovresti misurare in un test del Mago di Oz?
Le misure del template dicono se è stato superato. Per i prodotti di AI, aggiungi i dati sulle correzioni:
Misura
Cosa ti dice
Compiti completati
Se l'esperienza funziona del tutto
Tempo per richiesta
Se l'attesa è accettabile e cosa deve battere la macchina
Quota risolvibile entro le regole
Quanto del lavoro potrebbe coprire un prodotto reale
Tasso di approvazione / modifica / rifiuto (se un modello scrive le bozze)
Quanto è già vicino un modello standard
Richieste a cui l'operatore non ha saputo rispondere
L'esperienza funziona se una macchina potesse farlo?
Tornano da soli su una singola fetta?
La catena di strumenti regge da un capo all'altro?
Strategyzer costo / preparazione / esecuzione / prove (su 5)
1 / 2 / 3 / 5
2 / 3 / 3 / 5
4 / 3 / 4 / 5
3 / 3 / 4 / 5
Segnale di riuscita di Specky
3 su 5 tornano o pagano
3 su 5 completano e non se ne accorgono o non gli importa
4 su 10 lo usano di nuovo nella settimana 2
3 arrivano in fondo e chiedono di continuare
La domanda decisiva: le persone giudicherebbero un servizio umano in modo diverso dal software? Se sì, usa il Mago di Oz. Se no, un concierge è più semplice e non richiede inganni.
Che aspetto ha un test del Mago di Oz nella pratica?
Questo esempio è inventato per mostrare il metodo. Un team sta pianificando un chatbot che risponde alle domande degli inquilini usando i contratti di affitto. Prima di costruire qualsiasi cosa, allestiscono una finestra di chat, e un membro del team legge ogni contratto e scrive le risposte entro cinque minuti.
Cinque property manager lo provano per una settimana. Tutti e cinque completano i loro compiti. Tre dicono che l'attesa va bene. Due chiedono risposte che citino la clausola esatta. Il registro mostra che 40 domande su 52 si potevano risolvere con il solo contratto.
Il segnale è superato. Meglio ancora, il team ha imparato che citare la clausola conta e che 12 domande su 52 richiedono una valutazione di qualcuno. Entrambe le cose danno forma a ciò che costruiscono.
Il registro dimensiona anche lo sviluppo: 40 su 52 è il 77% risolvibile dal solo documento, per circa 3,5 ore di tempo dell'operatore a quattro minuti per risposta. Poi uno spike verifica se un modello sa citare la clausola giusta per quelle 40 domande.
Quali sono gli errori più comuni nel test del Mago di Oz?
Promettere ciò che non puoi fare. L'operatore è vincolato a ciò che il prodotto reale potrebbe un giorno fare.
Non scrivere le regole. Senza regole, il tuo operatore diventa un essere umano molto astuto.
Dimenticare la privacy. Una persona legge i dati dei clienti, quindi trattali con cura.
Non dirlo mai alle persone. Racconta come ha funzionato quando il test è finito.
Lasciare fuori il tempo di risposta. Il ritardo fa parte dell'esperienza.
Il test del Mago di Oz è etico?
Può esserlo, se limiti l'inganno. NN/g chiede una spiegazione finale. Kromatic aggiunge regole che vale la pena adottare:
Nessun consiglio ad alto rischio tramite il mago: niente di medico, legale o finanziario, a meno che non lo faccia una persona qualificata.
Raccogli solo ciò che potrebbe raccogliere il prodotto finale e indica nell'informativa sulla privacy che il tuo team può rivedere le richieste.
Rimborsa chiunque abbia pagato per una funzionalità che non è stata costruita.
Spiega tutto a tutti e mantieni ogni promessa fatta dal mago.
Nell'UE, una persona che legge i messaggi dei clienti sta trattando dati personali, quindi definisci prima la tua base giuridica.
Come eseguirlo in Specky
Nella pagina Assumptions, clicca sulla nota e scegli Pick a test, poi Wizard of Oz. Specky compila i passaggi, il segnale di riuscita e una tempistica di due settimane.
Clicca su Test with a page. Specky crea una pagina per invitare i clienti e raccoglie le risposte.
Il front end e la persona dietro sono la tua parte. Specky non fa il mago al posto tuo.
Clicca su Start running. Incolla il registro dell'operatore nel test e annota il risultato.
Un test superato appare sulla board come Supported, perché l'uso da parte dei clienti è comportamento.
Cosa fare con ogni esito?
Supported: l'esperienza funziona. Ora scopri se una macchina potrebbe farlo con uno spike tecnico.
Unclear: le persone hanno finito, ma il lavoro dell'operatore era troppo pesante o troppo ingegnoso. Stringi le regole e rifai il test.
Contradicted: le persone non hanno finito, o l'esperienza non era buona. Non automatizzare ciò che a mano non funziona. Ogni scommessa che poggia su questa nota ora risulta Contradicted.
Domande frequenti
Che cos'è un test del Mago di Oz?
Un test del Mago di Oz presenta quello che sembra un prodotto funzionante mentre una persona fa il lavoro di nascosto. Ti permette di testare l'esperienza prima di costruire la tecnologia difficile che c'è dietro. I team lo usano soprattutto per chatbot, interfacce vocali e funzionalità di AI.
Un test del Mago di Oz è ingannevole?
Può esserlo, quindi fai attenzione. Evitalo dove una risposta sbagliata potrebbe far male a qualcuno, proteggi i dati che legge il tuo operatore e spiega ai partecipanti come ha funzionato quando il test è finito. Il Nielsen Norman Group raccomanda una spiegazione finale, e chi ha pagato per una funzionalità che non esiste dovrebbe essere rimborsato.
Qual è la differenza tra Mago di Oz e test concierge?
Nel Mago di Oz, i clienti pensano di usare un software. Nel test concierge, sanno che il lavoro lo fa una persona. Scegli il Mago di Oz quando le persone giudicherebbero un servizio umano in modo diverso da uno automatizzato; altrimenti un concierge è più semplice ed evita l'inganno.
Chi ha inventato il metodo del Mago di Oz?
Il Nielsen Norman Group data il primo utilizzo documentato al 1973, quando Don Norman e Allen Munro simularono un assistente di viaggio in aeroporto. Jeff Kelley diede il nome al metodo nella sua tesi del 1983 alla Johns Hopkins e lo pubblicò nel 1984.
Quante persone servono per un test del Mago di Oz?
Cinque clienti sono un inizio pratico, perché ognuno richiede un operatore ai comandi. Bastano per vedere se l'esperienza funziona. Per misurare comportamenti come l'uso ripetuto o il pagamento, Kromatic suggerisce da 10 a 30 utenti in 1-3 settimane; calcola le ore dell'operatore prima di reclutare.
GDPR-aligned. EU workspace data is stored in Frankfurt, Germany. GDPR and EU data Built in Vienna, Austria. A product of influence solutions fm GmbH (FN 675374y). Imprint 14-day trial. Card required, and nothing is charged until day 14. 30-day refund after subscribing. See pricing