9 listopada 2026Zaktualizowano Fathy Shalaby12 min czytania
Test Czarnoksiężnika z Oz: szablon, poradnik operatora i prawdziwe przykłady
Zanim spędzisz sześć miesięcy na budowaniu trudnej części, postaw człowieka za kurtyną i sprawdź, czy to doświadczenie działa.
Udostępnij
Ten artykuł został przetłumaczony z języka angielskiego. Przeczytaj oryginał
Test Czarnoksiężnika z Oz (Wizard of Oz) to eksperyment produktowy, w którym klienci korzystają z czegoś, co wygląda na gotowy, zautomatyzowany produkt, podczas gdy za kulisami po cichu pracuje człowiek. Pokazuje, czy to doświadczenie działa i co musiałaby robić maszyna, zanim wydasz miesiące na trudną część. Poniżej znajdziesz darmowy szablon testu Czarnoksiężnika z Oz, poradnik operatora i zasady etyczne.
Najważniejsze wnioski
Metoda pochodzi z 1973 roku; nazwę nadał jej w 1983 roku Jeff Kelley (NN/g, 2024).
Strategyzer ocenia test Czarnoksiężnika z Oz na 2 z 5 pod względem kosztów i 5 z 5 pod względem siły dowodów (Strategyzer poster).
Testuje doświadczenie, nie technologię: zaliczony test oznacza, że ludzie chcą tego, co zrobiłaby maszyna, a nie że maszyna to potrafi.
W produktach AI zapisuj, jak często człowiek nadpisuje model. Kromatic odczytuje wskaźnik akceptacji bliski 90% jako sygnał, że może wystarczyć gotowy model, a bliski 30% jako sygnał, że to człowiek wykonuje pracę (Kromatic).
Wiąże się z wprowadzaniem w błąd: unikaj porad o wysokiej stawce, chroń dane i wyjaśnij wszystkim, jak to działało.
Czym jest test Czarnoksiężnika z Oz?
W teście Czarnoksiężnika z Oz klient widzi działający interfejs: okno czatu, aplikację, pole wyszukiwania. Za nim człowiek (tytułowy „czarnoksiężnik” albo operator) czyta każde zapytanie i ręcznie przygotowuje odpowiedź. NN/g opisuje to jako interfejs, który sprawia wrażenie autonomicznego, ale jest w całości lub częściowo sterowany przez człowieka. W badaniach moderowanych prowadzący prowadzi sesję, a czarnoksiężnik pozostaje niewidoczny.
Startupy nazywają to także MVP typu Wizard of Oz. Spośród 44 typów eksperymentów w książce Testing Business Ideas Davida J. Blanda i Alexa Osterwaldera (Strategyzer) jest to eksperyment walidacyjny z grupy „symulacja”.
Skąd się wzięła nazwa Wizard of Oz?
Z opowieści L. Franka Bauma, w której czarnoksiężnik to zwykły człowiek za kurtyną. Historia badań:
1973: Don Norman i Allen Munro użyli tej metody do przetestowania zautomatyzowanego asystenta podróży na lotnisku, co według NN/g jest pierwszym udokumentowanym zastosowaniem.
1983: Gould, Conti i Hovanyecz opublikowali „Composing letters with a simulated listening typewriter” w Communications of the ACM. Rozpoznawanie mowy nie było wystarczająco dobre, więc zasymulowali rozpoznawacze ze słownikiem 1000 słów, 5000 słów i nieograniczonym (CACM, 1983). Replikacja z 1990 roku zauważa, że ich operator wpisywał dyktando na klawiaturze QWERTY (Newell et al., 1990).
1983–1984: Jeff Kelley nadał metodzie nazwę w swojej rozprawie doktorskiej na Johns Hopkins o interfejsach w języku naturalnym, a w 1984 roku opublikował swoją iteracyjną metodę projektowania biurowych systemów w języku naturalnym w ACM Transactions on Information Systems (Kelley, 1984).
Jakie są przykłady testu Czarnoksiężnika z Oz?
Zappos. W 1999 roku Nick Swinmurn sfotografował buty w sklepie w Sunnyvale, sprzedawał je przez stronę internetową i kupował każdą parę po pełnej cenie dopiero po otrzymaniu zamówienia (Fortune, 2012). Kupujący widzieli sklep internetowy, a nie mężczyznę z aparatem.
Asystenci AI i chatboty. Kromatic zauważa, że większość dzisiejszych testów to hybrydy: model językowy przygotowuje każdą odpowiedź, a człowiek ją zatwierdza, edytuje lub przepisuje. Test pokazuje wtedy, czy doświadczenie działa i ile człowiek poprawia.
Kiedy używać testu Czarnoksiężnika z Oz, a kiedy nie?
Użyj go, gdy twój produkt obiecuje coś trudnego do zautomatyzowania, na przykład AI, która naprawdę rozumie zapytanie, a musisz wiedzieć, czy doświadczenie działa, zanim wydasz miesiące na trudną część. NN/g wymienia jako typowe zastosowania chatboty, rekomendacje i wyszukiwanie w czasie rzeczywistym.
Nie używaj go, gdy zła odpowiedź mogłaby komuś zaszkodzić, jak w sprawach zdrowia, prawa czy bezpieczeństwa, chyba że pracę wykonuje ekspert. Jeśli klienci mogą wiedzieć, że pomaga im człowiek, prostszy i uczciwszy jest MVP typu concierge. A jeśli na twoje pytanie odpowie statyczna makieta, NN/g radzi użyć jej zamiast tego.
Jakie ryzyko sprawdza test Czarnoksiężnika z Oz i jak mocne są dowody?
Testuje wykonalność z perspektywy klienta: gdyby maszyna potrafiła to robić, czy doświadczenie by działało i co musiałaby robić? Dowodem jest zachowanie, bo korzystają z tego prawdziwi klienci. Mówi niewiele o tym, czy oprogramowanie faktycznie wykonałoby to zadanie. Zobacz nasz przewodnik po wyborze eksperymentu produktowego.
Strategyzer ocenia go na 2/5 pod względem kosztów, 3/5 pod względem czasu przygotowania, 3/5 pod względem czasu trwania i 5/5 pod względem siły dowodów. Prawdziwym kosztem jest czas operatora.
Szablon testu Czarnoksiężnika z Oz (skopiuj i użyj)
Otwórz obraz w pełnym rozmiarze albo skopiuj wersję tekstową poniżej.
Kogo rekrutować i ilu
Pięciu klientów z prawdziwym zadaniem do wykonania. Trzymaj grupę małą, bo każdy wymaga człowieka przy sterach. Nie obiecuj niczego, czego nie dałbyś rady zrealizować ręcznie.
Plan krok po kroku
Zapisz, co zobaczy klient i co zrobi człowiek.
Ustal sygnał sukcesu i najdłuższy dopuszczalny czas oczekiwania.
Zbuduj prosty front end.
Wybierz operatora i spisz jego zasady.
Prowadź test przez ustaloną liczbę godzin dziennie i jasno komunikuj te godziny.
Zapisuj każde zapytanie, odpowiedź operatora i czas, jaki to zajęło.
Na koniec testu powiedz klientom, jak to działało.
Poradnik operatora
Odpowiadaj w ciągu [X] minut.
Jeśli nie możesz tego zrobić, powiedz: „Tego jeszcze nie potrafię”.
Nie rób niczego, czego prawdziwy produkt nigdy nie mógłby robić.
Zapisuj każde zapytanie, także te, na które nie umiałeś odpowiedzieć.
Pytania na koniec
„Czego się spodziewałeś, kiedy o to poprosiłeś?”
„Co cię zaskoczyło?”
„Czy coś wydało ci się dziwne?”
„Gdyby to działało tak codziennie, do czego byś tego używał?”
Po wyjaśnieniu, jak to działało: „Czy to zmienia twoje nastawienie?”
Co mierzyć
Wykonane zadania. Czas na zapytanie. Odsetek zapytań, na które operator mógł odpowiedzieć w ramach zasad. Ilu klientów to zauważyło lub im to przeszkadzało.
Sygnał sukcesu do ustalenia przed startem
Punkt wyjścia Specky: co najmniej 3 z 5 osób wykonuje zadanie i nie zauważa lub nie przeszkadza im to. To punkt wyjścia, nie benchmark. Dodaj własny limit czasu operatora na zadanie.
Dziennik wyników
Klient
Zapytanie
Czas operatora
Odpowiedź w ramach zasad?
Zadanie wykonane?
Zauważył lub przeszkadzało?
Uwagi
Jak przygotować operatora?
Operator decyduje, czy twoje wyniki cokolwiek znaczą. Kroki przygotowania z NN/g i rady Kromatic dla operatorów sprowadzają się do pięciu nawyków:
Wybierz metodę odpowiedzi.Zamknięta (wybór z gotowych odpowiedzi) jest szybka, ale sztywna; otwarta (pisanie każdej odpowiedzi) jest elastyczna, ale zmienna; hybrydowa łączy jedno z drugim.
Spisz zasady i zapytaj inżyniera, które odpowiedzi są wykonalne.
Zbuduj konsolę, której klient nigdy nie zobaczy: zapytanie, szkic, wysyłka, dziennik.
Przetestuj z kolegą lub koleżanką, żeby znaleźć odpowiedzi, o których zapomniałeś.
Kontroluj operatora. Jeśli szkice pisze model, Kromatic proponuje ślepe sprawdzanie około 10% odpowiedzi, bo operatorzy zaczynają zatwierdzać bez czytania.
Ilu uczestników potrzebujesz do testu Czarnoksiężnika z Oz?
Szablon Specky zaczyna od pięciu klientów, co wystarcza, by zobaczyć, czy doświadczenie działa, i zebrać zapytania, których nie przewidziały twoje zasady. Dla wyraźniejszego obrazu zachowań, takich jak powroty czy płatności, Kromatic sugeruje od 10 do 30 użytkowników przez 1 do 3 tygodni, za około 40 do 400 dolarów.
Najpierw policz czas operatora: pięciu klientów, po 10 zapytań, 5 minut na odpowiedź to mniej więcej 4 godziny. Trzydziestu klientów to 25 godzin. Otwieraj produkt dopiero wtedy, gdy ktoś jest w stanie go obsłużyć.
Co mierzyć w teście Czarnoksiężnika z Oz?
Miary z szablonu mówią, czy test został zaliczony. W produktach AI dodaj dane o nadpisywaniu:
Miara
Co ci mówi
Wykonane zadania
Czy doświadczenie w ogóle działa
Czas na zapytanie
Czy czas oczekiwania jest akceptowalny i co musi pobić maszyna
Odsetek zapytań obsłużonych w ramach zasad
Jak dużą część zadania mógłby pokryć prawdziwy produkt
Odsetek zatwierdzeń / edycji / odrzuceń (jeśli szkice pisze model)
Jak blisko jest już gotowy model
Zapytania, na które operator nie potrafił odpowiedzieć
Czy doświadczenie działa, gdyby maszyna potrafiła to robić?
Czy wracają sami do jednego fragmentu?
Czy łańcuch narzędzi działa od początku do końca?
Strategyzer koszt / przygotowanie / czas trwania / dowody (z 5)
1 / 2 / 3 / 5
2 / 3 / 3 / 5
4 / 3 / 4 / 5
3 / 3 / 4 / 5
Sygnał sukcesu Specky
3 z 5 wraca lub płaci
3 z 5 kończy zadanie i nie zauważa lub nie przeszkadza im to
4 z 10 używa tego ponownie w tygodniu 2
3 osoby przechodzą całość i proszą o dalszy ciąg
Decydujące pytanie: czy ludzie oceniliby usługę świadczoną przez człowieka inaczej niż oprogramowanie? Jeśli tak, użyj testu Czarnoksiężnika z Oz. Jeśli nie, concierge jest prostszy i nie wymaga wprowadzania w błąd.
Jak wygląda test Czarnoksiężnika z Oz w praktyce?
Ten przykład jest zmyślony, by pokazać metodę. Zespół planuje chatbota, który odpowiada na pytania najemców na podstawie umów najmu. Zanim cokolwiek zbudują, uruchamiają okno czatu, a członek zespołu czyta każdą umowę i wpisuje odpowiedzi w ciągu pięciu minut.
Pięciu zarządców nieruchomości testuje to przez tydzień. Wszyscy pięcioro wykonują swoje zadania. Troje mówi, że czas oczekiwania jest w porządku. Dwoje prosi o odpowiedzi cytujące dokładną klauzulę. Dziennik pokazuje, że na 40 z 52 pytań dało się odpowiedzieć wyłącznie na podstawie umowy.
Sygnał jest zaliczony. Co więcej, zespół dowiedział się, że cytowanie klauzuli ma znaczenie i że 12 z 52 pytań wymaga czyjejś oceny. Obie rzeczy kształtują to, co zbudują.
Dziennik pozwala też oszacować rozmiar budowy: 40 z 52 to 77% pytań, na które można odpowiedzieć z samego dokumentu, przy około 3,5 godziny pracy operatora, licząc cztery minuty na odpowiedź. Następnie spike sprawdza, czy model potrafi zacytować właściwą klauzulę dla tych 40 pytań.
Jakie są najczęstsze błędy w testach Czarnoksiężnika z Oz?
Obiecywanie tego, czego nie potrafisz. Operatora wiąże to, co prawdziwy produkt mógłby kiedyś robić.
Brak spisanych zasad. Bez nich twój operator staje się bardzo sprytnym człowiekiem.
Zapominanie o prywatności. Człowiek czyta dane klientów, więc obchodź się z nimi ostrożnie.
Niepowiedzenie ludziom. Opowiedz, jak to działało, gdy test się skończy.
Pomijanie czasu odpowiedzi. Opóźnienie jest częścią doświadczenia.
Czy test Czarnoksiężnika z Oz jest etyczny?
Może być, jeśli ograniczysz wprowadzanie w błąd. NN/g wymaga wyjaśnienia na koniec. Kromatic dodaje zasady, które warto przyjąć:
Żadnych porad o wysokiej stawce przez czarnoksiężnika: nic medycznego, prawnego ani finansowego, chyba że robi to wykwalifikowana osoba.
Zbieraj tylko to, co mógłby zbierać gotowy produkt, i napisz w polityce prywatności, że twój zespół może przeglądać zapytania.
Zwróć pieniądze każdemu, kto zapłacił za funkcję, która nie została zbudowana.
Wyjaśnij wszystkim, jak to działało, i dotrzymaj każdej obietnicy złożonej przez czarnoksiężnika.
W UE osoba czytająca wiadomości klientów przetwarza dane osobowe, więc najpierw ustal podstawę prawną.
Jak przeprowadzić go w Specky
Na stronie Assumptions kliknij notatkę i wybierz Pick a test, a potem Wizard of Oz. Specky wypełnia kroki, sygnał sukcesu i dwutygodniowy harmonogram.
Kliknij Test with a page. Specky buduje stronę do zapraszania klientów i zbiera odpowiedzi.
Front end i człowiek za nim to twoja część. Specky nie gra za ciebie czarnoksiężnika.
Kliknij Start running. Wklej dziennik operatora do testu i zapisz wynik.
Zaliczony test pojawia się na tablicy jako Supported, bo korzystanie z produktu przez klientów to zachowanie.
Co zrobić przy każdym wyniku?
Supported: doświadczenie działa. Teraz sprawdź za pomocą spike'u technicznego, czy maszyna by to potrafiła.
Unclear: ludzie skończyli zadanie, ale praca operatora była zbyt ciężka lub zbyt sprytna. Dopracuj zasady i uruchom test jeszcze raz.
Contradicted: ludzie nie skończyli albo doświadczenie nie było dobre. Nie automatyzuj czegoś, co nie działa ręcznie. Każdy zakład oparty na tej notatce wskazuje teraz Contradicted.
Najczęściej zadawane pytania
Czym jest test Czarnoksiężnika z Oz?
Test Czarnoksiężnika z Oz pokazuje coś, co wygląda na działający produkt, podczas gdy człowiek potajemnie wykonuje pracę. Pozwala przetestować doświadczenie, zanim zbudujesz trudną technologię, która za nim stoi. Zespoły najczęściej używają go do chatbotów, interfejsów głosowych i funkcji AI.
Czy test Czarnoksiężnika z Oz wprowadza w błąd?
Może, więc zachowaj ostrożność. Unikaj go tam, gdzie zła odpowiedź mogłaby komuś zaszkodzić, chroń dane, które czyta twój operator, i powiedz uczestnikom, jak to działało, gdy test się skończy. Nielsen Norman Group zaleca wyjaśnienie na koniec, a każdy, kto zapłacił za nieistniejącą funkcję, powinien dostać zwrot pieniędzy.
Jaka jest różnica między testem Czarnoksiężnika z Oz a testem concierge?
W teście Czarnoksiężnika z Oz klienci myślą, że korzystają z oprogramowania. W teście concierge klienci wiedzą, że pracę wykonuje człowiek. Wybierz Wizard of Oz, gdy ludzie oceniliby usługę świadczoną przez człowieka inaczej niż zautomatyzowaną; w przeciwnym razie concierge jest prostszy i unika wprowadzania w błąd.
Kto wymyślił metodę Czarnoksiężnika z Oz?
Nielsen Norman Group datuje pierwsze udokumentowane użycie na 1973 rok, kiedy Don Norman i Allen Munro zasymulowali asystenta podróży na lotnisku. Jeff Kelley nadał metodzie nazwę w swojej rozprawie z 1983 roku na Johns Hopkins i opublikował ją w 1984 roku.
Ilu ludzi potrzeba do testu Czarnoksiężnika z Oz?
Pięciu klientów to praktyczny początek, bo każdy wymaga operatora przy sterach. To wystarczy, by zobaczyć, czy doświadczenie działa. Aby zmierzyć zachowania takie jak ponowne użycie czy płatności, Kromatic sugeruje od 10 do 30 użytkowników przez 1 do 3 tygodni; zaplanuj godziny operatora, zanim zaczniesz rekrutację.
GDPR-aligned. EU workspace data is stored in Frankfurt, Germany. GDPR and EU data Built in Vienna, Austria. A product of influence solutions fm GmbH (FN 675374y). Imprint 14-day trial. Card required, and nothing is charged until day 14. 30-day refund after subscribing. See pricing