اختبار ساحر أوز (Wizard of Oz) تجربة منتج يستخدم فيها العملاء ما يبدو منتجًا مكتملًا وآليًا، بينما يؤدي إنسان العمل بهدوء خلف الكواليس. يُظهر لك هذا الاختبار ما إذا كانت التجربة تعمل، وما الذي يجب أن تفعله الآلة، قبل أن تنفق أشهرًا على بناء الجزء الصعب. تجد أدناه قالبًا مجانيًا لاختبار ساحر أوز، ودليلًا للمشغّل، والقواعد الأخلاقية.
أهم النقاط
تعود الطريقة إلى عام 1973؛ وقد أطلق عليها Jeff Kelley اسمها عام 1983 (NN/g, 2024).
تمنح Strategyzer اختبار ساحر أوز 2 من 5 في التكلفة و5 من 5 في قوة الأدلة (Strategyzer poster).
يختبر التجربة لا التقنية: النجاح فيه يعني أن الناس يريدون ما ستفعله الآلة، لا أن الآلة قادرة على فعله.
في منتجات الذكاء الاصطناعي، سجّل عدد المرات التي يتجاوز فيها الإنسان مخرجات النموذج. تعدّ Kromatic معدل موافقة قريبًا من 90% دليلًا على أن نموذجًا جاهزًا قد يكفي، وقريبًا من 30% دليلًا على أن الإنسان هو من يؤدي العمل (Kromatic).
ينطوي على خداع: تجنّب النصائح عالية المخاطر، واحمِ البيانات، وصارح الجميع في النهاية.
ما هو اختبار ساحر أوز؟
في اختبار ساحر أوز يرى العميل واجهة تعمل: نافذة محادثة أو تطبيقًا أو مربع بحث. وخلفها يقرأ إنسان («الساحر» أو المشغّل) كل طلب ويكتب الرد يدويًا. تصفه NN/g بأنه واجهة تبدو ذاتية التشغيل لكن يتحكم فيها إنسان كليًا أو جزئيًا. وفي الدراسات الموجَّهة، يدير ميسّر الجلسة بينما يبقى الساحر بعيدًا عن الأنظار.
تسميه الشركات الناشئة أيضًا MVP ساحر أوز. ومن بين 44 نوعًا من التجارب في كتاب Testing Business Ideas لـ David J. Bland وAlex Osterwalder (Strategyzer)، هو تجربة تحقق من مجموعة «المحاكاة».
من أين جاء اسم ساحر أوز؟
من قصة L. Frank Baum التي يكون فيها الساحر رجلًا عاديًا خلف ستار. وهذا تاريخه في الأبحاث:
1973: استخدم Don Norman وAllen Munro الطريقة لاختبار مساعد سفر آلي في مطار، وهو أول استخدام موثّق بحسب NN/g.
1983: نشر Gould وConti وHovanyecz بحث «Composing letters with a simulated listening typewriter» في . لم يكن التعرف على الكلام جيدًا بما يكفي، فحاكوا أجهزة تعرّف بمفردات من 1,000 كلمة و5,000 كلمة وبلا حدود (). وتشير دراسة تكرارية عام 1990 إلى أن المشغّل عندهم كان يكتب الإملاء على لوحة مفاتيح QWERTY ().
1983–1984: أطلق Jeff Kelley اسم الطريقة في أطروحته بجامعة Johns Hopkins عن واجهات اللغة الطبيعية، ونشر عام 1984 منهجه في التصميم التكراري لأنظمة المكاتب بالغة الطبيعية في ACM Transactions on Information Systems (Kelley, 1984).
ما بعض أمثلة اختبار ساحر أوز؟
Zappos. في عام 1999 صوّر Nick Swinmurn أحذية في متجر بمدينة Sunnyvale، وباعها عبر موقع إلكتروني، ولم يكن يشتري كل زوج بسعره الكامل إلا بعد وصول الطلب (Fortune, 2012). رأى المتسوقون متجرًا إلكترونيًا، لا رجلًا يحمل كاميرا.
مساعدو الذكاء الاصطناعي وروبوتات المحادثة. تلاحظ Kromatic أن معظم الاختبارات اليوم هجينة: يصوغ نموذج لغوي كل رد ثم يوافق عليه إنسان أو يعدّله أو يعيد كتابته. وعندها يُظهر الاختبار ما إذا كانت التجربة تعمل وكم يصحّح الإنسان.
متى تستخدم اختبار ساحر أوز ومتى لا تستخدمه؟
استخدمه عندما يعد منتجك بشيء يصعب أتمتته، مثل ذكاء اصطناعي يفهم الطلب فعلًا، وتحتاج إلى معرفة ما إذا كانت التجربة تعمل قبل أن تنفق أشهرًا على الجزء الصعب. وتذكر NN/g روبوتات المحادثة والتوصيات وعمليات البحث الفورية بوصفها حالات نموذجية.
لا تستخدمه عندما قد تضر إجابة خاطئة بأحد، كما في الصحة أو القانون أو السلامة، إلا إذا كان خبير هو من يؤدي العمل. وإذا كان بإمكان العملاء معرفة أن إنسانًا يساعدهم، فإن MVP الكونسيرج أبسط وأكثر صدقًا. وإذا كان نموذج ثابت يمكن أن يجيب عن سؤالك، فنصيحة NN/g أن تستخدمه بدلًا من ذلك.
ما المخاطرة التي يفحصها اختبار ساحر أوز، وما قوة الأدلة؟
يختبر الجدوى التقنية من جهة العميل: لو استطاعت الآلة فعل هذا، فهل ستعمل التجربة، وماذا يجب أن تفعل؟ والدليل هنا سلوك، لأن عملاء حقيقيين يستخدمونه. ولا يقول إلا القليل عما إذا كان بإمكان برنامج أن يؤدي العمل فعلًا. اطّلع على دليلنا لاختيار تجربة المنتج.
تمنحه Strategyzer 2/5 في التكلفة، و3/5 في وقت الإعداد، و3/5 في مدة التشغيل، و5/5 في قوة الأدلة. والتكلفة الحقيقية هي وقت المشغّل.
قالب اختبار ساحر أوز (انسخه واستخدمه)
افتح الصورة بالحجم الكامل، أو انسخ النسخة النصية أدناه.
من تجنّد وكم عددهم
خمسة عملاء لديهم مهمة حقيقية ينجزونها. أبقِ المجموعة صغيرة، فكل عميل يتطلب إنسانًا خلف أدوات التحكم. ولا تَعِد بشيء لا تستطيع تنفيذه يدويًا.
خطة خطوة بخطوة
اكتب ما سيراه العميل وما سيفعله الإنسان.
حدّد إشارة النجاح وأطول مدة انتظار مقبولة.
ابنِ واجهة أمامية بسيطة.
اختر مشغّلًا واكتب قواعده.
شغّل الاختبار عددًا محددًا من الساعات يوميًا، وكن واضحًا بشأن هذه الساعات.
سجّل كل طلب وإجابة المشغّل والوقت المستغرق.
أخبر العملاء في نهاية الاختبار كيف جرى الأمر.
دليل المشغّل
ردّ خلال [X] دقيقة.
إذا لم تستطع تنفيذ الطلب، فقل: «لا أستطيع فعل ذلك بعد».
لا تفعل شيئًا لن يستطيع المنتج الحقيقي فعله أبدًا.
سجّل كل طلب، بما في ذلك الطلبات التي لم تستطع الإجابة عنها.
أسئلة بعد الاختبار
«ماذا توقعت أن يحدث عندما طلبت ذلك؟»
«أين فاجأك الأمر؟»
«هل بدا لك شيء غريبًا؟»
«لو عمل هكذا كل يوم، فلأي غرض كنت ستستخدمه؟»
بعد أن تشرح كيف جرى الأمر: «هل يغيّر ذلك رأيك فيه؟»
ما الذي تقيسه
المهام المنجزة. الوقت لكل طلب. نسبة الطلبات التي استطاع المشغّل الإجابة عنها ضمن القواعد. عدد العملاء الذين لاحظوا الأمر أو انزعجوا منه.
إشارة النجاح التي تحددها قبل البدء
نقطة انطلاق Specky: ينجز 3 من 5 على الأقل المهمة ولا يلاحظون الأمر أو لا يزعجهم. هذه نقطة انطلاق وليست معيارًا مرجعيًا. أضف حدًّا خاصًا بك لوقت المشغّل لكل مهمة.
سجل النتائج
العميل
الطلب
وقت المشغّل
هل أُجيب ضمن القواعد؟
هل أُنجزت المهمة؟
هل لاحظ أو انزعج؟
ملاحظات
كيف تجهّز المشغّل؟
المشغّل هو من يقرر ما إذا كانت نتائجك ذات معنى. وتؤول خطوات الإعداد من NN/g ونصائح Kromatic للمشغّلين إلى خمس عادات:
اختر طريقة الرد.المغلقة (الاختيار من إجابات جاهزة) سريعة لكنها جامدة؛ والمفتوحة (كتابة كل إجابة) مرنة لكنها متفاوتة؛ والهجينة تجمع بين الاثنتين.
اكتب القواعد واسأل مهندسًا عن الإجابات الممكنة تنفيذًا.
ابنِ لوحة تحكم لا يراها العميل أبدًا: الطلب، المسودة، الإرسال، السجل.
جرّب مع زميل لتكتشف الإجابات التي نسيتها.
راقب المشغّل. إذا كان نموذج يصوغ المسودات، تقترح Kromatic مراجعات مزدوجة عمياء لنحو 10% من الردود، لأن المشغّلين يبدؤون بالموافقة دون تدقيق.
كم مشاركًا تحتاج لاختبار ساحر أوز؟
يبدأ قالب Specky بخمسة عملاء، وهو عدد يكفي لمعرفة ما إذا كانت التجربة تعمل وجمع الطلبات التي فاتت قواعدك. ولقراءة أوضح للسلوك، مثل العودة أو الدفع، تقترح Kromatic من 10 إلى 30 مستخدمًا على مدى 1 إلى 3 أسابيع، بتكلفة نحو 40 إلى 400 دولار.
احسب وقت المشغّل أولًا: خمسة عملاء، 10 طلبات لكل منهم، 5 دقائق لكل إجابة، أي نحو 4 ساعات. وثلاثون عميلًا يعني 25 ساعة. لا تفتح المنتج إلا حين يستطيع أحد تشغيله.
ماذا تقيس في اختبار ساحر أوز؟
تُظهر مقاييس القالب ما إذا نجح الاختبار. وفي منتجات الذكاء الاصطناعي، أضف بيانات التجاوز:
المقياس
ما يخبرك به
المهام المنجزة
هل تعمل التجربة أصلًا
الوقت لكل طلب
هل الانتظار مقبول، وما الذي يجب أن تتفوق عليه الآلة
نسبة ما يمكن الرد عليه ضمن القواعد
كم من العمل يمكن أن يغطيه منتج حقيقي
معدل الموافقة / التعديل / الرفض (إذا كان نموذج يصوغ المسودات)
Strategyzer التكلفة / الإعداد / التشغيل / الأدلة (من 5)
1 / 2 / 3 / 5
2 / 3 / 3 / 5
4 / 3 / 4 / 5
3 / 3 / 4 / 5
إشارة نجاح Specky
يعود 3 من 5 أو يدفعون
ينجز 3 من 5 ولا يلاحظون أو لا يزعجهم الأمر
يستخدمه 4 من 10 مجددًا في الأسبوع 2
يُنهي 3 المهمة من البداية للنهاية ويطلبون المتابعة
السؤال الحاسم: هل سيحكم الناس على خدمة بشرية بشكل مختلف عن برنامج؟ إن كان الجواب نعم، فاستخدم ساحر أوز. وإن لم يكن، فالكونسيرج أبسط ولا يحتاج إلى خداع.
كيف يبدو اختبار ساحر أوز عمليًا؟
هذا المثال مختلق لتوضيح الطريقة. فريق يخطط لروبوت محادثة يجيب عن أسئلة المستأجرين باستخدام عقود الإيجار. وقبل بناء أي شيء، يُعدّون نافذة محادثة، ويقرأ أحد أعضاء الفريق كل عقد ويكتب الإجابات خلال خمس دقائق.
يجرّبه خمسة من مديري العقارات لمدة أسبوع. ينجز الخمسة جميعًا مهامهم. يقول ثلاثة إن الانتظار مقبول. ويطلب اثنان إجابات تقتبس البند بدقة. ويُظهر السجل أن 40 من 52 سؤالًا أمكن الإجابة عنها من عقد الإيجار وحده.
تتحقق الإشارة. والأفضل أن الفريق تعلّم أن اقتباس البند مهم، وأن 12 من كل 52 سؤالًا تحتاج إلى من يحكم بنفسه. وكلا الأمرين يرسمان ما سيبنونه.
كما يحدد السجل حجم البناء: 40 من 52 أي 77% يمكن الإجابة عنها من الوثيقة وحدها، مقابل نحو 3.5 ساعة من وقت المشغّل بمعدل أربع دقائق لكل إجابة. بعد ذلك يختبر spike ما إذا كان نموذج قادرًا على اقتباس البند الصحيح لتلك الأسئلة الأربعين.
ما أكثر أخطاء اختبار ساحر أوز شيوعًا؟
الوعد بما لا تستطيع فعله. المشغّل مقيَّد بما يمكن أن يفعله المنتج الحقيقي يومًا ما.
عدم كتابة القواعد. بدونها يصبح مشغّلك إنسانًا بارعًا جدًا.
نسيان الخصوصية. إنسان يقرأ بيانات العملاء، فتعامل معها بعناية.
عدم إخبار الناس أبدًا. أخبرهم كيف جرى الأمر بعد انتهاء الاختبار.
إغفال زمن الاستجابة. التأخير جزء من التجربة.
هل اختبار ساحر أوز أخلاقي؟
يمكن أن يكون كذلك إذا حدّدت الخداع. تدعو NN/g إلى مصارحة في النهاية. وتضيف Kromatic قواعد تستحق اعتمادها:
لا نصائح عالية المخاطر عبر الساحر: لا شيء طبي أو قانوني أو مالي إلا إذا كان شخص مؤهل هو من يقدّمه.
اجمع فقط ما كان بإمكان المنتج النهائي جمعه، واذكر في إشعار الخصوصية أن فريقك قد يراجع الطلبات.
أعد المال لكل من دفع مقابل قدرة لم تُبنَ.
صارح الجميع والتزم بكل وعد قطعه الساحر.
في الاتحاد الأوروبي، يُعدّ قراءة شخص لرسائل العملاء معالجةً لبيانات شخصية، لذا حدّد أساسك القانوني أولًا.
كيف تجريه في Specky
في صفحة Assumptions، انقر على الملاحظة واختر Pick a test، ثم Wizard of Oz. تملأ Specky الخطوات وإشارة النجاح وجدولًا زمنيًا من أسبوعين.
انقر Test with a page. تبني Specky صفحة لدعوة العملاء وتجمع الردود.
الواجهة الأمامية والإنسان خلفها مسؤوليتك. لا تؤدي Specky دور الساحر نيابةً عنك.
انقر Start running. الصق سجل المشغّل في الاختبار وسجّل النتيجة.
يظهر الاختبار الناجح على اللوحة بوصفه Supported، لأن استخدام العملاء له سلوك.
ماذا تفعل مع كل نتيجة؟
Supported: التجربة تعمل. اكتشف الآن ما إذا كانت آلة قادرة على فعل ذلك عبر تجربة تقنية سريعة (spike).
Unclear: أنهى الناس المهمة، لكن عمل المشغّل كان ثقيلًا جدًا أو ذكيًا جدًا. شدّد القواعد وأعد الاختبار.
Contradicted: لم ينهِ الناس المهمة، أو لم تكن التجربة جيدة. لا تؤتمت ما لا ينجح يدويًا. وأي رهان قائم على هذه الملاحظة يظهر الآن بوصفه Contradicted.
الأسئلة الشائعة
ما هو اختبار ساحر أوز؟
يقدّم اختبار ساحر أوز ما يبدو منتجًا يعمل بينما يؤدي إنسان العمل سرًّا. يتيح لك اختبار التجربة قبل بناء التقنية الصعبة خلفها. وتستخدمه الفرق غالبًا في روبوتات المحادثة والواجهات الصوتية وميزات الذكاء الاصطناعي.
هل اختبار ساحر أوز خادع؟
يمكن أن يكون كذلك، فكن حذرًا. تجنّبه حيث قد تضر إجابة خاطئة بأحد، واحمِ أي بيانات يقرؤها المشغّل، وأخبر المشاركين كيف جرى الأمر بعد انتهاء الاختبار. توصي Nielsen Norman Group بالمصارحة، ويجب أن يسترد كل من دفع مقابل قدرة غير موجودة أمواله.
ما الفرق بين ساحر أوز واختبار الكونسيرج؟
في ساحر أوز يظن العملاء أنهم يستخدمون برنامجًا. وفي اختبار الكونسيرج يعرفون أن إنسانًا يؤدي العمل. اختر ساحر أوز عندما يحكم الناس على خدمة بشرية بشكل مختلف عن خدمة آلية؛ وإلا فالكونسيرج أبسط ويتجنب الخداع.
من ابتكر طريقة ساحر أوز؟
تؤرخ Nielsen Norman Group أول استخدام موثّق بعام 1973، حين حاكى Don Norman وAllen Munro مساعد سفر في مطار. وأطلق Jeff Kelley اسم الطريقة في أطروحته عام 1983 بجامعة Johns Hopkins ونشرها عام 1984.
كم شخصًا تحتاج لاختبار ساحر أوز؟
خمسة عملاء بداية عملية، لأن كل واحد يحتاج مشغّلًا خلف أدوات التحكم. وهذا يكفي لمعرفة ما إذا كانت التجربة تعمل. ولقياس سلوك مثل الاستخدام المتكرر أو الدفع، تقترح Kromatic من 10 إلى 30 مستخدمًا على مدى 1 إلى 3 أسابيع؛ فاحسب ساعات المشغّل قبل أن تجنّد.
GDPR-aligned. EU workspace data is stored in Frankfurt, Germany. GDPR and EU data Built in Vienna, Austria. A product of influence solutions fm GmbH (FN 675374y). Imprint 14-day trial. Card required, and nothing is charged until day 14. 30-day refund after subscribing. See pricing