كيف يقيّم مديرو المنتجات مخرجات الذكاء الاصطناعي: الفصل بين إخفاقات المنتج والتفضيلات الشخصية
منهجية عملية لمراجعة منتجات الذكاء الاصطناعي: افصل بين إخفاقات السياسات، وغياب السياق، والتفضيلات الشخصية حتى توجه الملاحظات الفعلية سلوك المنتج بدقة.
تُرجم هذا المقال من الإنجليزية. اقرأ المقال الأصلي

التقييم بالنجوم ليس تفسيراً
يمنح مراجعٌ ما إجابة الذكاء الاصطناعي أربع نجوم. ما الذي يجب على فريق المنتج تغييره تحديداً؟
ربما لم تُجب المخرجات عن سؤال المستخدم بدقة. أو ربما تضمنت ادعاءً يفتقر إلى مصدر موثوق. قد تكون الحقائق صحيحة تماماً لكن النبرة بدت جافة ورسمية أكثر من اللازم. أو ربما يفضل المراجع بنية نصية مختلفة على الرغم من أن الإجابة أدت الغرض المطلوب منها بالكامل.
كل هذه ردود فعل مفيدة، لكنها تصف أشياء متباينة تماماً. إذا تحولت جميعها ببساطة إلى "الجودة: 4/5"، يفقد الفريق المعلومات الأساسية اللازمة لتحسين المنتج.
تبدأ عملية المراجعة والتصنيف (annotation) العملية بالفصل الدقيق بين: ما فعله الناتج فعلياً، وأي قواعد المنتج التي التزم بها أو خالفها، وما يفضله المراجع شخصياً. هذا الفصل يحول عملية المراجعة إلى أداة تزيد سلوك المنتج وضوحاً، بدلاً من أن تصبح مجرد تصويت على مدى شعبية النصوص المُولدة.
حدد نوع التقييم الذي تجمعه
قبل أن تطلب من فريقك وسم المخرجات وتصنيفها، حدد أولاً ما يجب أن تمثله هذه التسميات.
في بعض الحالات، يحتاج المنتج إلى سياسة واضحة وثابتة. على سبيل المثال، لا يجوز لوثيقة موجز المنتج المدعومة بالذكاء الاصطناعي أن تعرض رأياً غير موثق لأحد العملاء على أنه حقيقة مثبتة. يجب على المراجعين تطبيق هذه القاعدة بلا استثناء. هذا يُعد حكماً متعلقاً بالسياسة (policy judgment): فالفريق هنا يحدد سلوكاً واحداً ملزماً للمنتج.
في حالات أخرى، يجب أن يتسع المنتج لاختلاف احتياجات المستخدمين. فقد يفضل أحد مديري المنتجات ملخصاً موجزاً، بينما يحتاج آخر إلى تفاصيل أعمق لمراجعتها مع أصحاب المصلحة. إذا كان كلا التنسيقين يؤديان الغرض بنجاح، فإن تسجيل هذا التفضيل يساعد المنتج على فهم السياقات المتنوعة. هذا حكم تفضيل (preference judgment)، وليس بالضرورة إخفاقاً في المنتج.
تشير الأبحاث المتعلقة بتصنيف البيانات للمهام اللغوية ذات الطابع غير الموضوعي إلى تمييز مماثل؛ بين جمع وجهات نظر متعددة وتوجيه المراجعين لتطبيق سياسة محددة بدقة. يعتمد هذا الاختيار على الغرض الأساسي من مجموعة البيانات. ينطبق القرار نفسه عندما يراجع فريق المنتج مخرجات الذكاء الاصطناعي: هل هدفك فهم ما يفضله المستخدمون، أم حسم ما يجب على المنتج الالتزام به؟ Röttger et al., “Two Contrasting Data Annotation Paradigms for Subjective NLP Tasks”
اكتب الهدف بوضوح أعلى نموذج المراجعة:
نجمع هذه التقييمات لنحدد ما إذا كانت مخرجات الذكاء الاصطناعي تطابق سلوك المنتج المتفق عليه لهذه المهمة.
تابع القراءة
تسليم مهام وكيل الذكاء الاصطناعي: متى يجب أن يسأل منتجك أو يتصرف أو يتوقف؟
حدد متى ينبغي لوكيل الذكاء الاصطناعي أن يطلب التوضيح، أو يتصرف ضمن حدود واضحة، أو يتوقف ويسلّم التحكم للإنسان، مدعوماً ببيانات واقعية ونموذج عقد عملي يمكنك استخدامه.
كيف تختار تجربة المنتج المناسبة: 55 أسلوباً مصنفة حسب المخاطر وقوة الأدلة
تخفق معظم الأفكار عند اختبارها. حدد الافتراض الأكثر خطورة، وقرر مدى قوة الأدلة المطلوبة، ثم اختر الأسلوب الأقل تكلفة من بين 55 تجربة منتج للوصول إليها.
تجميع الأبحاث بالذكاء الاصطناعي: افصل الأدلة عن التفسير
يستطيع الذكاء الاصطناعي ترتيب مجلد من المقابلات في دقائق، لكن الدراسات تُظهر أنه يفوّته المحاور التفسيرية. سير عمل من خمس خطوات وموجّه (prompt) وقائمة مراجعة تُبقي كل ادعاء مرتبطًا بمصدره.