Comment annoter les résultats d’une IA : séparer bugs produit et préférences
Une méthode concrète pour évaluer les produits IA : séparez les manquements aux règles, le manque de contexte et les préférences personnelles pour que les retours améliorent vraiment le comportement du produit.
Un évaluateur attribue quatre étoiles à une réponse générée par une IA. Que doit modifier l’équipe produit ?
La réponse est peut-être passée à côté de la question de l’utilisateur. Elle comportait peut-être une affirmation sans source. Il se peut aussi que les faits soient exacts, mais le ton trop rigide. Ou bien l’évaluateur préfère simplement une autre structure, alors même que la réponse remplissait parfaitement son rôle.
Ces réactions sont précieuses, mais elles décrivent des réalités très différentes. Si elles sont toutes réduites à une note globale « qualité : 4/5 », l’équipe perd l’information indispensable pour améliorer le produit.
Un processus d’annotation efficace commence par distinguer ce que la réponse a produit, la règle produit respectée ou enfreinte et les préférences personnelles de l’évaluateur. L’évaluation devient alors un moyen de clarifier le comportement du produit, plutôt qu’un simple vote de popularité sur du texte généré.
Déterminez la nature du jugement que vous recueillez
Avant de demander à quiconque d’étiqueter des résultats, définissez clairement ce que ces libellés doivent représenter.
Parfois, le produit exige une politique stricte et uniforme. Par exemple, un brief produit rédigé par une IA ne doit jamais présenter comme un fait avéré une affirmation client sans source. Les évaluateurs doivent appliquer cette règle de manière rigoureuse. Il s’agit là d’un jugement de conformité (policy judgment) : l’équipe définit un comportement produit attendu et non négociable.
D’autres fois, le produit gagne à s’adapter à la diversité des besoins. Un product manager préférera peut-être un résumé très concis ; un autre aura besoin de davantage de détails pour une présentation aux parties prenantes. Si les deux formats répondent à leurs objectifs respectifs, enregistrer ces préférences permet au produit de mieux comprendre ces différents contextes. Il s’agit alors d’un jugement de préférence, et non d’une défaillance du produit.
La recherche sur l’annotation dans le cadre de tâches linguistiques subjectives met en lumière une distinction similaire entre le recueil de perspectives variées et l’instruction donnée aux annotateurs d’appliquer une politique prédéfinie. Le choix dépend de la finalité du jeu de données. La même question se pose lorsqu’une équipe produit évalue les résultats d’une IA : cherchez-vous à identifier ce que les utilisateurs préfèrent, ou à décider de ce que le produit doit impérativement faire ?
Indiquez clairement cet objectif en haut de votre formulaire d’évaluation :
Nous recueillons ces étiquettes pour vérifier si la réponse de l’IA respecte le comportement attendu défini pour cette tâche.
Ou bien :
Nous recueillons ces retours afin de comprendre quels styles de réponses valides sont les plus adaptés selon les profils d’utilisateurs et les situations.
Une équipe peut tout à fait collecter les deux types de retours, à condition de les distinguer nettement grâce aux étiquettes.
Qualifiez le comportement avant de juger la forme
Pour chaque résultat, notez trois éléments :
Comportement observé : qu’a réellement produit le système ?
Critère : quelle règle produit convenue s’applique ici ?
Impact : quelles pourraient être les conséquences pour l’utilisateur si ce comportement persiste ?
Pour une fonctionnalité de synthèse de recherche utilisateur, voici une grille d’étiquettes possibles :
Libellé
Quand l’utiliser
Hors sujet
Le résultat ne répond pas à la tâche demandée par l’utilisateur
Affirmation non étayée
Une affirmation factuelle ne peut être rattachée à aucun des documents fournis
Omission importante
Un élément de preuve pertinent ou une contradiction majeure a été ignoré
Confusion de contexte
Le résultat mélange des sources ou des personnes qui devraient rester distinctes
Mauvaise recommandation
La proposition d’action ne découle pas logiquement des éléments fournis et de l’objectif fixé
Préférence
Le résultat est fonctionnel, mais l’évaluateur aurait privilégié un autre style ou une autre structure
Impossible à évaluer
Les sources ou le contexte de la tâche sont insuffisants pour porter un jugement
Ces étiquettes ne sont qu’un point de départ. Adaptez-les au contexte réel d’utilisation de votre produit et à ses risques spécifiques. Un terme comme « hallucination » est souvent trop vague pour guider un correctif. En revanche, indiquer qu’« une affirmation sur la raison du départ d’un client ne s’appuie sur aucun passage d’entretien » montre précisément à l’équipe ce qui n’a pas fonctionné et quelle preuve permettrait de trancher.
Rendez chaque anomalie vérifiable
Lorsqu’un évaluateur signale un comportement défaillant, demandez-lui d’apporter des éléments concrets :
Sélectionnez la phrase ou le passage exact dans la réponse générée.
Mentionnez la source ou l’instruction de départ qui aurait dû être respectée.
Formulez en une phrase le comportement attendu.
Décrivez l’impact pour l’utilisateur final.
Évaluez la sévérité du problème indépendamment de votre niveau de certitude quant à l’étiquette choisie.
Exemple :
Champ
Exemple
Extrait du résultat
« Les utilisateurs sont partis car la configuration initiale était trop complexe. »
Source
Trois entretiens mentionnent la configuration, mais aucun n’indique pourquoi les utilisateurs sont partis
Critère
Ne pas avancer de cause sans qu’une source ne l’atteste
Comportement attendu
Préciser que la configuration a été évoquée, sans en tirer de conclusion définitive sur la cause du départ
Impact
L’équipe risque de prioriser le mauvais problème
Sévérité
Élevée pour ce type de prise de décision
Niveau de certitude
Évident
La sévérité et le niveau de certitude répondent à des questions différentes. Un évaluateur peut avoir un doute sur le fait qu’une affirmation manque de sources, tout en sachant que si c’est le cas, la conséquence sera majeure. Séparer ces deux dimensions aide le PM à identifier rapidement ce qui nécessite une vérification immédiate.
Ne demandez pas à l’évaluateur de poser un diagnostic technique. Expliquer que « le système de recherche d’informations (RAG) a échoué » relève d’une hypothèse de développement. L’évaluation doit documenter le problème observable ; c’est aux ingénieurs d’en comprendre l’origine technique.
Considérez les désaccords comme un signal précieux
Lorsque deux évaluateurs attribuent des étiquettes différentes, n’appliquez pas d’emblée la règle de la majorité. Analysez d’abord la cause de leur divergence :
La règle manque de clarté : les évaluateurs ne savent pas exactement ce que le produit est censé garantir. Réécrivez le critère et ajoutez un exemple concret.
Le contexte est incomplet : il manque à l’évaluateur la source, l’objectif de l’utilisateur ou les droits nécessaires pour juger. Corrigez le cas d’évaluation.
Un arbitrage fonctionnel n’est pas tranché : les deux avis sont pertinents, mais ils impliquent des choix de produit différents. Le PM doit alors prendre la décision ou l’arbitrer avec des experts métier.
Il s’agit de préférences légitimes : conservez cette diversité et cherchez à savoir si elle correspond à un segment d’utilisateurs, une tâche ou un contexte d’usage particulier.
L’évaluation a été mal menée : les consignes étaient claires, mais un évaluateur a pu omettre un document ou mal interpréter la consigne. Clarifiez le guide d’évaluation et rejouez le test.
Cette approche évite de ranger trop vite chaque désaccord sous l’étiquette « erreur humaine ». Une divergence révèle souvent une règle incomplète ou une véritable diversité dans les besoins des utilisateurs. Une étude de 2022 sur les méthodes d’annotation souligne ce point essentiel : parfois, l’enjeu est de refléter des perspectives variées ; d’autres fois, il s’agit d’appliquer une norme stricte. Déterminez l’objectif adapté à votre produit avant de réduire les avis à un verdict unique.
Menez un court atelier de cadrage avant de déployer l’évaluation
Commencez par un petit échantillon de cas représentatifs : un cas classique, un cas avec source manquante, une contradiction, une variation de style et un cas limite. Demandez à deux évaluateurs ou plus de les annoter séparément, puis examinez ensemble leurs arguments et leurs preuves.
L’objectif de cette étape n’est pas d’obtenir immédiatement un consensus parfait. Il consiste à repérer les points où les instructions ne permettent pas encore de différencier clairement :
une erreur factuelle d’une déduction non étayée
un détail omis d’un détail superflu au vu de l’objectif utilisateur
une préférence de style d’un vrai défaut d’utilisabilité
une imperfection mineure d’un comportement bloquant pour la mise en production
une erreur du modèle d’un contexte d’entrée médiocre ou insuffisant
Mettez à jour votre guide avec les décisions prises, assorties d’un exemple synthétique. Conservez les évaluations initiales : elles indiquent si le désaccord provenait du cas étudié, de la règle définie ou de la formulation des consignes.
Le cadre de gestion des risques de l’IA du NIST (NIST AI Risk Management Framework) recommande aux équipes de clarifier les rôles et la supervision autour de l’interaction entre l’humain et l’IA. Pour une équipe produit, formaliser un guide d’évaluation permet de rendre ces responsabilités tangibles : qui apporte l’expertise métier, qui applique la règle, et qui garantit la fiabilité et l’implémentation technique.
Reliez les évaluations aux arbitrages produit
Un ensemble d’annotations ne constitue pas en soi une décision de lancement. Il s’agit d’une matière première factuelle pour répondre à des questions stratégiques :
Le comportement attendu du produit est-il défini avec assez de précision pour le développement ?
Quels défauts imposent de revoir les règles fonctionnelles du produit ?
Quels défauts relèvent de l’implémentation technique ou de la fiabilité ?
L’équipe a-t-elle besoin d’exemples plus représentatifs ?
Cette divergence relève-t-elle d’une préférence justifiant une option de personnalisation ?
Quels points doivent être réévalués après la modification d’un prompt, du modèle ou du flux d’exécution ?
Gardez une trace concise de chaque session d’évaluation : tâche et contexte utilisateur, version de la règle produit, sources utilisées, étiquettes attribuées, désaccords en suspens, décisions et responsable désigné. Lorsque la règle évolue, créez une nouvelle version et réévaluez les cas qui en dépendent. L’équipe pourra ainsi savoir si une modification dans les réponses provient d’une évolution de la règle produit ou d’une variation du comportement du système.
Les PM portent la responsabilité de l’expérience utilisateur visée, des arbitrages métier et de ce que les exemples doivent modéliser. Ce sont eux qui rédigent les prompts, passent en revue les réponses et définissent les critères d’acceptation, car ce travail participe pleinement à la spécification du produit. Les ingénieurs, de leur côté, sont garants de l’implémentation en production, de la gestion des accès, de la robustesse et des architectures techniques qui rendent ce comportement possible.
Une fiche d’annotation prête à l’emploi
Vous pouvez copier cette grille pour votre prochaine session d’évaluation :
Tâche et profil utilisateur : Règle produit testée : Extrait de la réponse : Source ou contexte : Comportement observé : Comportement attendu : Impact utilisateur et niveau de sévérité : Niveau de certitude de l’étiquette : Non-respect d’une règle, contexte manquant ou préférence personnelle ? Décision prise, responsable et date de réévaluation :
Si votre équipe peine à formaliser la règle produit applicable, interrompez l’évaluation pour trancher d’abord ce que le produit doit faire. Une grille d’analyse n’a de valeur que si elle traduit un choix fonctionnel que l’équipe assume pleinement.
GDPR-aligned. EU workspace data is stored in Frankfurt, Germany. GDPR and EU data Built in Vienna, Austria. A product of influence solutions fm GmbH (FN 675374y). Imprint 14-day trial. Card required, and nothing is charged until day 14. 30-day refund after subscribing. See pricing