19 octobre 2026Mis à jour le Fathy Shalaby15 min de lecture
Hallucination de l'IA dans les specs : l'audit Claim Trace en 15 minutes
Les specs rédigées par l'IA semblent sourcées, mais ne le sont souvent pas. Le Claim Trace est un audit de 15 minutes qui étiquette chaque affirmation Sourcée, Inférée, Supposée ou Inventée avant que l'ingénierie ou un agent de code ne construise dessus.
Une hallucination de l'IA dans une spec, c'est lorsqu'un PRD ou une spec rédigé par l'IA affirme sur vos utilisateurs, votre marché ou votre produit quelque chose qu'aucune source ne soutient, sur le même ton assuré que les parties vraies. Le remède est un audit court avant que quiconque ne construise : tracer chaque affirmation et l'étiqueter Sourcée, Inférée, Supposée ou Inventée. Nous appelons cet audit le Claim Trace, et il prend environ 15 minutes.
L'essentiel
Le NIST classe la « confabulation » parmi les 12 risques propres à l'IA générative ou aggravés par elle, et avertit que les modèles peuvent aussi produire de fausses citations qui justifient une réponse erronée (NIST, 2024).
Les modèles devinent parce que l'entraînement et les benchmarks récompensent la devinette : sur les 10 benchmarks populaires passés en revue par un article de 2025, 9 n'accordent aucun point à « je ne sais pas » (Kalai et al., 2025).
Dans les specs, l'hallucination invente rarement une fonctionnalité. Elle invente une raison : un schéma d'usage, un moteur de churn, un classement des demandes « les plus fréquentes ».
Seuls 3 % des développeurs disent avoir une grande confiance dans l'exactitude des résultats de l'IA, et 46 % s'en méfient activement (Stack Overflow, 2025). Les specs méritent le même scepticisme que le code.
Le résultat le plus utile de l'audit n'est pas la spec nettoyée. C'est le registre d'hypothèses, qui devient votre plan de discovery.
Qu'est-ce que l'hallucination dans une spec ?
L'hallucination dans une spec est une forme particulière de ce que le NIST appelle la confabulation : un contenu « confidently stated but erroneous or false » qui peut induire le lecteur en erreur (NIST AI 600-1). Dans une spec, elle se loge dans les sections Problème, Contexte et Métriques de succès, celles qui sont censées venir de preuves.
Elle ressemble rarement à une fonctionnalité inventée. La fonctionnalité est plausible et la structure propre. Ce qui est inventé, c'est la justification :
« Les admins exportent aujourd'hui leurs données à la main chaque semaine. »
« Le reporting était la capacité la plus demandée parmi les comptes perdus. »
« Nous attendons une hausse significative de l'activation. »
Chacune se lit comme un constat. Aucune n'en est peut-être un. Le modèle a lu des milliers de PRD ; il produit donc la forme de la preuve : un comportement, un segment, un sens de variation. Si vos entrées étaient minces, il comble les trous avec ce qui est statistiquement typique pour une spec comme la vôtre.
Hallucination intrinsèque et extrinsèque dans une spec
Les chercheurs distinguent deux types d'hallucinations (Ji et al., 2022), et les deux apparaissent dans les specs :
Type
Définition
À quoi cela ressemble dans une spec
Intrinsèque
La sortie contredit la source que vous avez donnée au modèle
Vos notes d'entretien disent que 3 clients sur 12 ont mentionné les exports ; la spec dit « la plupart des clients »
Extrinsèque
La sortie ne peut être ni soutenue ni contredite par la source
La spec dit « les admins passent des heures dans des tableurs » et rien de ce que vous avez fourni ne mentionne le temps
Les hallucinations extrinsèques sont les plus difficiles à repérer, car il n'y a rien à comparer. Le lecteur doit remarquer qu'une phrase n'a aucune source, ce que précisément une écriture fluide dissimule.
Pourquoi les modèles d'IA inventent-ils des affirmations dans les specs ?
Un article de 2025 de chercheurs d'OpenAI et de Georgia Tech soutient que les modèles hallucinent parce que l'entraînement et l'évaluation récompensent la devinette plutôt que l'aveu d'incertitude, un peu comme un élève qui devine à un QCM (Kalai et al., 2025). Sur 10 benchmarks très utilisés passés en revue par les auteurs, 9 notent les réponses strictement juste ou faux et n'accordent aucun crédit à « je ne sais pas ». Avec ce barème, une supposition assurée bat toujours un blanc honnête.
L'article explique aussi pourquoi certains faits sont plus exposés que d'autres. Si 20 % d'un type de faits (leur exemple : les dates de naissance) n'apparaissent qu'une seule fois dans les données d'entraînement, on doit s'attendre à ce qu'un modèle de base hallucine sur au moins 20 % de ces faits. Quand les auteurs ont demandé une date de naissance à un grand modèle ouvert en précisant « ne réponds que si tu sais », il a donné trois dates fausses différentes.
Appliquez cela à votre spec. Les faits sur vos clients, vos comptes perdus et les habitudes hebdomadaires de vos admins apparaissent zéro fois dans toute donnée d'entraînement. Le seul moyen pour un modèle de les énoncer, c'est que vous les lui ayez fournis. Tout ce qui est précis sur vos utilisateurs et que vous n'avez pas fourni est, par construction, une supposition déguisée en constat.
Le NIST ajoute un avertissement qui compte pour les documents produit : le texte généré peut inclure une logique ou des citations confabulées qui justifient la réponse, ce qui rend les lecteurs plus enclins à lui faire confiance (NIST, 2024). Une spec qui dit « comme nous l'ont dit les clients au T3 » est plus persuasive qu'une qui affirme simplement, que cette conversation du T3 ait existé ou non.
Pourquoi l'hallucination de l'IA dans les specs coûte-t-elle plus cher en 2026 ?
Trois choses ont changé en même temps.
Le coût de rédaction s'est effondré. Une spec prenait une journée à un PM, et cette journée l'obligeait à retourner aux preuves. Aujourd'hui le brouillon arrive en moins d'une minute, avant que quiconque ait rouvert la recherche.
Le coût en aval, lui, ne s'est pas effondré. Si un ingénieur ou un agent de code construit à partir de la spec, une prémisse fabriquée devient du code fonctionnel en quelques heures. Vous découvrez que la prémisse était inventée après la livraison, pas avant.
Les habitudes de relecture ne se sont pas adaptées. Les équipes relisent les specs pour la clarté, l'exhaustivité et le ton, c'est-à-dire les qualités que les modèles de langage produisent le mieux. Presque personne ne relit pour la provenance. Les développeurs ont déjà appris cette leçon avec le code : 66 % citent les « solutions d'IA presque justes, mais pas tout à fait » comme leur plus grande frustration, et 45 % disent que déboguer du code généré par l'IA prend plus de temps (Stack Overflow, 2025). Une spec presque juste est pire, car rien n'échoue à la compilation.
Les documents professionnels ne sont pas épargnés. En octobre 2025, Deloitte a accepté de rembourser la dernière échéance d'un rapport de 440 000 AU$ pour un ministère australien après qu'un chercheur eut trouvé de fausses références académiques et une citation inventée d'un jugement. La version corrigée a retiré plus d'une douzaine de références et notes de bas de page bidon et indiqué qu'une chaîne d'outils basée sur GPT-4o avait été utilisée (The Register, 2025). Une spec fait rarement l'objet d'un tel examen extérieur, c'est pourquoi la vérification doit avoir lieu au sein de l'équipe.
Le remède n'est pas de « ne plus utiliser l'IA pour rédiger ». C'est d'ajouter l'étape de relecture que le brouillon a sautée : relier chaque affirmation à une source.
Comment auditer une spec rédigée par l'IA ? Le Claim Trace
Lisez la spec une fois, phrase par phrase. Chaque phrase qui affirme quelque chose sur les utilisateurs, le marché, le produit ou l'avenir reçoit exactement l'une de quatre étiquettes.
Étiquette
Définition
Le test
Ce que vous en faites
Sourcée
Renvoie à quelque chose que vous pouvez ouvrir : un entretien, un ticket, un résultat de requête, une décision signée
Un collègue qui n'y était pas peut-il cliquer et voir la même chose ?
Joindre le lien en ligne
Inférée
Une conclusion raisonnable tirée d'éléments sourcés, mais la conclusion elle-même est nouvelle
Pouvez-vous nommer les sources dont elle est inférée ?
Joindre les sources et rendre l'inférence visible (« D'après les 3 appels liés, nous pensons que… »)
Supposée
Quelque chose que l'équipe croit mais n'a pas vérifié
Quelqu'un dans l'équipe parierait-il de l'argent dessus sans vérifier ?
La déplacer dans le registre d'hypothèses avec un responsable et un test
Est-ce un humain ou une source qui l'a mis là, ou le modèle ?
La supprimer, ou la transformer en question
Sourcée
« Trois des cinq derniers appels d'onboarding mentionnent l'export vers des tableurs » est sourcé si vous pouvez lier ces trois appels. Le test est mécanique : un collègue qui n'était pas dans la pièce peut ouvrir le lien et voir la même chose.
Inférée
« Les admins exportent probablement parce qu'ils font du reporting vers le haut » est inféré de ces appels. C'est acceptable, tant que c'est étiqueté et que les sources sous-jacentes sont jointes. L'inférence est l'endroit où réside le jugement produit ; le problème, c'est seulement l'inférence non étiquetée.
Supposée
Les hypothèses n'ont rien de honteux. Les specs tournent avec. L'échec survient quand une hypothèse est écrite sur le même ton qu'un constat, si bien que le lecteur l'absorbe au lieu de la questionner.
Inventée
C'est l'étiquette qui compte le plus. Les affirmations inventées sont la contribution du modèle au document, et ce sont celles qu'il faut supprimer ou convertir en questions.
Ne débattez pas des cas limites entre étiquettes. Si vous hésitez entre Inférée et Supposée, choisissez Supposée. L'étiquette est une invitation à regarder de plus près, pas un verdict.
Comment réaliser le Claim Trace en 15 minutes ?
Minutes 0 à 3 : extraire. Copiez chaque affirmation factuelle dans une liste de travail. Ignorez les exigences pures (« l'export doit être un CSV ») ; ce sont des décisions, pas des affirmations. Cherchez les phrases qui commencent par « les utilisateurs », « les clients », « les admins », « actuellement », « la plupart », « parce que » ou un chiffre.
Minutes 3 à 8 : tracer. Pour chaque affirmation, essayez de trouver la source en moins de 60 secondes. Si vous n'y arrivez pas, elle n'est pas Sourcée. Ne cherchez pas une justification après coup : chercher jusqu'à ce que quelque chose colle vaguement, c'est ainsi que les affirmations inventées se font blanchir en affirmations sourcées.
Minutes 8 à 12 : agir selon chaque étiquette. Sourcée reçoit un lien. Inférée reçoit des liens et un raisonnement visible. Supposée va dans le registre avec un responsable et le test le moins cher. Inventée est supprimée ou réécrite en question.
Minutes 12 à 15 : relire la spec. Si la section Problème s'est effondrée quand les affirmations inventées en sont sorties, vous avez appris la chose la plus précieuse que l'audit puisse vous dire : la fonctionnalité n'a pas encore de problème.
Une règle de décision simple pour la fin de l'étape 4 : si plus d'un tiers des affirmations de la section Problème sont revenues Inventées, renvoyez la spec en discovery plutôt qu'en ingénierie.
À quoi ressemble un Claim Trace sur un vrai brouillon ?
Prenez un brouillon d'IA inventé mais typique pour une fonctionnalité d'export admin. La section Problème dit :
Les admins exportent leurs données à la main chaque semaine, en passant des heures dans des tableurs. Le reporting est la demande numéro un des comptes perdus. Un export natif réduira le churn.
Lancez le Claim Trace :
Affirmation
Étiquette
Action
Les admins exportent leurs données à la main chaque semaine
Supposée (un appel l'a mentionné, rien sur la fréquence)
Déplacer dans le registre ; tester avec une requête d'usage
En passant des heures dans des tableurs
Inventée
Supprimer
Le reporting est la demande numéro un des comptes perdus
Inventée (aucun classement n'existe nulle part)
Supprimer ; remplacer par une question
Un export natif réduira le churn
Supposée
Garder comme hypothèse avec une métrique et une date
Quatre affirmations : deux supprimées, deux rétrogradées, zéro sourcée. La section Problème réécrite est plus courte et honnête :
Un appel d'onboarding (lié) a mentionné l'export de données de compte vers un tableur. Nous ne savons pas encore à quelle fréquence les admins exportent ni pourquoi. Question ouverte : qu'ont dit les comptes perdus en partant ? Hypothèse : un export natif réduit le churn parmi les comptes de plus de 5 admins. Nous le vérifierons avant de nous engager dans un développement.
Ce document peut toujours mener à un développement. Mais l'équipe sait maintenant sur quoi elle parie, et la personne qui le lit peut contester l'hypothèse au lieu de l'absorber.
Que met-on dans le registre d'hypothèses ?
Le registre est la liste de toutes les affirmations Supposées, et c'est votre plan de discovery. Consignez quatre champs par ligne :
REGISTRE D'HYPOTHÈSES : [nom de la spec]
| # | Hypothèse (telle qu'écrite dans la spec) | Responsable | Test le moins cher | Décider avant le |
|---|---|---|---|---|
| 1 | Les admins exportent les données de compte chaque semaine | [nom] | Requête sur les clics du bouton d'export des 30 derniers jours | [date] |
| 2 | Un export natif réduira le churn | [nom] | Demander à 5 comptes perdus pourquoi ils sont partis, avant de construire | [date] |
| 3 | | | | |
Une spec avec un registre court et attribué peut avancer vite en sécurité. Une spec sans registre n'a soit aucune hypothèse, ce qui est presque toujours faux, soit les a cachées. Pour une méthode plus complète de classement des hypothèses selon leur importance et leurs preuves, consultez notre guide de la cartographie des hypothèses, ou triez-les avec la carte des hypothèses gratuite.
Comment réduire l'hallucination de l'IA dans les specs avant leur rédaction ?
Un traçage manuel fonctionne, mais il repose sur la discipline au moment précis où elle est la plus facile à sauter. Mieux vaut demander la provenance pendant que le brouillon est produit. La documentation d'Anthropic énumère les techniques de base (Anthropic) :
Autoriser « je ne sais pas ». Permettez explicitement au modèle de dire qu'il manque d'informations.
Citer d'abord. Pour les longues entrées (Anthropic donne plus de 20 000 tokens comme seuil), demandez au modèle d'extraire des citations mot pour mot avant de rédiger quoi que ce soit.
Citer, puis retirer. Demandez au modèle de trouver une citation à l'appui de chaque affirmation après la rédaction, et de retirer toute affirmation qu'il ne peut pas étayer.
Restreindre les connaissances. Dites-lui de n'utiliser que les documents que vous avez fournis, pas ses connaissances générales.
L'article de Kalai suggère une idée de plus : énoncer un objectif de confiance dans le prompt. Par exemple, ne répondre que si l'on est sûr à plus de 75 %, car une mauvaise réponse coûte 2 points et « je ne sais pas » ne coûte rien (Kalai et al., 2025). Appliqué aux specs, cela revient à récompenser le modèle pour avoir écrit « pas de source » au lieu de combler le vide avec aisance.
Voici un bloc de prompt à coller sous n'importe quelle demande de spec :
Utilise UNIQUEMENT les notes de recherche, tickets et données que j'ai joints.
Pour chaque phrase sur les utilisateurs, les clients, le marché ou les résultats attendus :
- ajoute [S : source] si un élément joint précis l'étaye,
- ajoute [I : sources] s'il s'agit de ton inférence à partir d'éléments joints,
- ajoute [A] s'il s'agit d'une hypothèse sans source.
N'énonce aucun chiffre, classement ou fréquence qui ne figure pas dans les pièces jointes.
Si une section n'a aucun élément à l'appui, écris « Pas encore de preuves » et liste
les questions auxquelles nous devrions répondre.
Après la rédaction, vérifie chaque affirmation [S] par rapport à la pièce jointe et retire
toute affirmation que tu ne peux pas étayer par une citation directe.
Anthropic précise que ces techniques réduisent les hallucinations sans les éliminer. Le prompt accélère le Claim Trace ; il ne le remplace pas. Si vous rédigez tout le PRD avec l'IA, notre guide du PRD par IA couvre le reste du workflow.
Erreurs courantes dans la vérification des specs rédigées par l'IA
Relire pour le style plutôt que pour la provenance. La clarté et le ton sont ce que les modèles font le mieux. Demandez « d'où cela vient-il ? » avant « est-ce bien écrit ? »
Chercher une source après coup. Si une affirmation demande cinq minutes de recherche pour être justifiée, elle était Supposée ou Inventée au moment de l'écriture.
Traiter les exigences comme des affirmations. « L'export doit gérer le CSV » est une décision. Ne gaspillez pas les 15 minutes à tracer des décisions.
N'auditer que la section Problème. Les métriques de succès hallucinent aussi. « Une hausse de 15 % de l'activation » sans base de référence est Inventée, aussi précise qu'elle paraisse.
Laisser le registre pourrir. Une hypothèse sans responsable ni date est un vœu pieux. Si le registre n'est pas relu avant le début du développement, l'audit n'était que du théâtre.
Où le Claim Trace s'arrête-t-il ?
La méthode vous dit si une affirmation a une source. Elle ne dit pas si la source est bonne. Une spec entièrement sourcée peut quand même décrire la mauvaise chose, car les sources peuvent être biaisées, minces ou non représentatives. Associez le traçage à un contrôle de la qualité des preuves : combien de sources indépendantes, quelle fraîcheur, quelle proximité avec une vraie décision d'achat ou d'usage. Notre article sur ce qui compte comme preuve pour chaque risque produit propose une échelle rapide pour cela.
Il ne couvre aussi qu'une partie du risque. Les quatre grands risques de Marty Cagan sont la valeur, l'utilisabilité, la faisabilité et la viabilité économique, et il confie la valeur et la viabilité au product manager (SVPG, 2017). L'IA a rendu un prototype fonctionnel peu coûteux, ce qui réduit certaines questions de faisabilité. Elle n'a pas rendu la valeur ou la viabilité plus faciles à connaître, et ce sont précisément les sections où les affirmations inventées se concentrent.
Le Claim Trace est plus simple quand la provenance est capturée au moment de l'écriture. C'est le parti pris de conception de Specky. Entretiens, tickets, retours et décisions vivent sous forme de nœuds connectés dans un Product Graph, et lorsque l'IA rédige une spec ou un insight, elle cite en ligne les preuves précises qu'elle a utilisées. Les brouillons arrivent dans le PM Inbox pour relecture humaine au lieu d'entrer directement dans le dossier, de sorte qu'un relecteur voit quelles phrases portent des citations et lesquelles n'en portent aucune. Vous pouvez approcher la même chose dans n'importe quel outil avec le prompt ci-dessus ; l'essentiel est que « pas de source » soit visible, pas caché.
Questions fréquentes
Qu'est-ce que l'hallucination de l'IA dans les specs ?
C'est lorsqu'un PRD ou une spec rédigé par l'IA affirme sur les utilisateurs, le marché ou les résultats attendus quelque chose qu'aucune source ne soutient, sur le même ton assuré que les parties sourcées. Elle prend généralement la forme d'une raison inventée (un schéma d'usage, un classement, un moteur de churn) plutôt que d'une fonctionnalité inventée, ce qui explique que les relecteurs la manquent.
Combien de temps prend un Claim Trace ?
Environ 15 minutes pour une spec typique d'une à trois pages : 3 minutes pour extraire les affirmations, 5 pour les tracer, 4 pour agir selon chaque étiquette et 3 pour relire. Comptez 60 secondes par affirmation pour trouver une source. Les specs plus longues évoluent à peu près avec le nombre d'affirmations factuelles, pas avec le nombre de pages.
Puis-je demander à l'IA de vérifier elle-même les hallucinations de sa spec ?
En partie. Demander au modèle de trouver une citation à l'appui de chaque affirmation et de retirer celles qu'il ne peut pas étayer est l'une des techniques recommandées par Anthropic, et elle attrape de nombreuses hallucinations extrinsèques. Ce n'est pas suffisant seul, car le modèle peut mal lire une source ou citer quelque chose qui n'étaye pas vraiment l'affirmation. Un humain vérifie toujours les liens.
Quelle est la différence entre une hypothèse et une hallucination ?
Une hypothèse est une croyance que l'équipe a et qu'elle sait ne pas avoir vérifiée. Une hallucination est une affirmation sans origine, à laquelle personne dans l'équipe ne croyait avant que le modèle ne l'écrive. Les hypothèses étiquetées sont utiles parce qu'elles deviennent des tests. Les hallucinations doivent être supprimées ou transformées en questions.
Devons-nous arrêter d'utiliser l'IA pour écrire des PRD ?
Non. La rédaction par l'IA fait gagner un vrai temps sur la structure, les cas limites et la formulation. Le risque se situe dans les sections de preuves. Fournissez la recherche, les tickets et les données en entrée, demandez au modèle de marquer les sources et les hypothèses, et lancez un Claim Trace avant que la spec n'aille à l'ingénierie ou à un agent de code.
Que faire si la majeure partie de la section Problème est inventée ?
Arrêtez le développement et retournez en discovery. Si plus d'un tiers des affirmations du problème sont inventées, la fonctionnalité n'a pas encore de problème démontré. Transformez chaque affirmation inventée en question, choisissez les deux qui changeraient le plus la décision, et testez-les d'abord par des entretiens, une requête d'usage ou une revue des tickets de support.
GDPR-aligned. EU workspace data is stored in Frankfurt, Germany. GDPR and EU data Built in Vienna, Austria. A product of influence solutions fm GmbH (FN 675374y). Imprint 14-day trial. Card required, and nothing is charged until day 14. 30-day refund after subscribing. See pricing