19 oktober 2026Bijgewerkt op Fathy Shalaby15 min leestijd
AI-hallucinaties in specs: de Claim Trace-audit in 15 minuten
Door AI geschreven specs klinken onderbouwd, maar zijn het vaak niet. De Claim Trace is een audit van 15 minuten die elke bewering labelt als Onderbouwd, Afgeleid, Aangenomen of Verzonnen voordat engineering of een coding agent erop bouwt.
Een AI-hallucinatie in specs is wanneer een door AI geschreven PRD of spec iets beweert over je gebruikers, je markt of je product waar geen bron voor is, in dezelfde zelfverzekerde toon als de delen die wel kloppen. De oplossing is een korte audit voordat iemand bouwt: herleid elke bewering en label haar als Onderbouwd, Afgeleid, Aangenomen of Verzonnen. Die audit noemen wij de Claim Trace, en hij duurt ongeveer 15 minuten.
Belangrijkste punten
NIST noemt "confabulatie" als een van de 12 risico's die uniek zijn voor generatieve AI of erdoor worden verergerd, en waarschuwt dat modellen ook verzonnen bronvermeldingen kunnen produceren die een fout antwoord rechtvaardigen (NIST, 2024).
Modellen gokken omdat training en benchmarks gokken belonen: van de 10 populaire benchmarks die een paper uit 2025 onderzocht, geven er 9 geen punt voor "ik weet het niet" (Kalai et al., 2025).
In specs verzint hallucinatie zelden een feature. Ze verzint een reden: een gebruikspatroon, een churn-aanjager, een ranglijst van "meest gevraagd".
Slechts 3% van de ontwikkelaars zegt sterk te vertrouwen op de juistheid van AI-uitvoer, en 46% wantrouwt die actief (Stack Overflow, 2025). Specs verdienen hetzelfde scepticisme als code.
De nuttigste uitkomst van de audit is niet de opgeschoonde spec. Het is het aannamelogboek, dat je discovery-plan wordt.
Wat is spec-hallucinatie?
Spec-hallucinatie is een specifieke vorm van wat NIST confabulatie noemt: "confidently stated but erroneous or false content" die de lezer op het verkeerde been kan zetten (NIST AI 600-1). In een spec zit ze in de secties Probleem, Context en Succesmaatstaven, de delen die uit bewijs zouden moeten komen.
Ze ziet er zelden uit als een verzonnen feature. De feature is aannemelijk en de structuur netjes. Het verzonnen deel is de onderbouwing:
"Admins exporteren elke week handmatig data."
"Rapportage was de meest gevraagde mogelijkheid onder vertrokken accounts."
"We verwachten een merkbare stijging in activatie."
Elk klinkt als een bevinding. Misschien is geen enkele dat. Het model heeft duizenden PRD's gelezen en produceert daarom de van bewijs: een gedrag, een segment, een richting van verandering. Als je invoer mager was, vult het de gaten met wat statistisch typisch is voor een spec als de jouwe.
Intrinsieke versus extrinsieke hallucinatie in een spec
Onderzoekers onderscheiden twee soorten hallucinaties (Ji et al., 2022), en beide komen in specs voor:
Type
Definitie
Hoe het eruitziet in een spec
Intrinsiek
De uitvoer spreekt de bron tegen die je het model gaf
Je interviewnotities zeggen dat 3 van 12 klanten exports noemden; de spec zegt "de meeste klanten"
Extrinsiek
De uitvoer kan door de bron niet worden ondersteund en ook niet worden weerlegd
De spec zegt "admins zitten uren in spreadsheets" en niets wat je aanleverde noemt tijd überhaupt
Extrinsieke hallucinaties zijn lastiger op te sporen, omdat er niets is om ze mee te vergelijken. De lezer moet merken dat een zin geen bron heeft, en juist dat verbergt vloeiend schrijven.
Waarom verzinnen AI-modellen beweringen in specs?
Een paper uit 2025 van onderzoekers van OpenAI en Georgia Tech stelt dat modellen hallucineren omdat training en evaluatie gokken belonen boven het toegeven van onzekerheid, net als een student die gokt bij een meerkeuzetoets (Kalai et al., 2025). Van de 10 veelgebruikte benchmarks die de auteurs bekeken, beoordelen er 9 antwoorden strikt als goed of fout en geven ze geen krediet voor "ik weet het niet". Bij die scoring wint een zelfverzekerde gok altijd van een eerlijk blanco antwoord.
Het paper verklaart ook waarom sommige feiten kwetsbaarder zijn dan andere. Als 20% van een soort feiten (hun voorbeeld zijn verjaardagen van mensen) maar één keer in de trainingsdata voorkomt, mag je verwachten dat een basismodel bij minstens 20% van die feiten hallucineert. Toen de auteurs een groot open model om een verjaardag vroegen en zeiden "antwoord alleen als je het weet", gaf het drie verschillende foute data.
Pas dat toe op je spec. Feiten over jouw klanten, jouw vertrokken accounts en de wekelijkse gewoonten van jouw admins komen nul keer voor in trainingsdata. Het enige wat een model ertoe kan brengen ze te beweren, is dat jij ze hebt aangeleverd. Alles wat specifiek is over je gebruikers en wat je niet hebt aangeleverd, is per definitie een gok vermomd als bevinding.
NIST voegt nog een waarschuwing toe die voor productdocumenten telt: gegenereerde tekst kan geconfabuleerde logica of bronvermeldingen bevatten die het antwoord rechtvaardigen, waardoor lezers het eerder geloven (NIST, 2024). Een spec die zegt "zoals klanten ons in Q3 vertelden" overtuigt meer dan een die simpelweg stelt, of dat gesprek in Q3 nu bestaat of niet.
Waarom is AI-hallucinatie in specs in 2026 duurder?
Drie dingen veranderden tegelijk.
De kosten van opstellen stortten in. Een spec kostte een PM vroeger een dag, en die dag dwong tot contact met het bewijs. Nu komt het concept binnen een minuut, voordat iemand het onderzoek heeft heropend.
De kosten verderop stortten niet in. Als een engineer of een AI-coding agent op basis van de spec bouwt, wordt een verzonnen aanname binnen enkele uren werkende code. Je ontdekt dat de aanname verzonnen was nadat de feature live is, niet ervoor.
Reviewgewoonten pasten zich niet aan. Teams beoordelen specs op helderheid, volledigheid en toon, precies de eigenschappen die taalmodellen het best produceren. Bijna niemand beoordeelt op herkomst. Ontwikkelaars leerden die les al met code: 66% noemt "AI-oplossingen die bijna goed zijn, maar net niet" hun grootste frustratie, en 45% zegt dat het debuggen van door AI gegenereerde code langer duurt (Stack Overflow, 2025). Een bijna juiste spec is erger, want er faalt niets bij het compileren.
Ook professionele documenten zijn niet immuun. In oktober 2025 stemde Deloitte ermee in de laatste termijn van een rapport van AU$440.000 voor een Australisch overheidsdepartement terug te betalen, nadat een onderzoeker verzonnen wetenschappelijke verwijzingen en een verzonnen citaat uit een rechterlijke uitspraak had gevonden. De gecorrigeerde versie verwijderde meer dan een dozijn valse verwijzingen en voetnoten en maakte bekend dat een op GPT-4o gebaseerde toolketen was gebruikt (The Register, 2025). Een spec krijgt zelden zoveel kritische blik van buitenaf, daarom moet de controle binnen het team gebeuren.
De oplossing is niet "gebruik geen AI om te schrijven". Het is de reviewstap toevoegen die het concept oversloeg: elke bewering herleiden tot een bron.
Hoe audit je een door AI geschreven spec? De Claim Trace
Lees de spec één keer, zin voor zin. Elke zin die iets beweert over gebruikers, de markt, het product of de toekomst krijgt precies één van vier labels.
Label
Definitie
De test
Wat je ermee doet
Onderbouwd
Wijst naar iets wat je kunt openen: een interview, een ticket, een queryresultaat, een ondertekend besluit
Kan een teamgenoot die er niet bij was doorklikken en hetzelfde zien?
De link inline toevoegen
Afgeleid
Een redelijke conclusie uit onderbouwd materiaal, maar de conclusie zelf is nieuw
Kun je de bronnen noemen waaruit ze is afgeleid?
De bronnen toevoegen en de afleiding zichtbaar maken ("Op basis van de 3 gelinkte gesprekken denken we dat…")
Aangenomen
Iets wat het team gelooft maar niet heeft gecontroleerd
Zou iemand in het team er zonder controle geld op inzetten?
Naar het aannamelogboek verplaatsen met een eigenaar en een test
Verzonnen
Geen bron, geen afleidingsketen, niemand kan zeggen waar het vandaan komt
Heeft een mens of een bron dit hier neergezet, of het model?
Verwijderen, of omzetten in een vraag
Onderbouwd
"Drie van de laatste vijf onboardinggesprekken noemen exporteren naar spreadsheets" is onderbouwd als je die drie gesprekken kunt linken. De test is mechanisch: een teamgenoot die niet in de kamer was, kan de link openen en hetzelfde zien.
Afgeleid
"Admins exporteren waarschijnlijk omdat ze naar boven rapporteren" is afgeleid uit die gesprekken. Dat is prima, zolang het gelabeld is en de onderliggende bronnen erbij staan. In afleiden zit het productoordeel; het probleem is alleen ongelabeld afleiden.
Aangenomen
Aannames zijn niet beschamend. Specs draaien erop. De fout ontstaat wanneer een aanname in dezelfde stem als een bevinding wordt opgeschreven, waardoor de lezer haar opneemt in plaats van er vragen bij te stellen.
Verzonnen
Dit is het label dat het meest telt. Verzonnen beweringen zijn de bijdrage van het model aan het document, en zij moeten worden verwijderd of omgezet in vragen.
Twist niet over randgevallen tussen labels. Als je twijfelt tussen Afgeleid en Aangenomen, kies Aangenomen. Het label is een aansporing om beter te kijken, geen vonnis.
Hoe voer je de Claim Trace uit in 15 minuten?
Minuut 0-3: extraheren. Kopieer elke feitelijke bewering naar een kladlijst. Sla pure eisen over ("de export moet een CSV zijn"); dat zijn besluiten, geen beweringen. Zoek zinnen die beginnen met "gebruikers", "klanten", "admins", "momenteel", "de meeste", "omdat" of een getal.
Minuut 3-8: herleiden. Probeer voor elke bewering de bron in minder dan 60 seconden te vinden. Lukt dat niet, dan is ze niet Onderbouwd. Ga niet achteraf op zoek naar een rechtvaardiging: zoeken tot er iets losjes past is hoe verzonnen beweringen worden witgewassen tot onderbouwde.
Minuut 8-12: per label handelen. Onderbouwd krijgt een link. Afgeleid krijgt links plus zichtbare redenering. Aangenomen gaat naar het logboek met een eigenaar en de goedkoopste test. Verzonnen wordt verwijderd of herschreven als vraag.
Minuut 12-15: de spec opnieuw lezen. Als de sectie Probleem instortte toen de verzonnen beweringen eruit gingen, heb je het waardevolste geleerd wat de audit je kan vertellen: de feature heeft nog geen probleem.
Een eenvoudige beslisregel voor het eind van stap 4: als meer dan een derde van de beweringen in de sectie Probleem Verzonnen bleek, stuur de spec dan terug naar discovery in plaats van naar engineering.
Hoe ziet een Claim Trace eruit op een echt concept?
Neem een verzonnen maar typisch AI-concept voor een admin-exportfeature. De sectie Probleem zegt:
Admins exporteren elke week handmatig data en zitten daar uren in spreadsheets mee. Rapportage is het meest gevraagd onder vertrokken accounts. Een native export verlaagt de churn.
Voer de Claim Trace uit:
Bewering
Label
Actie
Admins exporteren elke week handmatig data
Aangenomen (één gesprek noemde het, niets over frequentie)
Naar het logboek verplaatsen; testen met een gebruiksquery
Zitten daar uren in spreadsheets mee
Verzonnen
Verwijderen
Rapportage is het meest gevraagd onder vertrokken accounts
Verzonnen (nergens bestaat een ranglijst)
Verwijderen; vervangen door een vraag
Een native export verlaagt de churn
Aangenomen
Houden als hypothese met een maatstaf en een datum
Vier beweringen: twee verwijderd, twee gedegradeerd, nul onderbouwd. De herschreven sectie Probleem is korter en eerlijk:
Eén onboardinggesprek (gelinkt) noemde het exporteren van accountdata naar een spreadsheet. We weten nog niet hoe vaak admins exporteren of waarom. Open vraag: wat zeiden vertrokken accounts toen ze weggingen? Hypothese: een native export verlaagt de churn bij accounts met meer dan 5 admins. We controleren dit voordat we ons aan een build verbinden.
Dat document kan nog steeds tot een build leiden. Maar het team weet nu waarop het gokt, en wie het leest kan het oneens zijn met de aanname in plaats van haar te absorberen.
Wat komt er in het aannamelogboek?
Het logboek is de lijst van elke Aangenomen bewering, en het is je discovery-plan. Leg per rij vier velden vast:
AANNAMELOGBOEK: [naam van de spec]
| # | Aanname (zoals in de spec geschreven) | Eigenaar | Goedkoopste test | Beslissen vóór |
|---|---|---|---|---|
| 1 | Admins exporteren wekelijks accountdata | [naam] | Query op klikken op de exportknop over de laatste 30 dagen | [datum] |
| 2 | Een native export verlaagt de churn | [naam] | 5 vertrokken accounts vragen waarom ze weggingen, vóór het bouwen | [datum] |
| 3 | | | | |
Een spec met een kort logboek met eigenaren kan veilig snel gaan. Een spec zonder logboek heeft óf geen aannames, wat bijna nooit waar is, óf heeft ze verborgen. Voor een uitgebreidere methode om aannames te rangschikken op belang en bewijs, zie onze gids over assumption mapping, of sorteer ze op de gratis assumption map.
Hoe verminder je AI-hallucinatie in specs voordat ze worden geschreven?
Een handmatige trace werkt, maar leunt op discipline op het moment dat die het makkelijkst wordt overgeslagen. Beter is om al tijdens het maken van het concept naar herkomst te vragen. De documentatie van Anthropic noemt de kerntechnieken (Anthropic):
"Ik weet het niet" toestaan. Sta het model uitdrukkelijk toe te zeggen dat het informatie mist.
Eerst citeren. Laat het model bij lange invoer (Anthropic noemt meer dan 20k tokens als drempel) woordelijke citaten extraheren voordat het iets schrijft.
Citeren, dan intrekken. Laat het model na het concept voor elke bewering een ondersteunend citaat zoeken en elke bewering verwijderen die het niet kan onderbouwen.
Kennis beperken. Zeg dat het alleen de documenten gebruikt die je aanleverde, niet zijn algemene kennis.
Het Kalai-paper suggereert nog een idee: een zekerheidsdoel in de prompt noemen. Bijvoorbeeld alleen antwoorden als je meer dan 75% zeker bent, omdat een fout antwoord 2 punten kost en "ik weet het niet" niets (Kalai et al., 2025). Toegepast op specs betekent dat het model belonen voor het schrijven van "geen bron" in plaats van de leemte vloeiend op te vullen.
Hier is een promptblok dat je onder elk specverzoek kunt plakken:
Gebruik UITSLUITEND de onderzoeksnotities, tickets en data die ik heb bijgevoegd.
Voeg bij elke zin over gebruikers, klanten, de markt of verwachte resultaten toe:
- [S: bron] als een specifiek bijgevoegd item haar ondersteunt,
- [I: bronnen] als het jouw afleiding is uit bijgevoegde items,
- [A] als het een aanname zonder bron is.
Noem geen getallen, ranglijsten of frequenties die niet in de bijlagen staan.
Als een sectie geen ondersteunend materiaal heeft, schrijf "Nog geen bewijs" en som
de vragen op die we zouden moeten beantwoorden.
Controleer na het schrijven elke [S]-bewering aan de bijlage en verwijder elke
bewering die je niet met een direct citaat kunt onderbouwen.
Anthropic is duidelijk dat deze technieken hallucinaties verminderen maar niet wegnemen. De prompt maakt de Claim Trace sneller; hij vervangt hem niet. Als je het hele PRD met AI schrijft, behandelt onze AI-PRD-gids de rest van de workflow.
Veelgemaakte fouten bij het controleren van door AI geschreven specs
Beoordelen op gladheid in plaats van herkomst. Helderheid en toon zijn wat modellen het best doen. Vraag "waar komt dit vandaan?" vóór "is dit goed geschreven?"
Achteraf een bron zoeken. Als een bewering vijf minuten zoeken nodig heeft om gerechtvaardigd te worden, was ze Aangenomen of Verzonnen toen ze werd geschreven.
Eisen behandelen als beweringen. "De export moet CSV ondersteunen" is een besluit. Verspil de 15 minuten niet aan het herleiden van besluiten.
Alleen de sectie Probleem auditen. Ook succesmaatstaven hallucineren. "Een stijging van 15% in activatie" zonder nulmeting is Verzonnen, hoe nauwkeurig het ook oogt.
Het logboek laten verslonzen. Een aanname zonder eigenaar en zonder datum is een wens. Als het logboek niet wordt bekeken voordat het bouwen begint, was de audit toneel.
Waar houdt de Claim Trace op?
De methode vertelt je of een bewering een bron heeft. Ze vertelt niet of de bron goed is. Een volledig onderbouwde spec kan nog steeds het verkeerde beschrijven, omdat bronnen bevooroordeeld, dun of niet representatief kunnen zijn. Combineer de trace met een controle op bewijskwaliteit: hoeveel onafhankelijke bronnen, hoe recent en hoe dicht bij een echte koop- of gebruiksbeslissing. Onze post over wat als bewijs telt voor elk productrisico geeft daarvoor een snelle schaal.
Ze dekt ook maar een deel van het risico. Marty Cagans vier grote risico's zijn waarde, bruikbaarheid, haalbaarheid en bedrijfsmatige levensvatbaarheid, en waarde en levensvatbaarheid legt hij bij de product manager (SVPG, 2017). AI heeft een werkend prototype goedkoop gemaakt, wat sommige haalbaarheidsvragen kleiner maakt. Het heeft waarde of levensvatbaarheid niet makkelijker te kennen gemaakt, en dat zijn precies de secties waar verzonnen beweringen zich ophopen.
Tot slot vervangt de audit het oordeel over wat je moet bouwen niet. Hij maakt het oordeel zichtbaar. Zodra een spec erdoor is, geef je hem over in een formaat dat engineers gebruiken: onze gids over de technische spec die engineers echt lezen behandelt die stap, en de acceptatiechecklist voor door AI gegenereerde code behandelt het beoordelen van wat terugkomt.
Waar Specky past
De Claim Trace is het makkelijkst als herkomst wordt vastgelegd op het moment van schrijven. Dat is het ontwerpuitgangspunt achter Specky. Interviews, tickets, feedback en besluiten leven als verbonden knooppunten in een Product Graph, en wanneer de AI een spec of insight opstelt, citeert ze inline het specifieke bewijs dat ze gebruikte. Concepten komen in de PM Inbox terecht voor menselijke review in plaats van rechtstreeks in het dossier, zodat een reviewer kan zien welke zinnen bronvermeldingen dragen en welke geen. Je kunt hetzelfde in elke tool benaderen met de prompt hierboven; het punt is dat "geen bron" zichtbaar moet zijn, niet verborgen.
Veelgestelde vragen
Wat is AI-hallucinatie in specs?
Het is wanneer een door AI geschreven PRD of spec iets beweert over gebruikers, de markt of verwachte resultaten waar geen bron voor is, in dezelfde zelfverzekerde toon als de onderbouwde delen. Meestal verschijnt het als een verzonnen reden (een gebruikspatroon, een ranglijst, een churn-aanjager) in plaats van een verzonnen feature, en daarom missen reviewers het.
Hoe lang duurt een Claim Trace?
Ongeveer 15 minuten voor een typische spec van een tot drie pagina's: 3 minuten om beweringen te extraheren, 5 om ze te herleiden, 4 om per label te handelen en 3 om opnieuw te lezen. Reken op 60 seconden per bewering om een bron te vinden. Langere specs schalen grofweg met het aantal feitelijke beweringen, niet met het aantal pagina's.
Kan ik de AI vragen zijn eigen spec op hallucinaties te controleren?
Gedeeltelijk. Het model voor elke bewering een ondersteunend citaat laten zoeken en alles intrekken wat het niet kan onderbouwen is een van de door Anthropic aanbevolen technieken, en het vangt veel extrinsieke hallucinaties. Alleen is het niet genoeg, omdat het model een bron verkeerd kan lezen of iets kan citeren wat de bewering niet echt ondersteunt. Een mens controleert de links nog steeds.
Wat is het verschil tussen een aanname en een hallucinatie?
Een aanname is een overtuiging die het team heeft en waarvan het weet dat het haar niet heeft gecontroleerd. Een hallucinatie is een bewering zonder oorsprong waar niemand in het team in geloofde totdat het model haar schreef. Gelabelde aannames zijn nuttig omdat ze tests worden. Hallucinaties moeten worden verwijderd of omgezet in vragen.
Moeten we stoppen met AI om PRD's te schrijven?
Nee. Opstellen met AI bespaart echt tijd op structuur, randgevallen en formulering. Het risico zit in de bewijssecties. Lever het onderzoek, de tickets en de data als invoer aan, vraag het model bronnen en aannames te markeren, en voer een Claim Trace uit voordat de spec naar engineering of naar een coding agent gaat.
Wat moet ik doen als het grootste deel van de sectie Probleem verzonnen is?
Stop de build en ga terug naar discovery. Als meer dan een derde van de probleembeweringen verzonnen is, heeft de feature nog geen aangetoond probleem. Zet elke verzonnen bewering om in een vraag, kies de twee die de beslissing het meest zouden veranderen en test die eerst met interviews, een gebruiksquery of een doorlichting van supporttickets.
GDPR-aligned. EU workspace data is stored in Frankfurt, Germany. GDPR and EU data Built in Vienna, Austria. A product of influence solutions fm GmbH (FN 675374y). Imprint 14-day trial. Card required, and nothing is charged until day 14. 30-day refund after subscribing. See pricing