6 augustus 2026Bijgewerkt op Fathy Shalaby13 min leestijd
Wanneer AI gebruiken in een productfeature: een test met 4 vragen
Een praktische test om te bepalen wanneer een model echte waarde toevoegt aan een feature, wanneer een regel genoeg is en wat je vóór de release moet evalueren.
Weten wanneer je AI in een product gebruikt, komt neer op vier controles. Gebruik een model als de input echt rommelig of variabel is, als een model een eenvoudigere regel verslaat op een resultaat waar gebruikers om geven, als fouten goedkoop of makkelijk te vangen zijn en als je het kunt testen op echte voorbeelden. Is een antwoord nee, begin dan met een regel, een query of een mens.
Belangrijkste punten
Google's Rules of Machine Learning openen met Rule #1: wees niet bang om een product te lanceren zonder machine learning (Google).
Anthropics advies voor LLM-apps is de eenvoudigste oplossing te vinden die werkt, wat „kan betekenen dat je helemaal geen agentic systemen bouwt" (Anthropic, 2024).
Vertrouwen is niet vanzelfsprekend: 46% van de ontwikkelaars zegt de nauwkeurigheid van AI-tools niet te vertrouwen en 33% vertrouwt ze, en 66% ergert zich aan antwoorden die bijna goed zijn, maar net niet (Stack Overflow, 2025).
Google's People + AI Guidebook noemt gevallen waarin AI waarschijnlijk niet beter is: als voorspelbaarheid telt, fouten duur zijn of volledige transparantie nodig is (Google PAIR).
Schrijf een AI-featurebrief van één pagina vóór de prompt: gebruiker, bewijs, grens, faalpad, evaluatie en eigenaar.
Wanneer moet een productfeature AI gebruiken?
Begin bij de taak van de gebruiker, niet bij het model. AI helpt meestal als een taak vrije tekst, afbeeldingen, onvolledige context of veel licht verschillende gevallen omvat die nu een mens met de hand interpreteert, en als de uitkomst veilig te controleren is. Een stabiele regel kan eenvoudiger zijn. Een beslissing met grote gevolgen kan een mens aan het stuur vragen.
Het PAIR-team van Google, dat de People + AI Guidebook schreef, zegt het duidelijk: in veel gevallen werkt een eenvoudigere oplossing net zo goed als een AI-versie, en is die makkelijker te bouwen, uit te leggen, te debuggen en te onderhouden. De gids stelt voor om „Kunnen we AI gebruiken om X te doen?" te vervangen door „Hoe zouden we X kunnen oplossen?", en dan te vragen of AI het op een unieke manier oplost.
De guidebook noemt situaties waarin AI waarschijnlijk beter is dan regels:
verschillende content aanbevelen aan verschillende gebruikers
toekomstige gebeurtenissen voorspellen, zoals vliegticketprijzen
personalisatie die de ervaring verbetert, zoals een thermostaat die gewoontes leert
begrip van natuurlijke taal
een algemene klasse van dingen herkennen, zoals objecten op foto's
zeldzame gebeurtenissen detecteren die in de loop van de tijd veranderen, zoals fraude
Hetzelfde hoofdstuk noemt waar AI waarschijnlijk niet beter is: voorspelbaarheid behouden (een Annuleren-knop moet blijven waar hij zit), statische of beperkte informatie zoals een kaartbetalingsformulier, dure fouten minimaliseren, volledige transparantie, optimaliseren voor snelheid en lage kosten boven alles, en taken waarvan mensen zeggen dat ze ze niet geautomatiseerd willen hebben.
Hoe bepaal je wanneer je AI in een product gebruikt?
Om te bepalen wanneer je AI in een product gebruikt, loop je deze vier vragen in volgorde door met degene die eigenaar is van het probleem: een product manager, oprichter, product engineer of de persoon die een AI-codeeragent briefet.
1. Is het probleem van de gebruiker echt variabel?
Schrijf de input en de beslissing op die de feature moet nemen. Kijk naar echte voorbeelden uit de workflow: recente supportverzoeken, interviewnotities, ingediende formulieren of andere representatieve signalen.
Als de input gestructureerd is en de koppeling stabiel, begin dan met een deterministische baseline, zoals een regel, een query of een gewone workflow. Als mensen vrije tekst, afbeeldingen of onvolledige context moeten interpreteren, kan een model helpen met de variabiliteit.
Dit is een test, geen verbod op AI voor gestructureerde data. Zinkevichs Rule #3 zegt dat je machine learning moet kiezen boven een complexe heuristiek zodra je data hebt, omdat een simpele heuristiek snel live staat, maar een complexe onderhoudbaar niet meer is. Het gaat erom te benoemen wat het model toevoegt dat een eenvoudigere aanpak niet doet.
2. Verbetert AI de uitkomst ten opzichte van een eenvoudigere optie?
Benoem de verbetering vanuit het perspectief van de gebruiker. Het kan gaan om minder herhaald handmatig sorteren, een grote hoeveelheid bewijs makkelijker te beoordelen maken, of een gebruiker een taak in natuurlijke taal laten beschrijven. „Het gebruikt AI" is geen uitkomst.
Vergelijk de voorgestelde feature met een realistisch alternatief: de huidige workflow, een regelgebaseerde versie of een mens die de taak doet. Noteer de afwegingen in latency, kosten, voorspelbaarheid, toegankelijkheid en onderhoud. Anthropic merkt op dat agentic systemen vaak latency en kosten inruilen voor betere taakprestaties, en dat goed gedefinieerde taken meestal beter af zijn met voorspelbare workflows. Verbetert de AI-versie geen betekenisvolle gebruikersuitkomst, houd dan de eenvoudigere versie.
Zinkevich voegt een waarschuwing over data toe: een model dat is geleend van een ander probleem en is aangepast voor jouw product, presteert waarschijnlijk slechter dan simpele heuristieken. Geen data betekent meestal nog geen model.
3. Wat gebeurt er als het model het fout heeft?
Som de aannemelijke faalwijzen op en wat elk de gebruiker kost. Een conceptsamenvatting die bewerkt moet worden, heeft een ander risico dan een model dat toegang wijzigt, een rekening berekent of namens iemand een bericht verstuurt.
Bijna-goed is de dure variant. In de Stack Overflow-enquête van 2025 was de grootste frustratie, genoemd door 66% van de ontwikkelaars, AI-output die bijna goed is, en 45% zei dat het debuggen van door AI gegenereerde code langer duurt. Een fout antwoord dat er goed uitziet kost reviewtijd; een overtuigend fout antwoord dat niemand controleert kost vertrouwen.
Kies de controle passend bij het gevolg:
Houd de output een suggestie wanneer een mens die kan beoordelen.
Toon het bewijs of de input achter een aanbeveling waar dat de gebruiker helpt te oordelen.
Bied een duidelijke fallback of een makkelijke manier om het resultaat te corrigeren.
Stuur onzekere of ingrijpende gevallen door naar een mens.
Maak geautomatiseerde acties omkeerbaar en leg vast wat het systeem deed.
Microsofts Guidelines for Human-AI Interaction, gevalideerd in een CHI 2019-paper, beschrijven hoe een systeem zich zou moeten gedragen bij eerste gebruik, tijdens regulier gebruik, na verloop van tijd en wanneer het onvermijdelijk fout zit (Microsoft Research). Voor beslissingen met grote impact heb je daarnaast domeinspecifieke review nodig; een generieke AI-checklist vervangt geen juridische, veiligheids- of vakinhoudelijke review. De gids over begrensde AI-beslissingen laat zien hoe je de overdracht opschrijft.
4. Kan het team het evalueren met representatieve voorbeelden?
Stel vóór de release voorbeelden samen die de verwachte input weerspiegelen, belangrijke randgevallen en de manieren waarop gebruikers verzoeken formuleren of combineren. Label de verwachte uitkomst of de criteria die een reviewer zal gebruiken. Vergelijk het AI-gedrag met de eenvoudigere baseline op dezelfde gevallen.
Bepaal een releasepoort voordat je resultaten ziet: welke fouten onacceptabel zijn, welke outputs menselijke review nodig hebben en welke kwaliteit goed genoeg is voor een beperkte uitrol. Volg na de lancering correcties, fallbackgebruik, foutmeldingen, latency, kosten en de uitkomst die de feature moest verbeteren.
Er bestaat geen universeel aantal voorbeelden dat een feature veilig maakt. De set moet groot en gevarieerd genoeg zijn voor de beslissing die voorligt, met de hiaten opgeschreven. Het AI-evaluatieframework voor productteams behandelt datasets, rubrics en graders stap voor stap.
AI, regels of een mens: wat kies je?
Situatie
Goede eerste optie
Wat te verifiëren
Stabiele input en een bekende, herhaalbare regel
Regel of workflow
De regel dekt echte gevallen en heeft een duidelijke eigenaar
Er is een regel, maar die is uitgegroeid tot tientallen uitzonderingen
Model, zodra je data hebt
Het model verslaat de regel op dezelfde gelabelde gevallen
Rommelige input; een mens kan een bruikbaar concept beoordelen
AI-ondersteuning
Gebruikers kunnen het corrigeren, en het concept bespaart werk zonder zijn bronnen te verbergen
Een model kan een beperkte, omkeerbare actie uitvoeren
Begrensde automatisering
Reikwijdte, rechten, fallback, logging en rollback zijn gedefinieerd
Open, meerstaps taak met onvoorspelbare stappen
Agent, als latency en kosten acceptabel zijn
Elke stap is zichtbaar en een mens kan de run stoppen
Het gebruikersprobleem of het evaluatiebewijs is onduidelijk
Discovery of prototype
Leer van echte gebruikers voordat je je vastlegt op automatisering in productie
Deze tabel kadert de beslissing; ze neemt haar niet voor het team. Een AI-feature moet een benoemde gebruiker hebben, een echte taak, een eenvoudigere baseline en een manier om te merken wanneer het niet werkt.
Moet AI de taak automatiseren of de persoon versterken?
De PAIR-guidebook trekt een tweede lijn die de vier vragen niet dekken: of mensen de taak überhaupt voor zich willen laten doen. Hij stelt voor taken te automatiseren die moeilijk, onaangenaam zijn of schaal vereisen, bij voorkeur waar de mensen die ze nu doen het eens zijn over het juiste antwoord. Hij stelt voor taken te versterken (augmenteren) die mensen leuk vinden, die sociaal kapitaal opleveren of waarbij mensen het oneens zijn over wat „goed" is.
Productteams neigen ernaar de tweede kolom te veel te automatiseren. Prioriteren, positionering en het laatste woord over een spec zijn taken om te versterken. De lijst met wat product managers nooit aan AI moeten delegeren loopt ze een voor een langs.
Een uitgewerkt voorbeeld: klantfeedback ordenen
Dit is een illustratieve workflow, geen Specky-klantcase en geen gerapporteerd resultaat. Stel dat een team van 5 mensen per maand zo'n 400 stukken feedback in vrije tekst krijgt via support, salesgesprekken en een in-app widget. Nu besteedt één persoon ongeveer 6 uur per maand aan het taggen ervan, en het team wil terugkerende thema's vinden en beslissen wat het als volgende onderzoekt.
Loop de vier vragen langs:
Variabel? Deels. Ongeveer 70% van de items noemt een bekend productgebied bij naam, wat een trefwoordregel kan taggen. De rest beschrijft problemen in de eigen woorden van de klant.
Beter dan eenvoudiger? Alleen voor de resterende 30%. Een model kan thema's voorstellen en de oorspronkelijke fragmenten toevoegen die ze ondersteunen. Exacte tellingen voor bekende tags blijven gewone queries.
Kosten van een fout? Laag, als een mens de voorgestelde thema's beoordeelt voordat ze roadmapbeslissingen worden en ze kan samenvoegen, hernoemen of afwijzen.
Evalueerbaar? Ja. Het team labelt 100 oude items met de hand en controleert of de thema's van het model belangrijke verschillen behouden, zoals „export is traag" versus „export mist een formaat".
Het resultaat is een hybride: een regel voor de 70%, AI-suggesties voor de 30% en een mens die beslist wat telt. Het model ordent dubbelzinnige taal; het beslist niet wat het team bouwt. Het team volgt daarna de reviewtijd tegen de baseline van 6 uur en hoe vaak reviewers een thema corrigeren. Blijven de correcties na een maand boven, zeg, 1 op 4, dan gaat het voor dat deel terug naar handmatig taggen. De template voor het synthetiseren van klantinterviews beschrijft de reviewstap uitgebreider.
Kopieerbare AI-featurebrief
Gebruik deze korte brief voordat je een prompt schrijft of werk aan een AI-codeeragent overdraagt:
Gebruiker en taak: wie probeert wat te doen?
Bewijs: welke echte voorbeelden laten zien dat dit probleem voorkomt?
Taak voor de AI: welke input krijgt het model en welke output mag het teruggeven?
Waarom AI: wat verbetert het model ten opzichte van de eenvoudigste bruikbare baseline?
Grens: wat mag het model nooit beslissen of doen?
Faalpad: hoe merkt de gebruiker een fout resultaat op, corrigeert hij het of herstelt hij ervan?
Evaluatie: welke voorbeelden en randgevallen gebruiken reviewers?
Releasepoort: wat moet waar zijn vóór de uitrol, en wat leidt tot een pauze?
Succesmaat: welke gebruikersuitkomst moet verbeteren en welke afwegingen worden gevolgd?
Eigenaar: wie beoordeelt de feature nadat die live is?
Voor wie bouwt met AI-codeertools: houd het gebruikersprobleem en het gedrag gescheiden van implementatiekeuzes. GitHubs Spec Kit bijvoorbeeld voert een featurespecificatie door planning en implementatie en bevat een proces om te bepalen of een idee investering überhaupt verdient (GitHub Spec Kit). Een spec maakt intentie makkelijker te beoordelen; ze bewijst niet dat gegenereerde code of modeloutput juist is. De PRD-gids behandelt de rest van het document.
Veelgemaakte fouten bij de keuze voor AI
Beginnen bij de technologie. RANDs interviews met 65 AI-practitioners noemden de focus op de nieuwste technologie in plaats van op echte gebruikersproblemen als een van de vijf grondoorzaken van mislukte AI-projecten (RAND, 2024). Onze blik op waarom het cijfer van 95% over AI-pilots misleidend is behandelt de rest.
De baseline overslaan. Als niemand het handmatige proces heeft getimed, kan niemand zeggen dat de AI-versie beter is.
Synthetische voorbeelden als bewijs behandelen. Gegenereerde testcases vergroten de dekking; ze tonen niet aan dat echte gebruikers ervan profiteren.
Onzekerheid verbergen. Een stellig antwoord zonder bronnen leert gebruikers óf te veel te vertrouwen óf de feature te negeren.
Geen exitplan. Elke AI-feature heeft een benoemde eigenaar nodig en een voorwaarde waaronder hij wordt teruggedraaid naar de eenvoudigere versie.
Zelfs een goede test heeft grenzen. Sommige features lijken marginaal in een pilot en worden pas waardevol wanneer gebruik de data opbouwt die een model nodig heeft, het patroon dat Zinkevichs Rule #3 beschrijft. Leg dat vast als reden om opnieuw te kijken, niet als reden om nu te leveren.
Hoe beheer je het risico van een AI-feature na de lancering?
De beslissing om AI te gebruiken is niet klaar als de feature een evaluatie vóór de lancering doorstaat. Input, gebruikersgedrag, modellen en de omringende workflow veranderen allemaal. Geef iemand de verantwoordelijkheid om kwaliteit en fouten na de release te beoordelen, en kijk opnieuw naar de eenvoudigere baseline wanneer de feature verandert of het bewijs de waarde niet meer ondersteunt.
Het NIST AI Risk Management Framework, uitgebracht op 26 januari 2023 en bedoeld voor vrijwillig gebruik, helpt teams vragen over betrouwbaarheid te ordenen over ontwerp, ontwikkeling, gebruik en evaluatie (NIST). NIST voegde op 26 juli 2024 een Generative AI Profile toe, NIST-AI-600-1. Geen van beide certificeert een feature of vervangt productspecifieke evaluatie.
Waar Specky past
De brief hierboven leunt op bewijs: echte voorbeelden, een baseline en een vastlegging van waarom het team voor AI koos. Specky leest klantgesprekken, feedback, Slack, Jira en analytics in een Product Graph en schrijft specs waarin dat bewijs inline wordt geciteerd, zodat de reden voor het gebruik van een model met de spec meereist. Je kunt zonder beginnen: de gratis PRD-generator maakt van de brief een eerste concept.
Veelgestelde vragen
Wanneer moet een productfeature AI gebruiken?
De korte regel voor wanneer je AI in een product gebruikt: gebruik het als de taak echte variabiliteit heeft, zoals vrije tekst of afbeeldingen, als een model een eenvoudigere baseline verslaat op een gebruikersuitkomst, als fouten goedkoop of controleerbaar zijn en als je het kunt testen op representatieve voorbeelden. Gebruik een deterministische workflow als de logica stabiel is en makkelijker uit te leggen of te onderhouden.
Wanneer moet je geen AI gebruiken in een product?
Vermijd AI waar voorspelbaarheid het belangrijkst is, waar informatie statisch is, waar fouten erg duur zijn, waar volledige transparantie nodig is of waar gebruikers zeggen dat ze de taak niet geautomatiseerd willen. Google's People + AI Guidebook noemt deze gevallen, en zijn Rules of Machine Learning raden aan te lanceren zonder machine learning als je data mist.
Hoe evalueren productteams een AI-feature?
Gebruik representatieve voorbeelden, bepaal de reviewcriteria vóór het testen, vergelijk het model met de huidige of regelgebaseerde workflow en controleer belangrijke randgevallen. Monitor na de lancering correcties, fouten, latency, kosten en de gebruikersuitkomst. Houd risicovolle gevallen onder menselijke review totdat het bewijs meer automatisering rechtvaardigt.
Moet een AI-codeeragent beslissen of een feature AI nodig heeft?
Nee. Een codeeragent kan helpen opties te verkennen of een implementatieplan op te stellen, maar het productteam moet eigenaar zijn van het gebruikersprobleem, het bewijs, de risicogrenzen en de releasebeslissing. Geef de agent een brief waarin die beslissingen al zijn genomen, zodat hij het afgesproken gedrag implementeert in plaats van er zelf een te verzinnen.
Wat als er nog niet genoeg echte data is?
Behandel het ontbrekende bewijs als een discovery-taak. Interview gebruikers, observeer de huidige workflow of prototype de ervaring met duidelijke grenzen. Presenteer synthetische voorbeelden niet als bewijs dat de feature voor echte gebruikers zal werken. Lanceren met een eenvoudige regel en data verzamelen is vaak de snelste weg naar een bruikbaar model.
GDPR-aligned. EU workspace data is stored in Frankfurt, Germany. GDPR and EU data Built in Vienna, Austria. A product of influence solutions fm GmbH (FN 675374y). Imprint 14-day trial. Card required, and nothing is charged until day 14. 30-day refund after subscribing. See pricing