Hoe PM’s AI-outputs moeten annoteren: scheid productfouten van voorkeuren
Een praktische reviewmethode voor AI-producten: scheid beleidsfouten, ontbrekende context en persoonlijke voorkeuren zodat outputfeedback leidt tot beter productgedrag.
Een reviewer geeft een AI-antwoord vier sterren. Wat moet het productteam veranderen?
Misschien sloot het antwoord niet aan op de vraag van de gebruiker. Misschien bevatte het een bewering zonder bron. Misschien klopten de feiten wel, maar voelde de tone of voice wat stijf aan. Of misschien geeft de reviewer de voorkeur aan een andere structuur, ook al deed het antwoord precies wat het moest doen.
Al die reacties zijn waardevol, maar ze beschrijven fundamenteel verschillende zaken. Als ze allemaal worden samengevat als “kwaliteit: 4/5”, verliest het team precies de informatie die nodig is om het product te verbeteren.
Een praktisch annotatieproces begint met het scheiden van wat de output deed, aan welke productregel wel of niet werd voldaan en wat de persoonlijke voorkeur van de reviewer was. Zo verandert een review van een populariteitsverkiezing over gegenereerde tekst in een effectieve manier om gewenst productgedrag scherp te stellen.
Bepaal wat voor soort oordeel je verzamelt
Voordat je mensen vraagt om outputs te labelen, moet je bepalen wat die labels precies moeten voorstellen.
Soms heeft het product een consistent beleid nodig. Een AI-productbrief mag bijvoorbeeld nooit een niet-onderbouwde claim van een klant als feit presenteren. Reviewers moeten die regel consequent toepassen. Dit is een beleidsoordeel: het team definieert één specifiek, gewenst productgedrag.
Andere keren moet het product juist ruimte bieden aan verschillende behoeften. De ene product manager wil een beknopte samenvatting; de ander heeft meer details nodig voor een overleg met stakeholders. Als beide formats prima werken voor hun doel, leert het vastleggen van die voorkeur het product iets over verschillende contexten. Dit is een voorkeursoordeel, en dus niet automatisch een productfout.
Onderzoek naar annotaties bij subjectieve taaltaken beschrijft een vergelijkbaar onderscheid tussen het verzamelen van verschillende perspectieven en het instrueren van annotators om één vastgesteld beleid te volgen. Die keuze hangt af van het doel van de dataset. Diezelfde afweging is van belang wanneer een productteam AI-outputs beoordeelt: onderzoek je wat gebruikers prefereren, of bepaal je wat het product verplicht moet doen?
Zet het doel daarom duidelijk bovenaan het reviewformulier:
We verzamelen deze labels om te bepalen of de AI-output het afgesproken productgedrag voor deze taak volgt.
Of:
We verzamelen deze reacties om te leren welke outputstijlen het beste werken voor verschillende gebruikers en situaties.
Een team kan beide vormen verzamelen, zolang de labels ze maar strikt gescheiden houden.
Label het gedrag voordat je de tekst beoordeelt
Leg voor elke output drie dingen vast:
Geobserveerd gedrag: Wat deed het systeem daadwerkelijk?
Criterium: Welke afgesproken productregel is van toepassing?
Impact: Wat zijn de gevolgen voor de gebruiker als dit gedrag zo blijft?
Voor een feature die gebruikersonderzoek samenvat, zou een compacte set gedragslabels er zo uit kunnen zien:
Label
Gebruik dit wanneer
Taak gemist
De output beantwoordt niet de opdracht die de gebruiker gaf
Niet-onderbouwde claim
Een feitelijke uitspraak is niet te herleiden naar het aangeleverde materiaal
Belangrijke omissie
Relevant bewijs of een betekenisvolle tegenstrijdigheid ontbreekt
Contextverwisseling
De output voegt bronnen of personen samen die gescheiden moeten blijven
Verkeerde vervolgstap
De aanbeveling volgt niet logisch uit het bewijs en het gestelde doel
Voorkeur
De output werkt, maar de reviewer zou een andere stijl of structuur kiezen
Niet te beoordelen
De bron- of taakcontext die nodig is voor de review ontbreekt
Deze labels zijn slechts een startpunt. Pas ze aan op de specifieke user job en de risico's van jouw product. Een label als “hallucinatie” is vaak te breed om als richtlijn voor een oplossing te dienen. “Bewering over de reden van vertrek van een klant heeft geen onderbouwend interviewfragment” vertelt het team daarentegen precies wat er misging en welk bewijs nodig is om het op te lossen.
Maak elke fout inspecteerbaar
Vraag om een korte onderbouwing zodra een reviewer een productfout markeert:
Selecteer het exacte zinsdeel of de passage in de output.
Link naar de bron of de taakinstructie die gevolgd had moeten worden.
Formuleer het verwachte gedrag in één zin.
Beschrijf de impact op de gebruiker.
Beoordeel de ernst los van de mate van zekerheid over het label.
Bijvoorbeeld:
Veld
Voorbeeld
Fragment uit output
“Gebruikers haakten af omdat de setup te complex was.”
Bron
Drie interviews noemen de setup, maar geen enkele noemt dit als reden voor vertrek
Criterium
Noem geen oorzaak tenzij een bron dit direct ondersteunt
Verwacht gedrag
Vermeld dat setup werd genoemd; laat de concrete reden open
Impact
Een team kan de verkeerde oplossing prioriteren
Ernst
Hoog voor deze beslissing
Zekerheid over label
Duidelijk
Ernst en zekerheid beantwoorden verschillende vragen. Een reviewer kan twijfelen of een claim daadwerkelijk ongegrond is, maar tegelijkertijd inzien dat de gevolgen groot zijn áls dat het geval is. Door die velden gescheiden te houden, ziet een PM direct wat met spoed uitgezocht moet worden.
Vraag de reviewer niet om een technische diagnose te stellen. “Het retrieval-systeem faalde” is een aanname over de implementatie. De annotatie moet het waarneembare probleem vastleggen; engineers kunnen vervolgens onderzoeken waarom het gebeurde.
Zie meningsverschillen als een signaal
Kiezen twee reviewers verschillende labels? Beslis dit dan niet automatisch via een meerderheid van stemmen. Analyseer eerst waar het meningsverschil vandaan komt.
De regel is onduidelijk: De reviewers weten niet wat het product precies belooft. Herschrijf het criterium en voeg een voorbeeld toe.
Er ontbreekt context: Een reviewer mist de bron, het gebruikersdoel of de rechten die nodig zijn om te oordelen. Pas de reviewcase aan.
Beleidsafweging is nog niet gemaakt: Beide oordelen zijn verdedigbaar, maar impliceren ander productgedrag. De PM moet deze knoop doorhakken of afstemmen met domeinexperts.
Geldige voorkeuren verschillen: Behoud de voorkeur en onderzoek of deze gekoppeld is aan een specifiek gebruikerssegment, taak of context.
Verschil in uitvoering: De instructies zijn helder, maar iemand heeft bewijs over het hoofd gezien of de taak verkeerd begrepen. Verduidelijk de richtlijnen en herhaal de review.
Deze aanpak voorkomt dat elk verschil meteen wordt afgedaan als een ‘menselijke fout’. Een meningsverschil legt vaak een onvolledig beleid of een reële variatie in gebruikersbehoeften bloot. Een studie uit 2022 naar annotatieparadigma's raakt de kern: soms wil je verschillende perspectieven in kaart brengen, soms wil je één vastgesteld uitgangspunt handhaven. Bepaal welk doel bij je product past voordat je labels samenvoegt tot één enkel antwoord.
Voer een korte kalibratie uit voor je opschaalt
Begin met een handvol representatieve outputs: een eenvoudig geval, een casus met een ontbrekende bron, een tegenstrijdigheid, een stijlvoorkeur en een grensgeval. Laat twee of meer reviewers deze onafhankelijk van elkaar labelen en bespreek het bewijs en de argumentatie vervolgens gezamenlijk.
Het doel van zo'n kalibratie is niet om direct een perfecte overeenstemming te bereiken. Het doel is ontdekken waar de instructies tekortschieten in het onderscheiden van:
een feitelijke fout versus een ongegronde aanname
een ontbrekend detail versus een detail dat irrelevant is voor de taak van de gebruiker
een stijlvoorkeur versus een usability-probleem
een schoonheidsfoutje met lage impact versus gedrag dat een release blokkeert
een modelfout versus ontbrekende of gebrekkige inputcontext
Werk de richtlijnen bij met de uitkomst en een compact voorbeeld. Bewaar ook de oorspronkelijke, onafhankelijke labels; die laten zien of het meningsverschil voortkwam uit de specifieke case, het beleid of de reviewinstructies.
Het NIST AI Risk Management Framework benadrukt dat teams verantwoordelijkheden en toezicht moeten inrichten rond mens-AI-interacties. Voor een productteam is een reviewhandleiding een praktische manier om die rollen expliciet te maken: wie levert het domeinoordeel, wie toetst de regel en wie bewaakt de technische implementatie en betrouwbaarheid.
Koppel annotaties aan productbeslissingen
Een set annotaties is op zichzelf nog geen go/no-go-beslissing voor een lancering. Het is input voor beslissingen zoals:
Is het productgedrag duidelijk genoeg gedefinieerd om te bouwen?
Welke fout vereist een aanpassing van het productbeleid?
Welke fout hoort thuis bij implementatie of betrouwbaarheid?
Heeft het team meer representatieve voorbeelden nodig?
Gaat het om een geldige voorkeur die vraagt om personalisatie of instellingen?
Wat moet opnieuw worden beoordeeld na een update van een prompt, model of workflow?
Houd een kort verslag bij van elke reviewronde: context van de taak en de gebruiker, versie van de productregel, bronvoorbeelden, labels, openstaande discussiepunten, besluiten en de eigenaar. Verandert de regel? Ken er dan een nieuw versienummer aan toe en loop de afhankelijke voorbeelden opnieuw na. Zo weet het team altijd of een output veranderde door gewijzigd productbeleid of door ander gedrag van het systeem.
PM’s zijn eigenaar van het gewenste gebruikersgedrag, de inhoudelijke domeinafwegingen en de inzichten die voorbeelden moeten opleveren. Zij kunnen prompts schrijven, outputs reviewen en acceptatiecriteria opstellen, omdat dit werk het product specificeert. Engineers zijn eigenaar van de productie-implementatie, toegangsbeveiliging, betrouwbaarheid en de systemen die zorgen dat dit gedrag feilloos draait.
Een herbruikbare annotatiekaart
Gebruik dit format voor je volgende reviewsessie:
Taak en gebruiker: Gecontroleerde productregel: Fragment uit output: Bron of context: Geobserveerd gedrag: Verwacht gedrag: Impact op gebruiker en ernst: Zekerheid over label: Beleidsfout, ontbrekende context of voorkeur? Besluit, eigenaar en volgende review:
Lukt het het team niet om de productregel in te vullen? Pauzeer de beoordeling dan en bepaal eerst wat het product hoort te doen. Een scoringskader werkt immers alleen als het een productbeslissing weerspiegelt waar het team volledig achter staat.
Specky helpt teams om gebruikersdata, productbeslissingen en vervolgstappen met elkaar te verbinden. Bekijk de product workspace voor technical PMs of ga direct aan de slag met specificaties via de PRD generator.
GDPR-aligned. EU workspace data is stored in Frankfurt, Germany. GDPR and EU data Built in Vienna, Austria. A product of influence solutions fm GmbH (FN 675374y). Imprint 14-day trial. Card required, and nothing is charged until day 14. 30-day refund after subscribing. See pricing