15 oktober 2026Bijgewerkt op Fathy Shalaby10 min leestijd
Engineeringproductiviteit meten met AI-codeertools
Regels code, prompts en geaccepteerde suggesties meten activiteit, geen voortgang. Dit zegt het onderzoek over AI-codeertools, en met deze scorecard van vier lagen kun je het beter doen.
Om engineeringproductiviteit met AI-codeertools te meten, volg je opleversnelheid, stabiliteit en productresultaten, niet regels code, prompts of geaccepteerde suggesties. Dat zijn activiteitssignalen, en AI blaast ze gratis op. Gecontroleerd onderzoek laat zien waarom dat ertoe doet: in METRs onderzoek uit 2025 waren ervaren ontwikkelaars 19% langzamer met AI terwijl ze dachten 20% sneller te zijn. Meet het systeem rond de tool, in vier lagen.
Belangrijkste punten
Waargenomen en gemeten productiviteit kunnen in tegengestelde richting wijzen: METRs ontwikkelaars voorspelden 24% sneller, schatten achteraf 20% en bleken gemeten 19% langzamer (METR, 2025).
Bij teams die veel AI gebruiken stegen de gemergede pull requests met 98%, de reviewtijd met 91% en de PR-grootte met 154%, zonder verbetering van de oplevering op bedrijfsniveau (Faros AI, 2025).
Googles eigen richtlijnen zeggen dat acceptatiegraad en geaccepteerde regels code adoptie en vertrouwen meten, geen productiviteit.
DORA's onderzoek uit 2025 koppelt AI-adoptie aan hogere doorvoer maar lagere stabiliteit, dus meet beide kanten.
Gebruik een scorecard van vier lagen: adoptie, vertrouwen, oplevering, productimpact. Geef een pilot zes tot acht weken tegenover een nulmeting.
Waarom zijn regels code een slechte maatstaf voor engineers die met AI werken?
Regels code waren altijd al een zwakke stand-in. Met AI-codeertools worden ze actief misleidend, omdat code genereren bijna niets meer kost. Een dashboard kan vollopen met commits, pull requests, gegenereerde tests en geaccepteerde suggesties terwijl het product stilstaat.
Drie stukken bewijs laten de vertekening zien.
Meer code is niet betere code. GitClear analyseerde 211 miljoen gewijzigde regels van 2020 tot 2024. Gekloonde (gekopieerde) regels stegen van 8,3% van de wijzigingen in 2021 naar 12,3% in 2024, terwijl verplaatste, gerefactorde regels daalden van 25% naar minder dan 10% (GitClear, 2025). Het volume ging omhoog terwijl het onderhoudswerk afnam.
Grotere wijzigingen vertragen het team. De telemetrie van Faros AI van meer dan 10.000 ontwikkelaars liet zien dat teams met veel AI PR's maakten die 154% groter waren, dat de reviewtijd met 91% steeg en dat bugs per ontwikkelaar met 9% stegen ().
Acceptatie is geen productiviteit. Googles raamwerk voor het invoeren van AI-codeerhulp plaatst acceptatiegraad en geaccepteerde regels code in de fasen adoptie en vertrouwen, en waarschuwt dat hoge waarden geen productiviteit bewijzen als de opleverkengetallen verslechteren (Google Cloud, 2025).
Het SPACE-raamwerk van Nicole Forsgren en collega's bij Microsoft Research en GitHub maakte in 2021 het algemene punt: productiviteit van ontwikkelaars is niet te meten met één enkele maatstaf of met activiteitsniveaus alleen (Forsgren et al., 2021). De vijf dimensies zijn tevredenheid en welzijn, prestaties, activiteit, communicatie en samenwerking, en efficiëntie en flow. Activiteit is er één van vijf, niet het hele plaatje.
Het risico is een terugkoppelingslus: de organisatie beloont zichtbare output, engineers genereren meer, reviewers erven de last en leidinggevenden verwarren beweging met voortgang. Wij noemen dat de productsnelheidsillusie.
Wat zegt het onderzoek over AI-codeertools en de productiviteit van ontwikkelaars?
De resultaten hangen sterk af van de taak, de codebase en de ontwikkelaar. Hier is het bewijs naast elkaar.
Onderzoek
Setting
Bevinding
Peng et al., 2023
Gecontroleerde taak: een HTTP-server in JavaScript bouwen
RCT: 16 ervaren ontwikkelaars, 246 echte issues in grote open-sourcerepo's
19% langzamer met AI; ontwikkelaars dachten 20% sneller te zijn (METR)
METR, februari 2026
57 ontwikkelaars, 800+ taken, tools van eind 2025
Schattingen van 18% en 4% sneller, maar de betrouwbaarheidsintervallen bevatten nul; METR noemt het zwak bewijs (METR)
DORA, 2024
Op enquêtes gebaseerde modellering
AI-adoptie gekoppeld aan een geschatte daling van 1,5% in opleverdoorvoer en 7,2% in stabiliteit (Google Cloud)
DORA, 2025
Bijna 5.000 professionals
AI nu gekoppeld aan hogere doorvoer, nog steeds aan lagere stabiliteit (Google Cloud)
Faros AI, 2025
Telemetrie, 10.000+ ontwikkelaars, 1.255 teams
21% meer taken, 98% meer PR's, geen winst op bedrijfsniveau
Stack Overflow, 2025
Enquête, 30.000+ ontwikkelaars
52% zegt dat AI hun productiviteit verbeterde; 45% zegt dat het debuggen van AI-code langer duurt (Stack Overflow)
Drie lessen voor managers:
Zelfrapportage is niet genoeg. METRs waarnemingskloof betekent dat een teamenquête alleen winst kan laten zien die de opleverdata niet laten zien.
Geïsoleerde taken overdrijven de winst. Een greenfield-oefening met duidelijke eisen is waar AI uitblinkt. Volwassen codebases met impliciete conventies zijn lastiger.
Individuele winst telt niet vanzelf op. Faros zag meer output per ontwikkelaar maar geen verbetering op bedrijfsniveau. Review, testen en integratie slokken het verschil op.
DORA's data uit 2024 lieten ook echte voordelen zien: voor elke toename van 25% in AI-adoptie steeg de documentatiekwaliteit naar schatting met 7,5%, de codekwaliteit met 3,4% en de snelheid van codereview met 3,1%. AI helpt. De vraag is of jouw systeem die hulp omzet in opgeleverde waarde.
Wat kun je in plaats daarvan meten? Een scorecard van vier lagen
Googles raamwerk van vier fasen (adoptie, vertrouwen, versnelling, impact) en DORA's opleverkengetallen vormen samen een scorecard die je maandelijks kunt doorlopen. Houd elke laag apart, zodat adoptiecijfers nooit voor impact in de plaats komen.
Laag
Vraag
Kengetallen
Waarschuwingssignaal
1. Adoptie
Gebruiken engineers de tools?
Wekelijks actieve gebruikers, aandeel wijzigingen met AI-hulp
Wordt behandeld als doel op zich
2. Vertrouwen
Vertrouwen engineers de output in de juiste mate?
Acceptatiegraad, enquête over vertrouwen, aandeel AI-wijzigingen dat in review is herwerkt
Zeer hoge acceptatie plus stijgend faalpercentage van wijzigingen
3. Oplevering
Is het systeem sneller en stabiel?
DORA's vijf kengetallen: doorlooptijd van wijzigingen, deploymentfrequentie, hersteltijd na mislukte deployment, faalpercentage van wijzigingen, deploymentherwerkpercentage (DORA)
Doorvoer omhoog, stabiliteit omlaag
4. Productimpact
Hebben klanten of het bedrijf ervan geprofiteerd?
Gedrag van doelgebruikers, adoptie van opgeleverde features, retentie, supportdruk
Veel releases, vlakke resultaten
Voeg twee teamgezondheidssignalen toe die AI de neiging heeft te verschuiven: de mediane PR-grootte en de mediane tijd tot de eerste review. Dat zijn de vroegste waarschuwingen dat de output de reviewcapaciteit voorbijstreeft.
Hoe voer je een eerlijke vergelijking van voor en na uit?
Googles richtlijnen noemen het definiëren van succescriteria en een nulmeting de belangrijkste en het vaakst overgeslagen stap. Een praktische volgorde:
Spreek de succescriteria af met engineers en businessleiders vóór de uitrol. Kies één opleverkengetal en één productresultaat.
Leg een nulmeting vast van minstens vier weken: DORA-kengetallen, PR-grootte, reviewtijd.
Vergelijk gelijke met gelijke. Google waarschuwt tegen het vergelijken van een ervaren team met AI met een minder ervaren team zonder AI. Gebruik opeenvolgende projecten of gematchte cohorten.
Geef het zes tot acht weken. Google stelt minstens vier sprints van twee weken voor voordat je verwacht dat versnelling zichtbaar wordt.
Lees alle vier de lagen samen en beslis dan wat je verandert: tooling, batchgrootte, reviewproces of context.
Uitgewerkt voorbeeld (illustratief)
Stel dat een team van zes engineers een AI-codeeragent invoert. Na acht weken toont het dashboard 140% meer gewijzigde regels en 60% meer gemergede PR's. De doorlooptijd van wijzigingen daalde van 3,0 dagen naar 2,2 dagen. Maar het faalpercentage van wijzigingen steeg van 8% naar 14%, de mediane PR-grootte verdubbelde en de tijd tot de eerste review ging van 4 uur naar 10.
Een dashboard met regels code noemt dit een triomf. De scorecard van vier lagen zegt dat adoptie en doorvoer verbeterden terwijl de stabiliteit verslechterde. De oplossing: de PR-grootte begrenzen, de acceptatiecheck van de PM toevoegen vóór de codereview en agents laten opsommen welke paden niet zijn getest. Vier weken later is het faalpercentage van wijzigingen terug op 9% en blijft de doorlooptijd op 2,4 dagen steken. Dat is echte winst.
Wat moet een manager met het team afspreken voordat het werk met AI begint?
Maak voor elk stuk werk zes dingen expliciet:
De productbeslissing: wat besluiten of testen we?
Het gebruikersbewijs: welke bronnen laten zien dat het probleem echt is?
De kleinste nuttige snede: wat is de kleinste wijziging die leren of waarde oplevert?
De technische vangrails: wat moet waar blijven voor beveiliging, betrouwbaarheid, privacy en prestaties?
Het reviewpad: wie beoordeelt gedrag, code, tests en operationele gevolgen?
De eigenaar van het resultaat: wie controleert wat er na de lancering is gebeurd?
Vraag het team vervolgens het gegenereerde werk leesbaar te maken: gewijzigde bestanden en systemen, aannames van de agent, uitgevoerde tests, niet-geteste paden, terugdraaiplan en een link terug naar de productbeslissing. Behandel gegenereerde code als een voorgestelde wijziging, niet als een autoriteit. De PM-kant van deze review komt aan bod in hoe je beoordeelt wat AI-agents bouwen.
Hoe moeten product managers samenwerken met engineers die AI-codeertools gebruiken?
Geef engineers het probleem, het bewijs, de acceptatiecriteria, de randvoorwaarden en het beoogde resultaat, en laat engineering het technisch ontwerp bepalen. Agents weten alleen wat is opgeschreven, dus de briefing weegt zwaarder dan vroeger. Een gestructureerd PRD-template voor AI-codeeragents en de productcontext die een AI-codeeragent nodig heeft helpen allebei.
Houd de sneden klein. DORA rekent werken in kleine batches tot de zeven capaciteiten die de voordelen van AI versterken, naast een duidelijk AI-standpunt, voor AI toegankelijke interne data en sterke versiebeheerpraktijken.
Een wekelijkse managementlus
Vervang "hoeveel regels hebben we geproduceerd?" door zeven vragen:
Wat hebben we geleerd van klanten of uit productie?
Welke beslissingen zijn veranderd?
Welk werk is gegenereerd maar nog niet onderbouwd met een beslissing?
Welke wijzigingen zijn te groot om comfortabel te reviewen?
Waar nam AI wrijving weg?
Waar voegde het review- of operationele last toe?
Wat moeten we stoppen, versmallen of terugdraaien?
Wat zijn de veelgemaakte fouten?
Adoptiedoelen stellen. "80% van de engineers gebruikt dagelijks AI" is een input. Teams halen dat zonder iets te verbeteren.
Alleen op zelfrapportage vertrouwen. METRs waarnemingskloof is de waarschuwing. Combineer enquêtes met opleverdata.
Stabiliteit negeren. Doorvoerwinst die gepaard gaat met meer rollbacks en hotfixes is geleende tijd.
Ongelijke teams vergelijken. Een seniorteam met AI tegenover een juniorteam zonder zegt niets over AI.
Het beleid overslaan. Leg goedgekeurde tools, datagrenzen, reviewdrempels en de gevoelige acties vast die menselijke goedkeuring nodig hebben. Onze gids over hoe AI de werkdruk van productteams veranderde behandelt het bredere werkafspraken.
Waar Specky past
Specky houdt product en engineering verbonden met de reden voor het werk. De Product Graph koppelt klantsignalen, onderzoek, beslissingen, PRD's, tickets en resultaten, en de MCP-server laat codeeragents die context lezen voordat ze plannen. Dat geeft managers een lus voorbij codeactiviteit: signaal, beslissing, implementatie, review, release, resultaat. Het is geen extra engineeringdashboard; het voorkomt dat de productredenering verloren gaat tussen de roadmap en de repository.
Veelgestelde vragen
Moeten managers regels code bijhouden die door AI zijn geproduceerd?
Nee. Regels code en geaccepteerde suggesties zijn activiteitsmaten die AI zonder kosten opblaast. GitClears data laten zien dat gekopieerde code toenam en refactoring afnam naarmate het AI-gebruik groeide. Volg in plaats daarvan DORA's opleverkengetallen, reviewtijd, wijzigingsgrootte en het klantresultaat dat elke wijziging moest verbeteren.
Wat is de beste maatstaf voor de productiviteit van ontwikkelaars met AI?
Geen enkele maatstaf werkt. Gebruik vier lagen: adoptie (worden tools gebruikt), vertrouwen (wordt output in de juiste mate geaccepteerd), oplevering (DORA's doorvoer- en stabiliteitskengetallen) en productimpact (veranderde klantgedrag of bedrijfsresultaat). Rapporteer ze apart, zodat adoptie nooit voor impact in de plaats komt.
Maken AI-codeertools ontwikkelaars sneller?
Dat hangt ervan af. Een gecontroleerde taak uit 2023 vond ontwikkelaars 55,8% sneller met Copilot. METRs onderzoek uit 2025 op volwassen open-sourcecodebases vond ervaren ontwikkelaars 19% langzamer. METRs vervolg uit 2026 wijst op bescheiden versnellingen maar met grote onzekerheid. De winst is het grootst bij goed gedefinieerde greenfield-taken.
Hoe lang moet een pilot met een AI-codeertool duren?
Minstens zes tot acht weken na een nulmetingsperiode. Google adviseert vier sprints van twee weken voordat je de versnelling beoordeelt, omdat engineers tijd nodig hebben om de tools te leren en vroege cijfers vooral adoptie weerspiegelen. Spreek de succescriteria af met engineers en businessleiders voordat de pilot begint.
Wat hoort er in een beleid voor AI-codeertools?
Goedgekeurde tools, de data waartoe elke tool toegang mag hebben, reviewdrempels per risico, acties die altijd menselijke goedkeuring nodig hebben, hoe gegenereerde wijzigingen worden getest en gecontroleerd, en wie verantwoordelijk is voor productie-incidenten. DORA noemt dit een duidelijk en gecommuniceerd AI-standpunt en zet het bovenaan de capaciteiten die AI-adoptie lonend maken.
GDPR-aligned. EU workspace data is stored in Frankfurt, Germany. GDPR and EU data Built in Vienna, Austria. A product of influence solutions fm GmbH (FN 675374y). Imprint 14-day trial. Card required, and nothing is charged until day 14. 30-day refund after subscribing. See pricing