15. Oktober 2026Aktualisiert am Fathy Shalaby10 Min. Lesezeit
Engineering-Produktivität mit KI-Coding-Tools messen
Codezeilen, Prompts und akzeptierte Vorschläge messen Aktivität, nicht Fortschritt. Das sagt die Forschung zu KI-Coding-Tools, und so sieht ein Scorecard mit vier Ebenen aus, den du stattdessen nutzen kannst.
Teilen
Dieser Artikel wurde aus dem Englischen übersetzt. Original lesen
Um die Engineering-Produktivität mit KI-Coding-Tools zu messen, verfolgst du Liefergeschwindigkeit, Stabilität und Produktergebnisse, nicht Codezeilen, Prompts oder akzeptierte Vorschläge. Das sind Aktivitätssignale, und KI bläht sie kostenlos auf. Kontrollierte Forschung zeigt, warum das wichtig ist: In METRs Studie von 2025 waren erfahrene Entwickler mit KI 19 % langsamer, glaubten aber, 20 % schneller zu sein. Miss das System rund um das Tool, auf vier Ebenen.
Die wichtigsten Punkte
Gefühlte und gemessene Produktivität können in entgegengesetzte Richtungen zeigen: METRs Entwickler prognostizierten ein Plus von 24 %, schätzten hinterher 20 % und waren gemessen 19 % langsamer (METR, 2025).
Bei Teams mit hoher KI-Nutzung stiegen die gemergten Pull Requests um 98 %, die Review-Zeit um 91 % und die PR-Größe um 154 %, ohne Verbesserung der Delivery auf Unternehmensebene (Faros AI, 2025).
Googles eigene Empfehlung sagt, dass Akzeptanzrate und akzeptierte Codezeilen Adoption und Vertrauen messen, nicht Produktivität.
DORAs Forschung von 2025 verbindet KI-Adoption mit höherem Durchsatz, aber geringerer Stabilität, also miss beide Seiten.
Nutze einen Scorecard mit vier Ebenen: Adoption, Vertrauen, Delivery, Produktwirkung. Gib einem Pilot sechs bis acht Wochen gegen eine Baseline.
Warum sind Codezeilen ein schlechtes Maß für Engineers mit KI-Unterstützung?
Codezeilen waren immer ein schwacher Stellvertreter. Mit KI-Coding-Tools werden sie aktiv irreführend, weil Code zu erzeugen fast nichts mehr kostet. Ein Dashboard kann sich mit Commits, Pull Requests, generierten Tests und akzeptierten Vorschlägen füllen, während das Produkt stillsteht.
Drei Belege zeigen die Verzerrung.
Mehr Code ist nicht besserer Code. GitClear hat 211 Millionen geänderte Zeilen von 2020 bis 2024 analysiert. Geklonte (kopierte) Zeilen stiegen von 8,3 % der Änderungen im Jahr 2021 auf 12,3 % im Jahr 2024, während verschobene, refaktorierte Zeilen von 25 % auf unter 10 % fielen (GitClear, 2025). Das Volumen stieg, während die Wartungsarbeit sank.
Größere Änderungen bremsen das Team. Die Telemetrie von Faros AI von mehr als 10.000 Entwicklern zeigte: Teams mit hoher KI-Nutzung erzeugten 154 % größere PRs, die Review-Zeit stieg um 91 % und die Bugs pro Entwickler um 9 % ().
Akzeptanz ist nicht Produktivität. Googles Rahmenwerk für die Einführung von KI-Coding-Unterstützung ordnet Akzeptanzrate und akzeptierte Codezeilen den Phasen Adoption und Vertrauen zu und warnt, dass hohe Werte keine Produktivität belegen, wenn sich die Delivery-Kennzahlen verschlechtern (Google Cloud, 2025).
Das SPACE-Framework von Nicole Forsgren und Kollegen bei Microsoft Research und GitHub hat 2021 den allgemeinen Punkt gemacht: Entwicklerproduktivität lässt sich nicht mit einer einzigen Kennzahl oder allein anhand von Aktivität messen (Forsgren et al., 2021). Seine fünf Dimensionen sind Zufriedenheit und Wohlbefinden, Leistung, Aktivität, Kommunikation und Zusammenarbeit sowie Effizienz und Flow. Aktivität ist eine von fünf, nicht das ganze Bild.
Das Risiko ist eine Rückkopplungsschleife: Die Organisation belohnt sichtbaren Output, Engineers erzeugen mehr, Reviewer erben die Last, und Führungskräfte halten Bewegung für Fortschritt. Wir nennen das die Product-Velocity-Illusion.
Was sagt die Forschung zu KI-Coding-Tools und Entwicklerproduktivität?
Die Ergebnisse hängen stark von Aufgabe, Codebasis und Entwickler ab. Hier ist die Evidenz im Überblick.
Studie
Setting
Ergebnis
Peng et al., 2023
Kontrollierte Aufgabe: einen HTTP-Server in JavaScript bauen
Copilot-Gruppe war 55,8 % schneller fertig (arXiv)
METR, Juli 2025
RCT: 16 erfahrene Entwickler, 246 echte Issues in großen Open-Source-Repos
19 % langsamer mit KI; Entwickler glaubten, 20 % schneller zu sein (METR)
METR, Februar 2026
57 Entwickler, 800+ Aufgaben, Tools von Ende 2025
Schätzungen von 18 % und 4 % schneller, aber die Konfidenzintervalle schließen null ein; METR nennt es schwache Evidenz (METR)
DORA, 2024
Umfragebasierte Modellierung
KI-Adoption verbunden mit einem geschätzten Rückgang des Delivery-Durchsatzes um 1,5 % und der Stabilität um 7,2 % (Google Cloud)
DORA, 2025
Fast 5.000 Fachleute
KI jetzt mit höherem Durchsatz verbunden, weiterhin mit geringerer Stabilität (Google Cloud)
Faros AI, 2025
Telemetrie, 10.000+ Entwickler, 1.255 Teams
21 % mehr Aufgaben, 98 % mehr PRs, kein Gewinn auf Unternehmensebene
Stack Overflow, 2025
Umfrage, 30.000+ Entwickler
52 % sagen, KI habe ihre Produktivität verbessert; 45 % sagen, das Debuggen von KI-Code dauere länger (Stack Overflow)
Drei Lehren für Führungskräfte:
Selbstauskünfte reichen nicht. METRs Wahrnehmungslücke bedeutet, dass eine Teamumfrage allein Gewinne zeigen kann, die die Delivery-Daten nicht zeigen.
Isolierte Aufgaben überzeichnen die Gewinne. Eine Greenfield-Übung mit klaren Anforderungen ist das, worin KI glänzt. Gewachsene Codebasen mit impliziten Konventionen sind schwieriger.
Individuelle Gewinne addieren sich nicht automatisch. Faros fand mehr Output pro Entwickler, aber keine Verbesserung auf Unternehmensebene. Review, Tests und Integration schlucken die Differenz.
DORAs Daten von 2024 zeigten auch echte Vorteile: Für jede Steigerung der KI-Adoption um 25 % stieg die Dokumentationsqualität um geschätzte 7,5 %, die Codequalität um 3,4 % und die Geschwindigkeit des Code-Reviews um 3,1 %. KI hilft. Die Frage ist, ob dein System diese Hilfe in gelieferten Wert verwandelt.
Was solltest du stattdessen messen? Ein Scorecard mit vier Ebenen
Googles Vier-Phasen-Framework (Adoption, Vertrauen, Beschleunigung, Wirkung) und DORAs Delivery-Kennzahlen ergeben zusammen einen Scorecard, den du monatlich durchgehen kannst. Halte jede Ebene getrennt, damit Adoption-Zahlen nie für Wirkung einstehen.
Ebene
Frage
Kennzahlen
Warnsignal
1. Adoption
Nutzen die Engineers die Tools?
Wöchentlich aktive Nutzer, Anteil der Änderungen mit KI-Unterstützung
Wird selbst zum Ziel
2. Vertrauen
Vertrauen Engineers dem Output angemessen?
Akzeptanzrate, Umfrage zum Vertrauen, Anteil der KI-Änderungen, die im Review überarbeitet werden
Sehr hohe Akzeptanz plus steigende Change-Fail-Rate
3. Delivery
Ist das System schneller und stabil?
DORAs fünf Kennzahlen: Change Lead Time, Deployment-Frequenz, Wiederherstellungszeit nach fehlgeschlagenem Deployment, Change-Fail-Rate, Deployment-Rework-Rate (DORA)
Durchsatz steigt, Stabilität sinkt
4. Produktwirkung
Haben Kunden oder das Geschäft profitiert?
Verhalten der Zielnutzer, Adoption ausgelieferter Features, Retention, Support-Aufkommen
Viele Releases, flache Ergebnisse
Ergänze zwei Team-Gesundheitssignale, die KI tendenziell verschiebt: die mediane PR-Größe und die mediane Zeit bis zum ersten Review. Sie sind die frühesten Warnungen, dass der Output der Review-Kapazität davonläuft.
Wie führst du einen fairen Vorher-Nachher-Vergleich durch?
Googles Empfehlung nennt das Festlegen von Erfolgskriterien und einer Baseline den wichtigsten und am häufigsten übersprungenen Schritt. Ein praktischer Ablauf:
Einigt euch vor dem Rollout mit Engineers und Business-Verantwortlichen auf die Erfolgskriterien. Wähle eine Delivery-Kennzahl und ein Produktergebnis.
Erfasse eine Baseline über mindestens vier Wochen: DORA-Kennzahlen, PR-Größe, Review-Zeit.
Vergleiche Gleiches mit Gleichem. Google warnt davor, ein erfahrenes Team mit KI mit einem weniger erfahrenen Team ohne KI zu vergleichen. Nutze aufeinanderfolgende Projekte oder passende Kohorten.
Gib ihm sechs bis acht Wochen. Google empfiehlt mindestens vier Sprints à zwei Wochen, bevor du erwartest, dass sich Beschleunigung zeigt.
Lies alle vier Ebenen zusammen, dann entscheide, was du änderst: Tooling, Batch-Größe, Review-Prozess oder Kontext.
Durchgespieltes Beispiel (illustrativ)
Angenommen, ein Team aus sechs Engineers führt einen KI-Coding-Agenten ein. Nach acht Wochen zeigt das Dashboard 140 % mehr geänderte Zeilen und 60 % mehr gemergte PRs. Die Change Lead Time sank von 3,0 auf 2,2 Tage. Aber die Change-Fail-Rate stieg von 8 % auf 14 %, die mediane PR-Größe verdoppelte sich, und die Zeit bis zum ersten Review wuchs von 4 auf 10 Stunden.
Ein Codezeilen-Dashboard nennt das einen Triumph. Der Scorecard mit vier Ebenen sagt: Adoption und Durchsatz haben sich verbessert, die Stabilität ist schlechter geworden. Die Lösung: PR-Größe begrenzen, vor dem Code-Review den Abnahme-Check des PM einführen und von den Agenten verlangen, ungetestete Pfade aufzulisten. Vier Wochen später liegt die Change-Fail-Rate wieder bei 9 %, und die Lead Time hält bei 2,4 Tagen. Das ist ein echter Gewinn.
Was sollte eine Führungskraft mit dem Team klären, bevor die KI-gestützte Arbeit beginnt?
Mach sechs Dinge für jede Arbeit explizit:
Die Produktentscheidung: Was entscheiden oder testen wir?
Die Nutzerevidenz: Welche Quellen zeigen, dass das Problem real ist?
Der kleinste nützliche Schnitt: Was ist die kleinste Änderung, die Erkenntnis oder Wert schafft?
Die technischen Leitplanken: Was muss bei Sicherheit, Zuverlässigkeit, Datenschutz und Performance weiterhin gelten?
Der Review-Pfad: Wer prüft Verhalten, Code, Tests und die betrieblichen Folgen?
Der Verantwortliche für das Ergebnis: Wer prüft, was nach dem Launch passiert ist?
Bitte das Team dann, generierte Arbeit nachvollziehbar zu machen: geänderte Dateien und Systeme, Annahmen des Agenten, durchgeführte Tests, ungetestete Pfade, Rollback-Plan und ein Link zurück zur Produktentscheidung. Behandle generierten Code als vorgeschlagene Änderung, nicht als Autorität. Die PM-Seite dieses Reviews behandelt wie du prüfst, was KI-Agenten bauen.
Wie sollten Product Manager mit Engineers zusammenarbeiten, die KI-Coding-Tools nutzen?
Gib den Engineers das Problem, die Evidenz, die Akzeptanzkriterien, die Rahmenbedingungen und das angestrebte Ergebnis, und lass das Engineering das technische Design verantworten. Agenten wissen nur, was aufgeschrieben ist, also trägt das Briefing mehr Gewicht als früher. Ein strukturiertes PRD-Template für KI-Coding-Agenten und der Produktkontext, den ein KI-Coding-Agent braucht helfen beide.
Halte die Schnitte klein. DORA zählt das Arbeiten in kleinen Batches zu den sieben Fähigkeiten, die den Nutzen von KI verstärken, neben einer klaren KI-Haltung, KI-zugänglichen internen Daten und starken Versionskontrollpraktiken.
Eine wöchentliche Management-Routine
Ersetze „Wie viele Zeilen haben wir produziert?“ durch sieben Fragen:
Was haben wir von Kunden oder aus der Produktion gelernt?
Welche Entscheidungen haben sich geändert?
Welche Arbeit wurde generiert, aber noch nicht durch eine Entscheidung begründet?
Welche Änderungen sind zu groß, um sie bequem zu reviewen?
Wo hat KI Reibung entfernt?
Wo hat sie Review- oder Betriebsaufwand erzeugt?
Was sollten wir stoppen, eingrenzen oder zurückrollen?
Was sind die häufigen Fehler?
Adoption-Ziele setzen. „80 % der Engineers nutzen täglich KI“ ist ein Input. Teams erreichen das, ohne irgendetwas zu verbessern.
Nur Selbstauskünften vertrauen. METRs Wahrnehmungslücke ist die Warnung. Kombiniere Umfragen mit Delivery-Daten.
Stabilität ignorieren. Durchsatzgewinne, die mit mehr Rollbacks und Hotfixes einhergehen, sind geliehene Zeit.
Ungleiche Teams vergleichen. Ein Senior-Team mit KI gegen ein Junior-Team ohne sagt nichts über KI.
Die Richtlinie auslassen. Lege freigegebene Tools, Datengrenzen, Review-Schwellen und die sensiblen Aktionen fest, die menschliche Freigabe brauchen. Unser Leitfaden dazu, wie KI die Arbeitslast von Produktteams verändert hat, deckt den weiteren Betriebsvertrag ab.
Wo Specky ins Spiel kommt
Specky hält Produkt und Engineering mit dem Grund für die Arbeit verbunden. Der Product Graph verknüpft Kundensignale, Research, Entscheidungen, PRDs, Tickets und Ergebnisse, und der MCP-Server lässt Coding-Agenten diesen Kontext lesen, bevor sie planen. Das gibt Führungskräften eine Routine jenseits der Code-Aktivität: Signal, Entscheidung, Umsetzung, Review, Release, Ergebnis. Es ist kein weiteres Engineering-Dashboard; es verhindert, dass die Produktüberlegungen zwischen Roadmap und Repository verloren gehen.
Häufig gestellte Fragen
Sollten Führungskräfte die von KI produzierten Codezeilen verfolgen?
Nein. Codezeilen und akzeptierte Vorschläge sind Aktivitätsmaße, die KI ohne Kosten aufbläht. GitClears Daten zeigen, dass kopierter Code zunahm und Refactoring abnahm, als die KI-Nutzung wuchs. Verfolge stattdessen DORAs Delivery-Kennzahlen, Review-Zeit, Änderungsgröße und das Kundenergebnis, das jede Änderung bewegen sollte.
Was ist die beste Kennzahl für die Produktivität von Entwicklern mit KI?
Keine einzelne Kennzahl funktioniert. Nutze vier Ebenen: Adoption (werden Tools genutzt), Vertrauen (wird der Output angemessen akzeptiert), Delivery (DORAs Durchsatz- und Stabilitätskennzahlen) und Produktwirkung (haben sich Kundenverhalten oder Geschäftsergebnisse verändert). Berichte sie getrennt, damit Adoption nie für Wirkung einsteht.
Machen KI-Coding-Tools Entwickler schneller?
Das kommt darauf an. Eine kontrollierte Aufgabe von 2023 fand Entwickler mit Copilot 55,8 % schneller. METRs Studie von 2025 an gewachsenen Open-Source-Codebasen fand erfahrene Entwickler 19 % langsamer. METRs Folgestudie von 2026 deutet auf moderate Beschleunigungen hin, aber mit großer Unsicherheit. Die Gewinne sind bei klar definierten Greenfield-Aufgaben am größten.
Wie lange sollte ein Pilot mit einem KI-Coding-Tool laufen?
Mindestens sechs bis acht Wochen nach einer Baseline-Phase. Google empfiehlt vier Sprints à zwei Wochen, bevor du die Beschleunigung beurteilst, weil Engineers Zeit brauchen, die Tools zu lernen, und frühe Zahlen vor allem die Adoption widerspiegeln. Einigt euch vor dem Start des Pilots mit Engineers und Business-Verantwortlichen auf die Erfolgskriterien.
Was sollte eine Richtlinie für KI-Coding-Tools enthalten?
Freigegebene Tools, welche Daten jedes Tool nutzen darf, Review-Schwellen nach Risiko, Aktionen, die immer eine menschliche Freigabe brauchen, wie generierte Änderungen getestet und geprüft werden und wer für Produktionsvorfälle verantwortlich ist. DORA nennt das eine klare und kommunizierte KI-Haltung und führt sie als Erstes unter den Fähigkeiten auf, die die KI-Einführung lohnend machen.
GDPR-aligned. EU workspace data is stored in Frankfurt, Germany. GDPR and EU data Built in Vienna, Austria. A product of influence solutions fm GmbH (FN 675374y). Imprint 14-day trial. Card required, and nothing is charged until day 14. 30-day refund after subscribing. See pricing