6. August 2026Aktualisiert am Fathy Shalaby13 Min. Lesezeit
Wann KI in einem Produkt-Feature einsetzen: Ein Test mit 4 Fragen
Ein praktischer Test, der dir zeigt, wann ein Modell einem Feature echten Mehrwert bringt, wann eine Regel genügt und was du vor dem Release evaluieren solltest.
Teilen
Dieser Artikel wurde aus dem Englischen übersetzt. Original lesen
Wann du KI in einem Produkt einsetzen solltest, entscheiden vier Prüfungen. Nutze ein Modell, wenn die Eingaben wirklich unordentlich oder variabel sind, wenn ein Modell bei einem Ergebnis, das Nutzern wichtig ist, eine einfachere Regel schlägt, wenn Fehler billig oder leicht zu erkennen sind und wenn du es an echten Beispielen testen kannst. Lautet eine Antwort Nein, fang mit einer Regel, einer Abfrage oder einem Menschen an.
Das Wichtigste in Kürze
Googles Rules of Machine Learning beginnen mit Rule #1: Hab keine Angst, ein Produkt ohne Machine Learning zu launchen (Google).
Anthropics Rat für LLM-Apps lautet, die einfachste Lösung zu finden, die funktioniert – das „kann bedeuten, gar keine agentischen Systeme zu bauen“ (Anthropic, 2024).
Vertrauen ist keine Selbstverständlichkeit: 46 % der Entwickler:innen misstrauen der Genauigkeit von KI-Tools und 33 % vertrauen ihr, und 66 % ärgern sich über Antworten, die fast richtig sind, aber nicht ganz (Stack Overflow, 2025).
Googles People + AI Guidebook nennt Fälle, in denen KI wahrscheinlich nicht besser ist: wenn Vorhersehbarkeit zählt, Fehler teuer sind oder volle Transparenz nötig ist (Google PAIR).
Schreib vor dem Prompt einen einseitigen KI-Feature-Brief: Nutzer, Evidenz, Grenze, Fehlerpfad, Evaluation und Verantwortliche:r.
Wann sollte ein Produkt-Feature KI nutzen?
Fang beim Job der Nutzer an, nicht beim Modell. KI hilft tendenziell, wenn eine Aufgabe Freitext, Bilder, unvollständigen Kontext oder viele leicht unterschiedliche Fälle umfasst, die heute ein Mensch von Hand interpretiert, und wenn sich das Ergebnis sicher prüfen lässt. Eine stabile Regel kann einfacher sein. Eine folgenreiche Entscheidung braucht womöglich einen Menschen, der die Kontrolle behält.
Googles PAIR-Team, das den People + AI Guidebook geschrieben hat, sagt es klar: In vielen Fällen funktioniert eine einfachere Lösung genauso gut wie eine KI-Variante und lässt sich leichter bauen, erklären, debuggen und warten. Sein Leitfaden schlägt vor, „Können wir KI nutzen, um X zu tun?“ durch „Wie könnten wir X lösen?“ zu ersetzen und dann zu fragen, ob KI es auf eine einzigartige Weise löst.
Der Guidebook nennt Situationen, in denen KI wahrscheinlich besser ist als Regeln:
verschiedenen Nutzern unterschiedliche Inhalte empfehlen
zukünftige Ereignisse vorhersagen, etwa Flugpreise
Personalisierung, die das Erlebnis verbessert, etwa ein Thermostat, das Gewohnheiten lernt
Verstehen natürlicher Sprache
Erkennen einer allgemeinen Klasse von Dingen, etwa Objekten auf Fotos
Erkennen seltener Ereignisse, die sich über die Zeit ändern, etwa Betrug
Dasselbe Kapitel nennt, wo KI wahrscheinlich nicht besser ist: Vorhersehbarkeit wahren (ein Abbrechen-Button sollte an seinem Platz bleiben), statische oder begrenzte Informationen wie ein Kartenzahlungsformular, kostspielige Fehler minimieren, vollständige Transparenz, Optimierung auf Geschwindigkeit und niedrige Kosten über alles andere und Aufgaben, die Menschen nach eigener Aussage nicht automatisiert haben wollen.
Wie entscheidest du, wann du KI in einem Produkt einsetzt?
Um zu entscheiden, wann du KI in einem Produkt einsetzt, geh diese vier Fragen der Reihe nach mit derjenigen Person durch, der das Problem gehört: einem Product Manager, einer Gründerin, einem Product Engineer oder der Person, die einen KI-Coding-Agenten briefet.
1. Ist das Problem der Nutzer wirklich variabel?
Schreib die Eingabe und die Entscheidung auf, die das Feature treffen muss. Sieh dir echte Beispiele aus dem Workflow an: aktuelle Support-Anfragen, Interview-Notizen, abgeschickte Formulare oder andere repräsentative Signale.
Sind die Eingaben strukturiert und die Zuordnung stabil, fang mit einer deterministischen Baseline an, etwa einer Regel, einer Abfrage oder einem gewöhnlichen Workflow. Müssen Menschen Freitext, Bilder oder unvollständigen Kontext interpretieren, kann ein Modell bei der Variabilität helfen.
Das ist ein Test, kein Verbot von KI bei strukturierten Daten. Zinkevichs Rule #3 sagt, du sollst Machine Learning einer komplexen Heuristik vorziehen, sobald du Daten hast, denn eine einfache Heuristik ist schnell ausgeliefert, eine komplexe wird unwartbar. Es geht darum zu benennen, was das Modell beiträgt, das ein einfacherer Ansatz nicht leistet.
2. Verbessert KI das Ergebnis im Vergleich zu einer einfacheren Option?
Benenne die Verbesserung aus Sicht der Nutzer. Sie könnte darin bestehen, wiederholtes manuelles Sortieren zu reduzieren, eine große Menge an Evidenz leichter prüfbar zu machen oder Nutzern zu erlauben, eine Aufgabe in natürlicher Sprache zu beschreiben. „Es nutzt KI“ ist kein Ergebnis.
Vergleiche das geplante Feature mit einer realistischen Alternative: dem aktuellen Workflow, einer regelbasierten Version oder einem Menschen, der die Aufgabe erledigt. Halte die Trade-offs bei Latenz, Kosten, Vorhersehbarkeit, Barrierefreiheit und Wartung fest. Anthropic merkt an, dass agentische Systeme oft Latenz und Kosten gegen bessere Aufgabenleistung eintauschen und dass klar definierte Aufgaben meist besser mit vorhersehbaren Workflows bedient sind. Verbessert die KI-Version kein bedeutsames Nutzerergebnis, bleib bei der einfacheren Version.
Zinkevich fügt eine Warnung zu Daten hinzu: Ein Modell, das von einem anderen Problem geborgt und für dein Produkt angepasst wurde, wird wahrscheinlich schlechter abschneiden als einfache Heuristiken. Keine Daten heißt meist: noch kein Modell.
3. Was passiert, wenn das Modell falsch liegt?
Liste die plausiblen Fehlerarten auf und was jede die Nutzer kostet. Eine Entwurfszusammenfassung, die nachbearbeitet werden muss, birgt ein anderes Risiko als ein Modell, das Zugriffsrechte ändert, eine Rechnung berechnet oder in jemandes Namen eine Nachricht verschickt.
Beinahe-Treffer sind die teure Sorte. In der Stack-Overflow-Umfrage 2025 war der größte Einzelfrust, genannt von 66 % der Entwickler:innen, KI-Output, der fast richtig ist, und 45 % sagten, das Debuggen von KI-generiertem Code dauere länger. Eine falsche Antwort, die richtig aussieht, kostet Review-Zeit; eine selbstsicher falsche Antwort, die niemand prüft, kostet Vertrauen.
Wähle die Kontrolle passend zur Konsequenz:
Lass den Output einen Vorschlag bleiben, wenn ein Mensch ihn prüfen kann.
Zeig die Belege oder Eingaben hinter einer Empfehlung, wo das den Nutzern beim Urteilen hilft.
Biete einen klaren Fallback oder eine einfache Möglichkeit, das Ergebnis zu korrigieren.
Leite unsichere oder folgenreiche Fälle an einen Menschen.
Mach automatisierte Aktionen rückgängig machbar und protokolliere, was das System getan hat.
Microsofts Guidelines for Human-AI Interaction, validiert in einem CHI-2019-Paper, beschreiben, wie sich ein System bei der ersten Nutzung, im regulären Betrieb, über die Zeit und dann verhalten sollte, wenn es unvermeidlich falsch liegt (Microsoft Research). Bei folgenreichen Entscheidungen brauchst du außerdem eine fachspezifische Prüfung; eine generische KI-Checkliste ersetzt keine rechtliche, sicherheitstechnische oder fachliche Prüfung. Der Leitfaden zu KI-Entscheidungen mit Grenzen zeigt, wie du die Übergabe formulierst.
4. Kann das Team es mit repräsentativen Beispielen evaluieren?
Stell vor dem Release Beispiele zusammen, die die erwarteten Eingaben, wichtige Randfälle und die Art widerspiegeln, wie Nutzer Anfragen formulieren oder kombinieren. Labele das erwartete Ergebnis oder die Kriterien, nach denen ein Reviewer urteilt. Vergleiche das KI-Verhalten mit der einfacheren Baseline an denselben Fällen.
Definiere ein Release-Gate, bevor du Ergebnisse siehst: welche Fehler inakzeptabel sind, welche Outputs menschlich geprüft werden müssen und welche Qualität für einen begrenzten Rollout gut genug ist. Verfolge nach dem Launch Korrekturen, Fallback-Nutzung, Fehlermeldungen, Latenz, Kosten und das Ergebnis, das das Feature verbessern sollte.
Es gibt keine universelle Zahl an Beispielen, die ein Feature sicher macht. Das Set sollte für die anstehende Entscheidung groß und vielfältig genug sein, mit schriftlich festgehaltenen Lücken. Das KI-Evaluations-Framework für Produktteams behandelt Datensätze, Rubriken und Grader Schritt für Schritt.
KI, Regel oder Mensch: Was solltest du wählen?
Situation
Gute erste Option
Was zu prüfen ist
Stabile Eingabe und eine bekannte, wiederholbare Regel
Regel oder Workflow
Die Regel deckt reale Fälle ab und hat eine klare Verantwortung
Eine Regel existiert, ist aber auf Dutzende Ausnahmen angewachsen
Modell, sobald du Daten hast
Das Modell schlägt die Regel an denselben gelabelten Fällen
Unordentliche Eingabe; ein Mensch kann einen nützlichen Entwurf prüfen
KI-Unterstützung
Nutzer können ihn korrigieren, und der Entwurf spart Arbeit, ohne seine Quellen zu verbergen
Ein Modell kann eine begrenzte, umkehrbare Aktion ausführen
Begrenzte Automatisierung
Umfang, Berechtigungen, Fallback, Logging und Rollback sind definiert
Offene, mehrstufige Aufgabe mit unvorhersehbaren Schritten
Agent, wenn Latenz und Kosten vertretbar sind
Jeder Schritt ist beobachtbar und ein Mensch kann den Lauf stoppen
Das Nutzerproblem oder die Evaluationsevidenz ist unklar
Discovery oder Prototyp
Lerne von echten Nutzern, bevor du dich auf Produktionsautomatisierung festlegst
Diese Tabelle rahmt die Entscheidung; sie trifft sie nicht für das Team. Ein KI-Feature sollte einen benannten Nutzer haben, einen echten Job, eine einfachere Baseline und eine Möglichkeit zu erkennen, wenn es nicht funktioniert.
Soll KI die Aufgabe automatisieren oder den Menschen unterstützen?
Der PAIR-Guidebook zieht eine zweite Linie, die die vier Fragen nicht abdecken: ob Menschen die Aufgabe überhaupt abgenommen haben wollen. Er schlägt vor, Aufgaben zu automatisieren, die schwierig, unangenehm oder nur im großen Maßstab zu bewältigen sind, am besten dort, wo sich die Menschen, die sie heute erledigen, über die richtige Antwort einig sind. Unterstützen (Augmentation) solltest du Aufgaben, die Menschen gern machen, die soziales Kapital bringen oder bei denen Menschen uneins sind, wie „richtig“ aussieht.
Automatisieren
Unterstützen
Die Aufgabe fühlt sich an
Mühsam, repetitiv, hochvolumig
Kreativ, urteilsintensiv, persönlich wertvoll
Richtige Antwort
Von denen, die es heute tun, geteilt
Umstritten oder persönlich
Erfolg sieht aus wie
Weniger Zeitaufwand, weniger Fehler
Mehr Kontrolle, besserer Output, mehr Selbstvertrauen
Beispiel aus der Produktarbeit
Feedback deduplizieren, Tickets taggen
Entscheiden, was gebaut wird, Positionierung schreiben
Produktteams neigen dazu, die zweite Spalte zu stark zu automatisieren. Priorisierung, Positionierung und die letzte Entscheidung über eine Spec sind Aufgaben zum Unterstützen. Die Liste Was Product Manager niemals an KI delegieren sollten geht sie einzeln durch.
Ein durchgerechnetes Beispiel: Kundenfeedback ordnen
Das ist ein illustrativer Workflow, kein Specky-Kundenfall und kein berichtetes Ergebnis. Angenommen, ein Team aus 5 Personen erhält pro Monat etwa 400 Freitext-Feedbacks über Support, Sales-Calls und ein In-App-Widget. Heute verbringt eine Person rund 6 Stunden im Monat damit, sie zu taggen, und das Team will wiederkehrende Themen finden und entscheiden, was es als Nächstes untersucht.
Geh die vier Fragen durch:
Variabel? Teilweise. Etwa 70 % der Einträge nennen einen bekannten Produktbereich beim Namen, den eine Keyword-Regel taggen kann. Der Rest beschreibt Probleme in den eigenen Worten der Kunden.
Besser als einfacher? Nur für die restlichen 30 %. Ein Modell kann Themen vorschlagen und die Originalauszüge anhängen, die sie stützen. Exakte Zählungen für bekannte Tags bleiben gewöhnliche Abfragen.
Was kostet ein Fehler? Wenig, wenn ein Mensch die vorgeschlagenen Themen prüft, bevor sie zu Roadmap-Entscheidungen werden, und sie zusammenführen, umbenennen oder ablehnen kann.
Evaluierbar? Ja. Das Team labelt 100 vergangene Einträge von Hand und prüft, ob die Themen des Modells wichtige Unterschiede bewahren, etwa „Export ist langsam“ gegenüber „Beim Export fehlt ein Format“.
Das Ergebnis ist ein Hybrid: eine Regel für die 70 %, KI-Vorschläge für die 30 % und ein Mensch, der entscheidet, was zählt. Das Modell ordnet mehrdeutige Sprache; es entscheidet nicht, was das Team baut. Das Team verfolgt dann die Review-Zeit gegen die 6-Stunden-Baseline und wie oft Reviewer ein Thema korrigieren. Bleiben die Korrekturen nach einem Monat über, sagen wir, 1 von 4, kehrt es für diesen Teil zum manuellen Taggen zurück. Das Template zur Synthese von Kundeninterviews beschreibt den Review-Schritt ausführlicher.
Kopierbarer KI-Feature-Brief
Nutze diesen kurzen Brief, bevor du einen Prompt schreibst oder Arbeit an einen KI-Coding-Agenten übergibst:
Nutzer und Job: Wer versucht, was zu tun?
Evidenz: Welche echten Beispiele zeigen, dass dieses Problem auftritt?
Aufgabe für die KI: Welche Eingabe erhält das Modell, und welchen Output darf es zurückgeben?
Warum KI: Was verbessert das Modell gegenüber der einfachsten brauchbaren Baseline?
Grenze: Was darf das Modell niemals entscheiden oder tun?
Fehlerpfad: Wie bemerkt der Nutzer ein falsches Ergebnis, korrigiert es oder erholt sich davon?
Evaluation: Welche Beispiele und Randfälle verwenden die Reviewer?
Release-Gate: Was muss vor dem Rollout gelten, und was löst eine Pause aus?
Erfolgsmaß: Welches Nutzerergebnis soll sich verbessern, und welche Trade-offs werden verfolgt?
Verantwortliche:r: Wer prüft das Feature, nachdem es live ist?
Für alle, die mit KI-Coding-Tools bauen: Halte das Nutzerproblem und das Verhalten getrennt von Implementierungsentscheidungen. GitHubs Spec Kit etwa führt eine Feature-Spezifikation durch Planung und Implementierung und enthält einen Prozess, um überhaupt zu entscheiden, ob eine Idee eine Investition verdient (GitHub Spec Kit). Eine Spec macht die Absicht leichter prüfbar; sie beweist nicht, dass generierter Code oder Modell-Output korrekt ist. Der PRD-Leitfaden behandelt den Rest des Dokuments.
Häufige Fehler bei der Entscheidung für KI
Bei der Technologie anfangen. RANDs Interviews mit 65 KI-Praktiker:innen nannten den Fokus auf die neueste Technologie statt auf echte Nutzerprobleme als eine von fünf Grundursachen gescheiterter KI-Projekte (RAND, 2024). Unser Blick darauf, warum die 95-%-Zahl zu KI-Piloten irreführend ist, behandelt den Rest.
Die Baseline überspringen. Hat niemand den manuellen Prozess gestoppt, kann niemand sagen, dass die KI-Version besser ist.
Synthetische Beispiele als Beweis behandeln. Generierte Testfälle erweitern die Abdeckung; sie zeigen nicht, dass echte Nutzer profitieren.
Unsicherheit verbergen. Eine selbstsichere Antwort ohne Quellen bringt Nutzern bei, dem Feature entweder zu sehr zu vertrauen oder es zu ignorieren.
Kein Ausstiegsplan. Jedes KI-Feature braucht eine benannte Verantwortung und eine Bedingung, unter der es auf die einfachere Version zurückgebaut wird.
Auch ein guter Test hat Grenzen. Manche Features wirken im Pilot marginal und werden erst wertvoll, wenn die Nutzung die Daten aufbaut, die ein Modell braucht – das Muster, das Zinkevichs Rule #3 beschreibt. Halte das als Grund fest, später noch einmal hinzusehen, nicht als Grund, jetzt auszuliefern.
Wie steuerst du das Risiko eines KI-Features nach dem Launch?
Die Entscheidung für KI ist nicht erledigt, wenn das Feature die Evaluation vor dem Launch besteht. Eingaben, Nutzerverhalten, Modelle und der umgebende Workflow ändern sich. Gib jemandem die Verantwortung, Qualität und Fehler nach dem Release zu prüfen, und überprüfe die einfachere Baseline erneut, wenn sich das Feature ändert oder die Evidenz seinen Wert nicht mehr trägt.
Das NIST AI Risk Management Framework, am 26. Januar 2023 veröffentlicht und für die freiwillige Nutzung gedacht, hilft Teams, Fragen der Vertrauenswürdigkeit über Design, Entwicklung, Nutzung und Evaluation hinweg zu ordnen (NIST). Am 26. Juli 2024 ergänzte NIST ein Generative-AI-Profil, NIST-AI-600-1. Keines von beiden zertifiziert ein Feature oder ersetzt eine produktspezifische Evaluation.
Wo Specky ins Spiel kommt
Der obige Brief hängt von Evidenz ab: echte Beispiele, eine Baseline und eine Aufzeichnung, warum das Team KI gewählt hat. Specky liest Kundengespräche, Feedback, Slack, Jira und Analytics in einen Product Graph und entwirft Specs mit dieser Evidenz als Inline-Zitat, sodass der Grund für den Einsatz eines Modells mit der Spec mitwandert. Du kannst auch ohne starten: Der kostenlose PRD-Generator macht aus dem Brief einen ersten Entwurf.
Häufig gestellte Fragen
Wann sollte ein Produkt-Feature KI nutzen?
Die Kurzregel, wann du KI in einem Produkt einsetzt: Nutze sie, wenn die Aufgabe echte Variabilität hat, etwa Freitext oder Bilder, wenn ein Modell eine einfachere Baseline bei einem Nutzerergebnis schlägt, wenn Fehler billig oder prüfbar sind und wenn du es an repräsentativen Beispielen testen kannst. Nutze einen deterministischen Workflow, wenn die Logik stabil und leichter zu erklären oder zu warten ist.
Wann solltest du in einem Produkt keine KI einsetzen?
Vermeide KI dort, wo Vorhersehbarkeit am wichtigsten ist, wo Informationen statisch sind, wo Fehler sehr teuer sind, wo volle Transparenz nötig ist oder wo Nutzer sagen, dass sie die Aufgabe nicht automatisiert haben wollen. Googles People + AI Guidebook nennt diese Fälle, und seine Rules of Machine Learning empfehlen, ohne Machine Learning zu launchen, wenn dir Daten fehlen.
Wie evaluieren Produktteams ein KI-Feature?
Nutze repräsentative Beispiele, definiere die Review-Kriterien vor dem Test, vergleiche das Modell mit dem aktuellen oder regelbasierten Workflow und prüfe wichtige Randfälle. Beobachte nach dem Launch Korrekturen, Fehler, Latenz, Kosten und das Nutzerergebnis. Halte Hochrisikofälle unter menschlicher Prüfung, bis die Evidenz mehr Automatisierung trägt.
Sollte ein KI-Coding-Agent entscheiden, ob ein Feature KI braucht?
Nein. Ein Coding-Agent kann helfen, Optionen zu erkunden oder einen Implementierungsplan zu entwerfen, aber das Produktteam sollte das Nutzerproblem, die Evidenz, die Risikogrenzen und die Release-Entscheidung besitzen. Gib dem Agenten einen Brief, in dem diese Entscheidungen schon getroffen sind, damit er das vereinbarte Verhalten umsetzt, statt eines zu erfinden.
Was, wenn es noch nicht genug echte Daten gibt?
Behandle die fehlende Evidenz als Discovery-Aufgabe. Interviewe Nutzer, beobachte den aktuellen Workflow oder prototypisiere das Erlebnis mit klaren Grenzen. Stell synthetische Beispiele nicht als Beweis dar, dass das Feature für echte Nutzer funktioniert. Mit einer einfachen Regel zu launchen und Daten zu sammeln, ist oft der schnellste Weg zu einem nützlichen Modell.
GDPR-aligned. EU workspace data is stored in Frankfurt, Germany. GDPR and EU data Built in Vienna, Austria. A product of influence solutions fm GmbH (FN 675374y). Imprint 14-day trial. Card required, and nothing is charged until day 14. 30-day refund after subscribing. See pricing