23. Oktober 2026Aktualisiert am Fathy Shalaby14 Min. Lesezeit
KI-Entscheidungen im Produkt: Grenzen setzen, bevor die KI handelt
KI schreibt nicht mehr nur Antworten, sondern trifft kleine Entscheidungen mitten in echten Workflows. Hier sind die sieben Teile eines Entscheidungsvertrags, den Produktteams aufschreiben sollten, bevor eine KI-Entscheidung Nutzer oder Systeme erreicht.
Teilen
Dieser Artikel wurde aus dem Englischen übersetzt. Original lesen
Ein Framework für KI-Entscheidungen ist das Regelwerk, das ein Produktteam aufschreibt, bevor ein KI-System innerhalb eines Workflows klassifiziert, routet, bewertet oder die nächste Aktion auswählt. Es legt sieben Dinge fest: das Ziel, die genaue Frage, die erlaubten Antworten, die Evidenz, die das Modell nutzen darf, den Schwellenwert für selbstständiges Handeln, die Übergabe an Menschen und die Dokumentation danach.
Das Wichtigste in Kürze
KI-Entscheidungen sind inzwischen ein fertiger Baustein. Die Decisions API von OpenAI, seit dem 22. Oktober 2026 allgemein verfügbar, liefert eine Wahrscheinlichkeit, eine Auswahl aus festen Optionen oder einen Rubrik-Score (OpenAI, 2026).
Eine strukturierte Antwort ist noch keine Produktentscheidung. Laut OpenAIs eigener Dokumentation führt deine Anwendung die Aktion aus, die die Antwort auswählt. Schwellenwerte solltest du anhand gelabelter Beispiele und der Kosten von False Positives und False Negatives festlegen.
Die Umkehrbarkeit sollte den Grad der Autonomie bestimmen. Amazons Unterscheidung zwischen Einbahn- und Zweiwegetüren ist ein praktischer Leitfaden (Amazon, 2015).
Menschliche Prüfung ist schwächer, als sie wirkt. In einer Metaanalyse innerhalb eines Reviews von 74 Studien erhöhte falscher Rat eines Entscheidungsunterstützungssystems das Risiko einer falschen Entscheidung um 26 % (Goddard et al., 2012).
Nach Artikel 22 DSGVO haben Menschen das Recht, nicht einer ausschließlich automatisierten Entscheidung unterworfen zu werden, die rechtliche oder ähnlich erhebliche Auswirkungen hat (EUR-Lex).
Was hat sich durch begrenzte KI-Entscheidungen geändert?
Bis vor Kurzem hat KI in Produkten vor allem Dinge geschrieben: eine Chat-Antwort, eine Zusammenfassung, einen Entwurf. Inzwischen entscheidet sie zunehmend Dinge: ob eine Anfrage im Rahmen liegt, in welche Warteschlange sie gehört, wie schwer ein Problem wiegt, ob ein Agent weitermachen oder um Hilfe bitten soll.
OpenAI hat das mit seiner Decisions API deutlich gemacht, die am 6. Oktober 2026 als Beta erschien und seit dem 22. Oktober 2026 allgemein verfügbar ist. Entwickler liefern die Evidenz und die Fragen, die API gibt typisierte Antworten zurück ():
Eine Wahrscheinlichkeit von 0 bis 1, dass die Bedingung zutrifft
Choice
Eine Option aus einer von dir vorgegebenen Liste wählen
Einer deiner Werte, mit Wahrscheinlichkeiten und einem Konfidenzfeld
Score
Eingaben gegen geordnete Stufen bewerten, etwa den Schweregrad
Ein wahrscheinlichkeitsgewichteter Score über die Stufen
Sie akzeptiert Text, Bilder und JSON, verarbeitet bis zu 400 Fragen pro Anfrage (200 während der Beta) und soll laut Beschreibung etwa 10-mal schneller sein als OpenAIs Responses API. Nicht gecachte Eingaben kosten 0,10 $ pro Million Tokens, Ausgabe-Tokens werden nicht berechnet.
Damit werden KI-Entscheidungen zu einem kombinierbaren Baustein, so wie Suche oder Benachrichtigungen. Das verschiebt auch die Schwierigkeit: Das Modell ist leichter aufrufbar geworden, die Regeln drumherum aber nicht leichter zu schreiben. Die schwierige Produktfrage lautet nicht, ob das Modell schnell entscheiden kann. Sie lautet, was die Entscheidung genau ist, welche Evidenz sie beeinflussen darf und was passiert, wenn sich das System unsicher ist.
Warum kann eine begrenzte Antwort eine unbegrenzte Policy verbergen?
Stell dir einen Support-Workflow mit drei möglichen Ausgaben vor:
automatisch lösen
weitere Informationen anfordern
an einen Menschen weiterleiten
Diese Optionen wirken begrenzt. Die Policy dahinter bleibt aber offen, bis das Team ein paar Folgefragen beantwortet hat:
Was zählt als ausreichende Information?
Welche Aktionen sind umkehrbar?
Welche Kundenkonten oder Problemtypen sind ausgeschlossen?
Wird eine Antwort mit niedriger Konfidenz immer eskaliert?
Was sieht die prüfende Person, bevor sie freigibt?
Woran merken wir, dass die Eskalationsregel zu aggressiv oder zu lax ist?
Das Modell liefert vielleicht eine saubere choice. Die Folgen dieser Wahl trägt trotzdem das Produkt. Die Dokumentation von OpenAI sagt das selbst: Die API gibt typisierte Antworten zurück, und deine Anwendung führt die Aktionen aus, die diese Antworten auswählen.
Im Produktmanagement gilt das erst recht. „Das Feature bauen“, „das Experiment durchführen“ und „die Anfrage ignorieren“ sind keine Modellausgaben im luftleeren Raum. Es sind Entscheidungen über Nutzer, Ressourcen, Opportunitätskosten und künftige Verpflichtungen.
Wie schreibst du einen Entscheidungsvertrag für einen KI-Workflow?
Nutze diese Vorlage mit sieben Teilen, bevor du eine KI-Entscheidung mit irgendeinem Seiteneffekt verbindest. Sie ist der Kern des Frameworks für KI-Entscheidungen.
1. Das Ergebnis benennen
Beginne mit dem Ergebnis für Nutzer oder Unternehmen, nicht mit der Modellaufgabe.
Schwach: „Feedback klassifizieren.“
Stärker: „Feedback so routen, dass das Team entscheiden kann, ob ein Onboarding-Problem einen Test verdient.“
Das Ergebnis verhindert, dass das Team einen Stellvertreterwert optimiert, der keinen Produktnutzen hat.
2. Die Frage in einem Satz formulieren
Die Frage sollte sich mit dem vorhandenen Kontext beantworten lassen und nicht mehrere Entscheidungen in einer verstecken.
Schwach: „Ist das ein wertvolles Feature, das wir bauen sollten?“
Stärker: „Rechtfertigt die vorhandene Evidenz ein Onboarding-Experiment, bevor wir Entwicklungszeit zusagen?“
Die zweite Version trennt das Sammeln von Evidenz von der Zusage zum Bauen.
3. Die erlaubten Antworten definieren
Gib jeder Antwort eine Bedeutung, die ein Mensch versteht, und einen nächsten Schritt.
Antwort
Bedeutung
Nächster Schritt
Test durchführen
Die Evidenz reicht für ein umkehrbares Experiment
Den kleinsten Test und das Erfolgsmaß definieren
Evidenz sammeln
Das Signal ist plausibel, aber unvollständig
Die fehlende Evidenz und eine verantwortliche Person festlegen
Jetzt nicht weiterverfolgen
Die aktuelle Evidenz stützt die Opportunity nicht
Den Grund und einen Auslöser für die Wiedervorlage festhalten
Sonstiges / unklar
Der Fall passt zu keiner Option
In eine allgemeine Prüfwarteschlange schicken
Lass „Ja“ nicht gleichzeitig „Test durchführen“ und „Feature ausliefern“ bedeuten, denn das sind unterschiedliche Risikostufen. OpenAI empfiehlt, eine Auffangoption wie „Sonstiges“ aufzunehmen, wenn die Kategorien nicht jede Eingabe abdecken, und diese Fälle zur Prüfung weiterzuleiten.
4. Die Evidenzgrenze festlegen
Schreib auf, was das System nutzen darf: Kundenzitate und Support-Gespräche, Produktnutzungsdaten, Interview-Themen, Lieferhistorie, Marktbelege und das Zeitfenster, das zählt.
Schreib auch auf, was es nicht stillschweigend annehmen darf. Ein Modell sollte keine ungeprüfte Prämisse zum Produktfakt erklären, nur weil sie in einem Prompt stand. Ist die Evidenz dünn, lautet die richtige Antwort oft „Evidenz sammeln“. Deshalb gibt es diese Option.
5. Den Schwellenwert aus den Kosten des Irrtums ableiten
Konfidenz ist nicht Korrektheit. OpenAI rät, gelabelte Beispiele aus deiner eigenen Anwendung zu nutzen, um Schwellenwerte für Routing, Filterung oder Prüfung festzulegen, und sie anhand der Kosten von False Positives und False Negatives zu wählen.
Automatisches Handeln kann sinnvoll sein, wenn die Aktion risikoarm, umkehrbar und leicht nachprüfbar ist. Verlange eine menschliche Prüfung, wenn die Aktion Kundenzugang, Geld, eine Roadmap-Zusage oder einen dauerhaften Datensatz verändert. Der Schwellenwert ist eine Produktentscheidung, keine Modelleinstellung. Wie du einen auswählst, zeigt das Beispiel weiter unten.
6. Die Übergabe gestalten
„Human in the loop“ ist noch kein vollständiger Workflow. Lege fest, was die prüfende Person bekommt:
die vorgeschlagene Antwort
die Evidenz, die sie beeinflusst hat
die Unsicherheit oder den fehlenden Kontext
die erwogenen Alternativen
die genaue Aktion, die auf Freigabe wartet
Die prüfende Person sollte den Fall nicht von Grund auf neu aufbauen müssen, sonst hat das System die Arbeit nur verschoben. Zur Nutzerseite davon, also wann das Produkt selbst fragen, handeln oder anhalten sollte, siehe den KI-Handoff-Vertrag.
7. Den Beleg aufbewahren
Halte Frage, Kontext, Antwort, Evidenz, prüfende Person und Ergebnis fest. Das ist der Unterschied zwischen einer KI-Aktion und einer nachvollziehbaren Produktentscheidung. Wenn das Team später merkt, dass eine Entscheidung falsch war, zeigt der Beleg, ob fehlende Evidenz, eine schlechte Rubrik, eine unklare Option oder der falsche Schwellenwert die Ursache war. Eine Vorlage für ein Produktentscheidungs-Log funktioniert dafür auch ohne spezielle Tools.
Wie wählst du einen Konfidenz-Schwellenwert? Ein durchgerechnetes Beispiel
Die Zahlen sind illustrativ, kein Benchmark. Angenommen, ein SaaS-Team mit 6 Personen möchte, dass ein KI-System eingehende Support-Tickets in eine von vier Warteschlangen routet und alles Unsichere an einen Menschen schickt. Es labelt 500 frühere Tickets von Hand, lässt sie durch das Modell laufen und prüft, was bei verschiedenen Konfidenz-Schwellenwerten passieren würde:
Schwellenwert fürs Auto-Routing
Automatisch geroutet
Falsche Warteschlange unter den automatisch gerouteten
Einem Menschen überlassen
Gesamtkosten
0,95
240 (48 %)
1 % (etwa 2)
260
etwa 570 Minuten
0,85
355 (71 %)
3 % (etwa 11)
145
etwa 510 Minuten
0,70
430 (86 %)
8 % (etwa 34)
70
etwa 820 Minuten
Die Kostenspalte bepreist die Fehler. Das Team schätzt, dass ein falsch geroutetes Ticket etwa 20 Minuten Verzögerung und Übergaben kostet und ein Ticket, das einem Menschen bleibt, etwa 2 Minuten Triage. Bei 0,85 kosten 11 Fehlrouten 220 Minuten und 145 manuelle Triagen 290. Bei 0,70 kosten 34 Fehlrouten 680 Minuten, um nur 150 Minuten Triage zu sparen. Der Schwellenwert 0,85 gewinnt.
Dann kommen die Regeln dazu, die die Tabelle nicht abbilden kann. Enterprise-Konten und alles, was Abrechnung erwähnt, gehen unabhängig vom Score immer an einen Menschen. Das Team prüft den Schwellenwert monatlich an 50 frisch gelabelten Tickets nach, weil sich die Mischung der Eingaben verschiebt.
Welche KI-Entscheidungen brauchen eine menschliche Prüfung?
Nutze Umkehrbarkeit und Tragweite zusammen. Jeff Bezos beschrieb folgenreiche, unumkehrbare Entscheidungen als Einbahntüren, die langsames, sorgfältiges Abwägen verdienen, und umkehrbare als Zweiwegetüren, die Einzelne oder kleine Gruppen schnell treffen sollten (Amazon, 2015). Im Jahr darauf ergänzte er, dass die meisten Entscheidungen mit etwa 70 % der Informationen getroffen werden sollten, die man gern hätte (Amazon, 2016).
Auf KI übertragen ergibt das eine Autonomie-Leiter:
Entscheidungstyp
Beispiel
Empfohlene Autonomie
Umkehrbar, geringe Tragweite
Feedback taggen, ein Ticket routen, ein Label vorschlagen
Die letzte Zeile hat in Europa rechtliches Gewicht. Artikel 22 DSGVO gibt Menschen das Recht, nicht einer Entscheidung unterworfen zu werden, die ausschließlich auf automatisierter Verarbeitung beruht und rechtliche oder ähnlich erhebliche Wirkung entfaltet, mit begrenzten Ausnahmen. Greift eine Ausnahme, muss der Verantwortliche dennoch mindestens das Recht auf Eingreifen einer Person, auf Darlegung des eigenen Standpunkts und auf Anfechtung der Entscheidung gewähren (EUR-Lex). Wie der EU AI Act KI-Funktionen einstuft, steht in unserem Leitfaden zur Risikoklassifizierung nach dem EU AI Act. Die allgemeine Methode zur Umkehrbarkeit findest du unter Umkehrbarkeit als Produktanforderung.
Warum reicht „Human in the loop“ allein nicht aus?
Weil Menschen Maschinen zu viel Vertrauen schenken. Das systematische Review von Goddard, Roudsari und Wyatt im Journal of the American Medical Informatics Association sichtete 13.821 Arbeiten und nahm 74 zum Automation Bias auf, der Neigung, sich zu stark auf automatisierte Ratschläge zu verlassen. In ihrer Metaanalyse von vier Studien erhöhte falscher Rat eines Entscheidungsunterstützungssystems das Risiko einer falschen Entscheidung um 26 % (Goddard et al., 2012).
Dasselbe Review fand, dass Arbeitslast, Aufgabenkomplexität und Zeitdruck das übermäßige Vertrauen verstärkten. Das Vertrauen verringerten Schulungen, die Betonung der Verantwortung der Nutzer, aktualisierte Konfidenzangaben, die Position des Rats auf dem Bildschirm und Informationen statt einer bloßen Empfehlung.
Das lässt sich direkt auf das Handoff-Design übertragen:
Zeige die Evidenz vor dem Urteil, damit sich die prüfende Person eine Meinung bildet, bevor sie die Antwort des Modells sieht.
Zeige kalibrierte Konfidenz, nicht ein einzelnes selbstsicheres Label.
Nenne bei jeder Freigabe die verantwortliche prüfende Person.
Beobachte die Prüfzeit. Wenn Freigaben je 3 Sekunden dauern, wird abgestempelt.
Streue gelegentlich bekannte Fehler ein, um zu prüfen, ob sie noch auffallen.
Wer Agenten baut, steht vor demselben Problem in größerem Maßstab. Anthropics Leitfaden zu Agenten empfiehlt, an Checkpoints oder bei Blockaden für menschliches Feedback zu pausieren, Abbruchbedingungen wie eine maximale Zahl von Iterationen einzubauen und ausgiebig in Sandbox-Umgebungen zu testen, weil sich Fehler aufschaukeln (Anthropic, 2024).
Ein anschaulicher Produkt-Workflow: die Onboarding-Frage
Das ist ein illustrativer Workflow, kein berichteter Kundenfall. Ein kleines Team hört immer wieder, dass neue Nutzer im Onboarding verwirrt sind. Es könnte ein KI-System fragen, ob es ein großes Onboarding-Rewrite bauen soll, aber diese Frage ist zu breit und zu teuer, um sie zu automatisieren.
Ein besserer Entscheidungsvertrag:
Ergebnis: den Abschluss des ersten Nutzenmoments verbessern, ohne sich zu früh auf ein großes Rewrite festzulegen.
Frage: Rechtfertigt die aktuelle Evidenz ein kleines Onboarding-Experiment?
Erlaubte Antworten: Test durchführen, Evidenz sammeln, jetzt nicht weiterverfolgen oder sonstiges.
Evidenz: aktuelle Support-Gespräche, Interview-Notizen, Aktivierungsverhalten und der aktuelle Onboarding-Flow der letzten 60 Tage.
Schwellenwert: Jede Empfehlung, die die Roadmap verändert, prüft der Product Owner, egal wie hoch die Konfidenz ist.
Beleg: Quellenauszüge, Unbekanntes, Empfehlung, verantwortliche Person und Folgemetrik zusammen aufbewahrt.
Die KI kann die Evidenz ordnen und eine begrenzte Empfehlung abgeben. Sie sollte diese Empfehlung nicht stillschweigend in eine Roadmap-Zusage verwandeln. Das ist der Mittelweg zwischen zwei schlechten Extremen: KI als passiver Textgenerator, der mehr Sortierarbeit schafft, und KI als autonomer Entscheider, der das Team ohne Prüfung festlegt.
Wie sollten Produktteams ein KI-Entscheidungsfeature bewerten?
Wenn ein Anbieter eine schnelle Demo zeigt, stelle diese fünf Fragen.
Ist die Entscheidung wirklich begrenzt?
Kannst du jede mögliche Ausgabe auflisten? Lautet die Antwort „kommt darauf an“, frag nach, welche Abhängigkeiten explizit sind und welche im Prompt oder im Modellverhalten versteckt liegen.
Was kostet jeder Fehler?
False Positives und False Negatives sind nicht austauschbar. Ein risikoarmes Ticket zur Prüfung zu schicken ist etwas anderes, als den Zugang eines Kunden zu ändern oder ein Quartal Entwicklungsarbeit zuzusagen. Der Leitfaden zum Evaluations-Framework für KI zeigt, wie du jeden Fehlertyp einzeln testest.
Kann das Team die Evidenz einsehen?
Ein Score ohne seine Eingaben ist eine neue Art undurchsichtiges Status-Label. Das Produkt sollte die Evidenz prüfbar machen, ohne so zu tun, als beweise die Erklärung des Modells die Antwort.
Ist die Aktion umkehrbar?
Beginne die Automatisierung mit Aktionen, die sich rückgängig machen lassen und deren Wirkung sichtbar ist. Verdiene dir mehr Autonomie durch Belege, nicht durch Begeisterung für die Demo.
Lernt das System aus Ergebnissen?
Wenn eine prüfende Person eine Empfehlung überstimmt, wo wird das festgehalten? Ohne Ergebnisschleife wiederholt der Workflow denselben Fehler, nur mit geringerer Latenz.
Typische Fehler bei der Automatisierung von KI-Entscheidungen
Mehrere Entscheidungen in einer Frage mischen. „Sollen wir das bauen?“ bündelt Wert, Kosten und Timing. Teile sie auf.
Den Konfidenzwert mit Genauigkeit verwechseln. Eine Konfidenz von 0,9 sagt erst etwas aus, wenn du sie an gelabelten Fällen geprüft hast.
Den Schwellenwert nur einmal setzen. Eingaben driften; prüfe ihn regelmäßig an frischen Labels nach.
Abgestempelte Prüfung. Eine menschliche Freigabe, die 3 Sekunden dauert, ist keine Kontrolle.
Keine Option „Sonstiges“. Jeden Fall in eine bekannte Schublade zu zwingen, verbirgt die Fälle, die du nicht vorhergesehen hast.
Zuerst eine Einbahntür automatisieren. Beginne mit umkehrbaren Entscheidungen und erweitere den Umfang, wenn die Belege zeigen, dass es funktioniert.
Wo Specky ins Spiel kommt
Specky arbeitet auf der Ebene zwischen verstreuten Signalen und der nächsten Produktentscheidung. Es liest Kundengespräche, Feedback, Slack, Jira und Analytics in einen Product Graph ein, lässt ein Team die Evidenz hinter einer Produktfrage prüfen und hält die geprüfte Entscheidung in einem Decision Log fest, das mit der daraus entstehenden Spec und nach dem Launch damit verknüpft ist, ob die Wette aufgegangen ist. Die Grenze ist Absicht: Die Software entwirft und verknüpft die Arbeit, Menschen entscheiden, was die Evidenz hergibt. Die Seite zu den Product-Intelligence-Funktionen zeigt, wie diese Spur geführt wird.
Häufig gestellte Fragen
Was ist ein Framework für KI-Entscheidungen?
Ein Framework für KI-Entscheidungen ist ein schriftlicher Vertrag für jede automatisierte Entscheidung in einem Produkt: das Ergebnis, dem sie dient, die genaue Frage, die erlaubten Antworten, die Evidenz, die sie nutzen darf, der Konfidenz-Schwellenwert für selbstständiges Handeln, die menschliche Übergabe und die Dokumentation. Es macht aus einer Modellausgabe eine prüfbare Produkt-Policy.
Reicht strukturierte Ausgabe, um eine KI-Entscheidung sicher zu machen?
Nein. Strukturierte Ausgabe erleichtert der Software den Umgang mit der Antwort. Sicherheit und Nutzen hängen weiter von der Frage, der Evidenzgrenze, den Kosten jedes Fehlers, der Prüfregel und der Umkehrbarkeit der Aktion ab. Die Dokumentation zu OpenAIs Decisions überlässt die daraus folgende Aktion deiner Anwendung.
Wann sollte ein KI-System ohne menschliche Prüfung handeln?
Lass die KI zuerst bei risikoarmen, umkehrbaren Entscheidungen mit klarem Antwortsatz und sichtbarem Ergebnis allein handeln, etwa beim Taggen oder Routen. Verlange eine Prüfung, wenn eine Aktion Kundenzugang, Geld, Roadmap-Zusagen oder dauerhafte Datensätze verändert oder eine Person erheblich betrifft, wo Artikel 22 DSGVO greifen kann.
Wie legst du einen Konfidenz-Schwellenwert für KI-Entscheidungen fest?
Labele ein paar hundert echte Fälle, lass sie durch das Modell laufen und vergleiche die Fehlerraten bei mehreren Schwellenwerten. Bepreise jeden Fehlertyp, etwa die Kosten einer falschen Aktion gegenüber einer manuellen Prüfung, und wähle den Schwellenwert mit den niedrigsten Gesamtkosten. Prüfe ihn regelmäßig an frisch gelabelten Fällen nach.
Beseitigt eine prüfende Person das Risiko von KI-Fehlern?
Nicht allein. Ein systematisches Review zum Automation Bias fand, dass falscher Rat von Entscheidungsunterstützungssystemen das Risiko falscher Entscheidungen um 26 % erhöhte. Das senkst du, indem du Evidenz und Konfidenz zeigst, eine verantwortliche prüfende Person benennst, Zeitdruck begrenzt und prüfst, wie schnell Freigaben erteilt werden.
Ersetzt eine KI-Decisions-API das Produkturteil?
Nein. Sie ist ein Implementierungsbaustein für begrenzte Entscheidungen innerhalb einer Anwendung. Das Produkturteil legt weiterhin Ergebnis, Abwägungen, Schwellenwerte und akzeptables Risiko fest und bestimmt, welche Entscheidungen menschlich bleiben. Die API macht es leichter, eine schriftliche Policy auszuführen. Die Policy schreibt sie nicht.
GDPR-aligned. EU workspace data is stored in Frankfurt, Germany. GDPR and EU data Built in Vienna, Austria. A product of influence solutions fm GmbH (FN 675374y). Imprint 14-day trial. Card required, and nothing is charged until day 14. 30-day refund after subscribing. See pricing