REDA AI über MCP ist verfügbar: Ihre konfigurierten Agenten direkt in Claude. Mehr zur Verbindung →
Vertrauen & Governance

Wer sollte entscheiden? Menschliche Prüfpunkte in KI-Abläufen

„Human in the loop“ in ein Diagramm zu schreiben erklärt nicht, was die Person tatsächlich kontrollieren kann. Ein sinnvoller Prüfpunkt benennt die Entscheidung, stellt die Nachweise bereit und verhindert das Fortschreiten des Prozesses, wenn eine Genehmigung erforderlich ist.

Auf einen Blick

  • Benennen Sie die Entscheidung und die dafür verantwortliche Person.
  • Zeigen Sie vor der Genehmigung einer Aktion, was sich ändern wird.
  • Erzwingen Sie erforderliche Prüfpunkte im Ablauf, nicht nur durch Anweisungen.

Vier unterschiedliche Formen der Beteiligung unterscheiden

PrüfpunktWas die Person tut
BeratungNutzt einen Vorschlag für die eigene Arbeit; das System entscheidet nicht für sie.
BestätigungPrüft die konkret bevorstehende Aktion einschließlich Ziel und Werten.
GenehmigungTrifft eine erforderliche Geschäftsentscheidung, bevor der Prozess fortgesetzt werden darf.
EskalationÜbernimmt, weil die Anfrage unklar ist, außerhalb des Umfangs liegt oder nicht erfolgreich bearbeitet wurde.

Eine Schaltfläche zur Bestätigung ist nicht automatisch die geschäftliche Genehmigung, die Ihr Verfahren verlangt. Beispielsweise genehmigt die Bestätigung eines Nachrichtenversands nicht zwingend das darin beschriebene kommerzielle Angebot.

Illustratives Muster für kontrollierte Aktionen
  1. Vorschlag vorbereiten
  2. Nachweise und Auswirkungen prüfen
  3. Genehmigen oder ablehnen
  4. Ergebnis verifizieren

Die Entscheidung verständlich machen

Die prüfende Person muss das vorgeschlagene Ergebnis, die relevanten Nachweise und die Folgen sehen. Zeigen Sie bei einer Datensatzänderung den Zieldatensatz und wichtige Werte, bei einer ausgehenden Nachricht den Empfänger und den endgültigen Text. Geben Sie der Person eine praktikable Möglichkeit, den Vorschlag abzulehnen oder zu korrigieren.

Vermeiden Sie Oberflächen, auf denen es am einfachsten ist, Informationen zu genehmigen, die sich nicht prüfen lassen. Fehlen Nachweise, sollte „Klärung anfordern“ ein zulässiges Ergebnis sein und nicht als gescheiterter Aufgabenabschluss gelten.

Ein konkretes Beispiel: eine Servicezusage ändern

Illustratives Szenario. Ein Agent bereitet eine Antwort für einen Kunden vor, der ein früheres Lieferdatum wünscht. Er kann die Anfrage und relevante Kontoinformationen zusammenfassen, aber jede Änderung des zugesagten Datums muss von einem benannten Kollegen genehmigt werden. Der konfigurierte Änderungsweg prüft die Genehmigung, bevor die Änderung angewendet wird.

Testen Sie, was geschieht, wenn der Kollege den Vorschlag ablehnt, sich der Datensatz während der Prüfung ändert oder die Aktualisierung fehlschlägt. Die abschließende Nachricht muss das tatsächlich eingetretene Ergebnis beschreiben.

Anweisungen und technische Durchsetzung getrennt behandeln

Eine Anweisung wie „immer zuerst fragen“ beschreibt das beabsichtigte Verhalten. Ist eine Genehmigung zwingend, benötigt die zulässige Aktion eine technisch durchgesetzte Prüfung, die sich nicht allein durch die Aussage eines Modells erfüllen lässt, eine Genehmigung liege vor. Der konkrete Mechanismus hängt von der Implementierung ab.

Das AI Risk Management Framework des NIST gliedert die Risikoarbeit in Governance, Kontext, Messung und Management. Für einen Geschäftsablauf bedeutet das, Verantwortung zuzuweisen und den eingesetzten Prozess zu prüfen, statt bei einer schriftlichen Richtlinie stehen zu bleiben. [1]

Den Kanal prüfen, bevor Sie dasselbe Nutzererlebnis voraussetzen

REDA AI kann konfigurierte Aufgaben über verschiedene Kanäle bereitstellen. Je nach Konfiguration und Kanal werden manche Aktionen möglicherweise ohne Genehmigungskarte ausgeführt. Auch ein externer Assistenten-Host kann Interaktionen anders darstellen. Übertragen Sie einen Screenshot eines Bestätigungsablaufs nicht als Zusicherung auf jede Oberfläche.

Prüfen Sie den gewählten Kanal und die Aktion mit Ihrem Administrator. Unser Governance-Leitfaden erläutert die Grenzen der Kontrollen; das Pilotprojekt sollte den erforderlichen Prüfpunkt mit einem repräsentativen Benutzer nachweisen.

Quellen

  1. NIST — AI Risk Management Framework. Abgerufen am 22. September 2026.
Ihr Prozess. Ihre Prioritäten.

Die Idee in Ihren Geschäftskontext einordnen.

Bringen Sie Ihren Ablauf und die Menschen mit, die ihn kennen. Wir erkunden gemeinsam, wie eine sinnvolle erste Bewertung aussehen würde.

Ihren Ablauf besprechen