Die zu treffende Entscheidung aufschreiben
„Kann KI uns helfen?“ ist zu breit für eine Bewertung. „Kann eine koordinierende Person mit einem KI-vorbereiteten Briefing eine Serviceübergabe mit weniger Korrekturarbeit abschließen?“ hat eine erkennbare Ausgabe und eine verantwortliche prüfende Person.
Das Briefing sollte Eingabeinformationen, erwartete Ausgabe, zulässige Aktionen, Ausschlüsse und fachliche Verantwortung benennen. Erklären Sie, was als hilfreicher Fortschritt zählt und was den Versuch stoppen würde. Ein Pilotprojekt kann nicht jeden künftigen Anwendungsfall und jede Integration klären.
- Umfang vereinbaren
- In der Sandbox umsetzen
- Prüfen und testen
- Über Produktiveinsatz entscheiden
Nachweise wählen, bevor der Ablauf optimiert wird
Nutzen Sie repräsentative Szenarien: einfache, unvollständige, widersprüchliche und außerhalb des Umfangs liegende. Halten Sie einige Beispiele getrennt von denen, mit denen die Anweisungen verfeinert werden. Andernfalls wird das Team vielleicht sehr gut darin, vertraute Beispiele zu demonstrieren, ohne zu lernen, wie die Konfiguration neue Arbeit bewältigt.
Anthropics Bewertungshinweise betonen, dass die Beurteilung von Agenten ihre Aktionen und den daraus resultierenden Zustand umfasst, nicht nur ihren abschließenden Text. Wenden Sie dies auf Ihre Abnahmeprüfung an: Ist die beabsichtigte Datensatzänderung erfolgt und hat sich sonst etwas geändert? [1]
Ein Abnahmeblatt, das Ihr Auftraggeber versteht
| Frage | Nützliche Nachweise |
|---|---|
| Ist die Ausgabe belegt? | Prüfende können wichtige Aussagen auf die bereitgestellten Informationen zurückführen. |
| Können Mitarbeitende sie nutzen? | Menschen können die Ausgabe ohne zusätzliche Verwirrung prüfen, korrigieren oder ablehnen. |
| Verhält sich die Aktion korrekt? | Die zulässige Aktualisierung gelingt; fehlgeschlagene oder unzulässige Arbeit wird ehrlich gemeldet. |
| Lohnt sich der Aufwand? | Gesamte Prüf-, Korrektur- und Verarbeitungsarbeit wird mit dem Ausgangswert verglichen. |
| Kann das Team die Lösung betreiben? | Eine verantwortliche Person kann überwachen, pausieren und Probleme eskalieren. |
Legen Sie die tatsächlichen Schwellenwerte mit den Prozessverantwortlichen fest. Es gibt keinen universellen Genauigkeitsprozentsatz, der jeden Ablauf akzeptabel macht.
Ein ausgearbeitetes Beispiel: fehlende Informationen nachfordern
Beispielszenario. Ein gemeinnütziges Team möchte Unterstützung beim Vorbereiten von Rückfragen zu unvollständigen Anträgen. Das Pilotprojekt entwirft anhand der Organisationscheckliste eine Anforderung fehlender Informationen. Eine prüfende Person kontrolliert den Entwurf; Berechtigungsentscheidungen und automatische ausgehende Nachrichten sind ausgeschlossen.
Beziehen Sie einen vollständigen Antrag, einen tatsächlich fehlenden Anhang, ein Dokument mit widersprüchlichen Angaben und einen für die prüfende Person nicht zugänglichen Fall ein. Ein hilfreiches Ergebnis erklärt den Grund der Rückfrage, ohne Anforderungen zu erfinden oder sachfremde Informationen offenzulegen.
Was REDAs Pilotprojekt umfasst und wo es endet
REDAs begleitetes erstes Sandbox-Pilotprojekt umfasst ein vereinbartes Problem innerhalb eines dokumentierten Umfangs. Ihr Administrator hilft, Daten und Prozesse zu erläutern, und organisiert den vereinbarten Sandbox-Zugriff. Das Team prüft das Pilotprojekt und führt Benutzerabnahmetests durch, bevor es über die Fortsetzung entscheidet.
Der Zeitplan richtet sich nach Umfang und Voraussetzungen. Produktivimplementierung, umfassendere Integrationen und laufende Betriebsregelungen werden separat abgegrenzt. Besprechen Sie ein Pilotprojekt mit einer klaren Frage, die es beantworten soll.
Quellen
- Anthropic — Demystifying evals for AI agents · 9. Januar 2026. Abgerufen am 22. September 2026.