Vereinbaren, was verglichen wird
Wählen Sie ein abgeschlossenes Ergebnis und das dafür verantwortliche Team. Messen Sie bei einem Fallbriefing den Aufwand, ein für den empfangenden Kollegen nutzbares Briefing zu erstellen. Vergleichen Sie nicht manuell abgeschlossene Arbeit mit einem KI-Entwurf, der noch geprüft werden muss.
Verwenden Sie vergleichbare Aufgabentypen und beziehen Sie schwierige Beispiele ein. Erfassen Sie Unterschiede, die das Ergebnis erklären könnten: Dokumentlänge, fehlende Informationen, Erfahrung der prüfenden Personen oder ein geänderter Prozess. Ein Vorher-Nachher-Durchschnitt ohne diesen Kontext kann irreführend sein.
- Aufwand ohne KI
- Aufwand mit KI
- Qualität und Ausnahmen
- Entscheidung anhand von Nachweisen
Wenige nützliche Kennzahlen verfolgen
| Messgröße | Warum sie wichtig ist |
|---|---|
| Qualität der akzeptierten Ergebnisse | Geschwindigkeit bringt wenig, wenn das Ergebnis nicht nutzbar ist. |
| Gesamter Personalaufwand in Minuten pro Vorgang | Umfasst Vorbereitung, Prüfung, Korrektur und Ausnahmebehandlung. |
| Ungelöste oder abgebrochene Vorgänge | Verhindert, dass fehlgeschlagene Versuche aus dem Ergebnis verschwinden. |
| KI-Verbrauch pro abgeschlossenem Vorgang | Verknüpft den gemessenen Verbrauch mit nutzbarer Arbeit. |
| Gesamte Durchlaufzeit | Umfasst Warteschlangen und Wartezeiten; unterscheidet sich von der aktiven Bearbeitungszeit. |
Die Arbeiten des NIST zur KI-Evaluierung weisen darauf hin, dass Leistungsschätzungen davon abhängen, was gemessen wird und welche Annahmen der Bewertung zugrunde liegen. Nennen Sie diese Annahmen beim Ergebnis, statt ein kleines Pilotprojekt als allgemeingültigen Maßstab darzustellen. [1]
Ein transparentes Ergebnis durchrechnen
Illustratives Beispiel. Bei 200 vergleichbaren Aufgaben beträgt der Aufwand ohne KI jeweils 10 Minuten: insgesamt 2.000 Minuten. Mit KI dauert die Bearbeitung einschließlich Korrekturen durchschnittlich 6 Minuten: insgesamt 1.200 Minuten. Weitere 120 Minuten entfallen auf die Untersuchung von Fehlern und die Pflege der Konfiguration. Die Nettodifferenz beträgt 680 Minuten oder rund 11,3 Stunden.
Das ist eine Kapazitätsschätzung für diese Stichprobe unter der Annahme, dass die Qualität den vereinbarten Standard erfüllt. Es ist weder eine jährliche Einsparung noch ein finanzieller Nutzen oder ein gemessenes Ergebnis eines REDA-Kunden. Wenn schwierige Aufgaben in der Stichprobe fehlten, wiederholen Sie die Untersuchung vor einer Hochrechnung.
Erklären, wo Nutzen tatsächlich entstehen würde
Das Team könnte die frei gewordene Zeit nutzen, um Rückstände abzubauen, schneller zu reagieren oder mehr Arbeit zu bewältigen. Eine finanzielle Einsparung erfordert einen nachvollziehbaren Bezug zu Kosten, die sich tatsächlich ändern, etwa vermeidbare Überstunden. Dokumentieren Sie diesen Zusammenhang getrennt von der Zeitberechnung.
Beziehen Sie Implementierungs-, Abonnement-, Nutzungs- und Betriebskosten in die Investitionsentscheidung ein. Rechnen Sie denselben Nutzen nicht innerhalb einer Gesamtsumme zugleich als Personalkosteneinsparung und zusätzliche Kapazität an.
Über Fortsetzung, Überarbeitung oder Stopp entscheiden
Ein Pilotprojekt kann auch dann nützlich sein, wenn es einen ungeeigneten Kandidaten erkennt. Möglicherweise sind die Daten nicht zugänglich, die Prüfung bleibt aufwendig oder herkömmliche Automatisierung eignet sich besser für die Aufgabe. Solche Erkenntnisse verhindern eine größere Fehlinvestition.
REDAs Sandbox-Ansatz soll eine Prüfung vor der Produktionsplanung ermöglichen. Bringen Sie die Ausgangswerte und das für Sie wichtige Geschäftsergebnis mit; der Leitfaden zum Business Case bietet ein ausführlicheres Arbeitsblatt für die Entscheidung.
Quellen
- NIST — Expanding the AI evaluation toolbox with statistical models. Abgerufen am 22. September 2026.