Prüfen Sie, ob ein abgegrenzter Ablauf die nötigen Eingaben, Entscheidungen und Übergaben für einen kontrollierten Agententest hat.
Das erfahren Sie
- Lassen Sie eine nicht vertraute Person fehlenden Kontext in der Anleitung aufdecken.
- Definieren Sie Auslöser, Eingaben, Abnahmekontrollen und Ausnahmewege.
- Wählen Sie Fälle für Normalablauf und wesentliche Varianten.
- Prüfen Sie gespeicherte Ergebnisse und sichere Übergabe vor Live-Aktionen.
Prüfen Sie einen vorgeschlagenen Ablauf, indem Sie seine schriftlichen Entscheidungen mit echten Eingaben durchspielen und anschließend Ergebnis sowie Übergabe bei fehlenden Angaben kontrollieren. Beginnen Sie mit einem gemeinsamen Verständnis davon, was ein KI-Agent ist. Bewerten Sie dann die konkrete Aufgabe, statt aus einer klaren Anweisung auf zuverlässige Aktionen zu schließen.
Welche Bereitschaftsfrage stellen die meisten Unternehmen falsch?
Fragen Sie, welcher Nachweis zeigt, dass dieser konkrete Ablauf innerhalb seiner vereinbarten Grenzen funktioniert. Eine Aufgabenbeschreibung ist nur der Anfang. Sie brauchen außerdem zugängliche Eingaben, Abnahmekontrollen, erlaubte Aktionen und einen Weg, unklare Fälle an Menschen zu übergeben.
Ein Anweisungsentwurf kann Wissen verbergen, das das Team normalerweise unbewusst ergänzt. Versuchen Sie, das Briefing für eine nicht eingearbeitete Person zu schreiben. Markieren Sie jede Stelle, die auf verborgenem Kontext beruht.
Drei nützliche Kategorien für diese Übung sind Schwellenwissen, Beziehungskontext und praktische Umwege. Eine Schwelle verändert den nächsten Schritt, etwa wenn eine überfällige Rechnung zum Streitfall wird. Beziehungskontext erklärt eine Sondervereinbarung, die im normalen Datensatz fehlt. Ein Umweg ist ein zusätzlicher Arbeitsschritt, weil die offizielle Folge nicht zu den tatsächlichen Werkzeugen passt.
Entscheiden Sie für jede Lücke, ob fehlende Informationen erfasst, der Aufgabenbereich enger gefasst oder die Entscheidung einer Person vorbehalten werden soll. Nicht jedes Urteil lässt sich oder sollte sich in eine automatische Regel verwandeln. Die Übung kann gerade zeigen, dass eine kleinere Aufgabe oder ein anderes Werkzeug nötig ist.
Wie misst der Neue-Mitarbeiter-Test die Workflow-Bereitschaft?
Der Neue-Mitarbeiter-Test ist eine Dokumentationsübung: Eine mit dem Ablauf nicht vertraute Person erklärt anhand der schriftlichen Anleitung, wie sie einen echten Fall bearbeiten würde. Fragen und unterschiedliche Deutungen zeigen fehlenden Kontext oder offene Entscheidungen. Ein bestandener Durchlauf zeigt noch nicht, dass ein KI-Agent mit den verbundenen Systemen erfolgreich arbeitet.
Eine verständliche Anleitung hilft, fehlende Entscheidungen zu finden. Testen Sie vor dem Verlassen auf den Ablauf auch den tatsächlichen Agenten, seine Berechtigungen und die gespeicherten Ergebnisse.
Geben Sie der Person einen Normalfall und eine gegensätzliche Ausnahme. Lassen Sie Auslöser, verwendete Quellfelder und korrektes Ergebnis erklären. Braucht sie ein Gespräch mit der üblichen Aufgabenverantwortung, halten Sie fest, was dieses Gespräch ergänzt und wohin die Information in der Anleitung gehört.
Fragen Sie danach, was bei fehlenden Angaben geschieht. Eine nützliche Antwort kann sein, zu stoppen, eine Prüfaufgabe zu erstellen und den Quelldatensatz unverändert zu lassen. Die Aufgabe muss nicht um jeden Preis abgeschlossen werden. Machen Sie die annehmende Person und den nächsten Schritt ausdrücklich sichtbar.
Nutzen Sie das Ergebnis, um einen Automatisierungskandidaten abzugrenzen. Eine neue Person und ein Agent haben unterschiedliche Stärken und Fehlerquellen: Ein Mensch kann eine Anweisung verstehen, die das laufende System trotzdem falsch ausführt. Gehen Sie von der Papierübung zu Tests am tatsächlich erlaubten Ablauf über, statt ein gut geschriebenes Dokument als Freigabeentscheidung zu behandeln.
Wie sieht ein bereiter Workflow aus?
Nutzen Sie die folgenden vier Eigenschaften als Prüfliste. Sie zeigen, was festgelegt und getestet werden muss, und garantieren keine erfolgreiche Umsetzung. Die Beispiele sind hypothetische Geschäftsregeln; wählen Sie Schwellen und Nachrichtenlängen für Ihr eigenes Unternehmen.
Ein definierter Auslöser. Ein konkretes beobachtbares Ereignis startet den Ablauf. „Wenn nachgefasst werden muss“ erfordert eine Entscheidung. „Seit fünf Werktagen keine Antwort und Status Angebot gesendet“ lässt sich beobachten und testen.
Ein einheitliches Eingabeformat. Benennen Sie die erwarteten Felder im CRM, den Nachrichtenkanal oder die Formularstruktur. Bei unterschiedlichen Formaten legen Sie Erkennung, Pflichtfelder und Stoppbedingungen fest. Fehlende Angaben dürfen nicht stillschweigend als ausgefüllte Felder behandelt werden.
Ein klares Erfolgskriterium. Definieren Sie, wie die tatsächliche Wirkung kontrolliert wird. Versand allein ist kein Erfolg: Empfänger, Inhalt und erlaubte Aktion müssen stimmen. Sensible oder offene Arbeit kann sorgfältiges Lesen durch eine Person erfordern.
Benannte Ausnahmen. Listen Sie bekannte Sonderfälle und eine sichere Übergabe für unbekannte Fälle auf. Eine längere Liste bedeutet nicht automatisch bessere Abdeckung. Behandeln Sie keine Liste als vollständig.
Die Tabelle stellt konkrete Prüfkriterien unklaren Anweisungen gegenüber und erklärt deren jeweilige Lücke.
| Kriterium | Prüfbares Beispiel | Unklares Beispiel | Warum die unklare Version scheitert |
|---|---|---|---|
| Auslöser | Status „Angebot gesendet“ UND letzte Aktivität vor mehr als 5 Werktagen | „Wenn nachgefasst werden muss“ | Es fehlt eine beobachtbare Startbedingung |
| Eingabeformat | Kontaktdatensatz mit benannten Pflichtfeldern für jeden Lauf | „Die CRM-Informationen zu diesem Kontakt“ | Fehlende Felder haben keinen definierten Weg |
| Erfolgskriterium | Freigegebene Nachricht an die richtige Person, mit Pflichtinhalt, vereinbartem Betreffformat und 150-Wörter-Grenze | „Eine angemessene Erinnerung wurde gesendet“ | Es fehlen vereinbarte Kontrollen für Empfänger, Inhalt, Aktion und Ergebnis |
| Ausnahmen | Bei „Nicht kontaktieren“ stoppen; bei einem Wert über 50.000 € an die zuständige Person übergeben | „Ausnahmen nach Bedarf behandeln“ | Ein unbekannter Fall hat keinen definierten Stopp oder Übergabeweg |
Wie sieht ein unbereiter Workflow aus?
Suchen Sie nach Anweisungen, die eine Entscheidung, eine nicht verfügbare Quelle oder eine Ausnahme ohne Zuständigkeit verbergen. Die folgenden Signale zeigen Fragen, die vor einer automatischen Aktion zu klären sind.
Die Beschreibung verlangt eine „angemessene“ Antwort, ohne zu erklären, woran diese erkannt wird. Das Wort ersetzt ein nicht definiertes Urteil. Schreiben Sie die prüfbaren Bedingungen auf und benennen Sie, was menschliche Entscheidung bleibt.
Das Team sagt bei einer Ausnahme „kommt darauf an“. Dahinter können Beziehungshistorie, Erfahrungswissen oder eine offene Regel stecken. Erfassen Sie den jeweiligen Grund, statt ihn als freie Entscheidung an den Agenten weiterzugeben.
Nur die Person, die heute die Aufgabe erledigt, kann das Ergebnis beurteilen. Lassen Sie diese Person erklären, welche Angaben und Kriterien sie verwendet. Prüfen Sie, ob andere damit dieselbe Entscheidung verstehen können und wer die Kontrolle vertreten kann.
Der Ablauf ändert sich häufig. Kundenwünsche, saisonale Änderungen oder Teamentscheidungen können laufende Anpassungen erfordern. Schätzen Sie Pflege und Nutzen gemeinsam. Ein stabiler Teil kann trotzdem einen Test wert sein, während andere Aufgaben variabel bleiben.
Unterscheiden Sie fehlende Vorbereitung von einer ungeeigneten Aufgabe. Manche Lücken lassen sich dokumentieren; andere brauchen Zugriffsänderungen, andere Werkzeuge oder einen engeren Umfang. Benennen Sie die tatsächliche Arbeit vor der Aufwandsschätzung. Eine fehlende Geschäftsregel und eine fehlende Verbindung brauchen andere Verantwortliche und andere Lösungen.
Behandeln Sie die Bewertung als Abgrenzung des nächsten Schritts. Das nützliche Ergebnis ist eine Liste von Lücken, Zuständigkeiten und prüfbaren Bedingungen, kein pauschales Urteil über das gesamte Geschäft.
Welche Workflows wirken bereit, brauchen aber eine nähere Prüfung?
Auch wiederkehrende Arbeit kann von fehlendem Kontext abhängen. Fragen Sie anhand der Beispiele, welche Informationen und Entscheidungen die vorgeschlagene Aufgabe benötigt. Das sind Beispiele zur Abgrenzung, keine Messung ihrer Fehlerhäufigkeit.
| Ablauf | Warum er geeignet wirkt | Was untersucht werden muss |
|---|---|---|
| Kundenantwort per E-Mail | Wiederkehrend mit erkennbarem Eingang | Eine passende Antwort kann von einer Beziehungshistorie außerhalb des CRM abhängen |
| Angebotsanpassung | Vorlage und strukturierte Eingaben | Inhalt kann von Geschäftshistorie und Kundenwünschen im Wissen der Betreuung abhängen |
| Besprechungszusammenfassung | Strukturiertes Ergebnis und regelmäßiger Anlass | Bedeutung einer Entscheidung kann Kontext außerhalb der sichtbaren Notizen brauchen |
| Kundenstart | Definierte Schritte und Ergebnisse | Sonderkonditionen oder ungewöhnliche Kundentypen können nur der Betreuung bekannt sein |
| Support-Zuordnung | Sichtbarer Eingang und Kategorien | Dringlichkeit kann von Kundenwert und Beziehungsgeschichte außerhalb des Tickets abhängen |
| Bewerberbezogene Verwaltung | Wiederkehrende Unterlagen und Prüfliste | Rollenbezogene Kriterien können je nach Einstellungsverantwortung abweichen und ungeschrieben sein |
Entscheiden Sie getrennt, welche Aktionen delegiert werden sollten und welche bei Mitarbeitenden bleiben. Beginnen Sie bei sensibler Arbeit wie Einstellungen mit einer eng freigegebenen Verwaltungsaufgabe, statt eine sichtbare Prüfliste als Erlaubnis für die Entscheidung zu behandeln. Schreiben Sie erlaubte Aktion und erforderliche Prüfung in den Umfang.
Wie macht man einen unfertigen Workflow bereit?
Wer die Anweisung nicht schreiben kann, kann den Agenten nicht briefen.
Verbessern Sie einen Kandidaten, indem Sie die Aufgabe eingrenzen, fehlende Entscheidungen offenlegen und erfolgreichen Abschluss sowie sichere Übergabe testen. Halten Sie das ursprüngliche Geschäftsproblem sichtbar, damit Vorbereitung nicht zur Dokumentation um ihrer selbst willen wird.
Was muss ein fertiger Workflow festhalten?
Ein fertiger Workflow hält drei Dinge schriftlich fest: die eingegrenzte Aufgabe, die Ausnahmefälle mit ihren Zuständigkeiten und einen Übergabeweg für Eingaben, für die er nicht gebaut wurde.
Den Umfang eingrenzen. „Kundenkommunikation bearbeiten“ ist keine abgegrenzte Aufgabe. „Für Rückerstattungsanfragen aus dem Kontaktformular eine Bestätigung mit nächsten Schritten vorbereiten“ ist konkreter. Entscheiden Sie, ob dieser kleinere Teil noch genug Nutzen für den Aufwand bietet.
Ausnahmefälle dokumentieren. Vergleichen Sie mit der Aufgabenverantwortung echte Fälle für verschiedene Wege. Nehmen Sie fehlende Angaben, eine geänderte Anweisung und eine Ausnahme mit menschlicher Übernahme auf. Notieren Sie Grund, Freigabeperson und Informationsquelle jedes anderen Ergebnisses. Trennen Sie unbekannte Fälle von benannten Regeln.
Eine ausdrückliche Übergabe festlegen. Definieren Sie für Eingaben außerhalb der Regeln eine konkrete Aktion: zur Prüfung markieren, einer Warteschlange zuordnen oder eine freigegebene Zwischennachricht vorbereiten. Testen Sie, ob der Ablauf tatsächlich stoppt und die übernehmende Person genug Kontext erhält.
Wie testen Sie einen vorbereiteten Workflow vor der Übergabe?
Prüfen Sie vor der Übergabe das tatsächliche Ergebnis im verbundenen System. Anthropics Leitfaden zur Agentenbewertung vom Januar 2026 unterscheidet zwischen der Aussage eines Agenten über seine Arbeit und dem abschließenden Zustand im System.[1] Bei einer Datenänderung kontrollieren Sie den gespeicherten Datensatz; bei einem Stopp prüfen Sie, dass keine Nachricht versendet wurde. Die laufende Messung behandelt woran Sie erkennen, ob Ihr Agent funktioniert. Welche Unterlagen Sie ins Auftragsgespräch mitnehmen, erklärt bevor Sie einen KI-Agenten-Implementierer beauftragen.
Wie sieht die schriftliche Anweisung aus?
Die schriftliche Anweisung ist ein Durchgang in sechs Schritten, vom ersten Entwurf über den Neue-Mitarbeiter-Test bis zum Test mit frischen Eingaben, und sie ist der Text, mit dem der Agent gebrieft wird.
Einen ersten Anweisungsentwurf schreiben
Beginnen Sie mit Auslöser, typischen Eingaben und erwartetem Ergebnis. Schreiben Sie eine nummerierte Folge. Die nächsten Schritte sollen Lücken sichtbar machen; der erste Entwurf muss nicht vollständig sein.
Den Neue-Mitarbeiter-Test durchführen
Geben Sie die Anleitung einer mit dem Ablauf nicht vertrauten Person. Lassen Sie erklären, was bei einer konkreten Eingabe geschieht. Fragen zeigen fehlende Angaben, falsche Beschreibungen mögliche Mehrdeutigkeit.
Gegensätzliche echte Fälle durchgehen
Beobachten Sie mit der Aufgabenverantwortung Normalfälle und bekannte Varianten. Erfassen Sie je Fall Auslöser, verfügbare Angaben, Entscheidung, Ergebnis und Ausnahme. Vergleichen Sie sie mit dem ersten Entwurf.
Jede Ausnahmeregel dokumentieren
Schreiben Sie für abweichende Fälle eine benannte Regel: Wenn Bedingung X gilt, tun Sie Y. Benennen Sie die Zuständigkeit für eine ungelöste Regel, statt den Agenten eine erfinden zu lassen.
Den Übergabeweg aufschreiben
Legen Sie die konkrete Aktion fest, wenn keine Regel passt: prüfen lassen, einer Warteschlange zuordnen oder eine freigegebene Zwischenantwort vorbereiten. Testen Sie Fehler und fehlende Angaben ebenso wie klare Treffer.
Mit frischen Eingaben testen
Halten Sie Fälle aus der ersten Durchsicht zurück und testen Sie diese unabhängig. Nehmen Sie Normalfälle und wesentliche Ausnahmen auf; ergänzen Sie neue Fehlerfälle. Prüfen Sie tatsächliches Ergebnis und Übergabe, schließen Sie Lücken und wiederholen Sie betroffene Tests vor erlaubten Live-Aktionen.
Häufig gestellte Fragen
Woran erkennt man, ob ein Geschäftsprozess bereit für einen KI-Agenten ist? Nutzen Sie die Probe mit einer nicht eingearbeiteten Person, um fehlende Entscheidungen zu finden, und testen Sie danach den echten verbundenen Ablauf. Prüfen Sie Eingaben, erlaubte Aktionen, gespeichertes Ergebnis und Stoppweg. Eine verständliche Anleitung ist Vorbereitung, kein Nachweis zuverlässiger Agentenleistung.
Welche Eigenschaften hat ein Workflow, der für die KI-Automatisierung bereit ist? Legen Sie Auslöser, Pflichtangaben, Abnahmekontrollen und bekannte Ausnahmen mit Übergabe für unbekannte Fälle fest. Machen Sie die Quelle wichtiger Angaben sichtbar. Die Liste zeigt, was getestet werden muss; die Einführung hängt weiterhin von Ergebnissen und vereinbartem Umfang ab.
Was macht einen Workflow nicht bereit für einen KI-Agenten? Suchen Sie nach undefinierten Urteilen, fehlendem Beziehungskontext, nur der Aufgabenverantwortung bekannten Kriterien und Änderungen ohne Zuständigkeit. Manche Lücken brauchen Dokumentation, andere Zugänge, Werkzeuge oder einen engeren Umfang. Benennen Sie Lösung und Verantwortung statt jede Lücke als Schreibarbeit zu behandeln.
Wie lange dauert es, einen noch nicht bereiten Workflow automatisierungsreif zu machen? Schätzen Sie nach der Bestimmung der Lücken. Eine fehlende Regel aufzuschreiben ist etwas anderes als eine umstrittene Entscheidung zu klären, Zugänge zu erhalten oder eine Verbindung zu ändern. Vereinbaren Sie Ergebnisse und Zuständigkeiten vor einem Kalendertermin und testen Sie danach den Ablauf, nicht nur das Dokument.
Welche Workflows wirken automatisierungsreif, sind es aber häufig nicht? Kundenantworten, Angebotsentwürfe, Besprechungsnachbereitung, Kundenstart, Support-Zuordnung und Bewerberverwaltung können fehlenden Kontext oder Urteilsbedarf verbergen. Das sind Beispiele zur Abgrenzung. Definieren Sie erlaubte Aufgabe und nötige Prüfung, statt aus Wiederholung auf Eignung der ganzen Tätigkeit zu schließen.
Wie macht man einen unbereiten Workflow für einen KI-Agenten bereit? Grenzen Sie den Umfang ein, vergleichen Sie gegensätzliche echte Fälle, benennen Sie Ausnahmeregeln und menschliche Übergabe. Proben Sie die Anleitung mit einer nicht vertrauten Person, testen Sie den Agenten danach mit frischen Fällen und kontrollieren Sie die tatsächlichen Ergebnisse. Die laufende Messung gehört in die Leistungsprüfung.
Quellen
- Demystifying evals for AI agents. Technischer Leitfaden, 9. Januar 2026. Tatsächlicher Endzustand gegenüber bloßer Erledigungsbehauptung. Abgerufen am 15. Oktober 2026.
