Die Demo lief perfekt. Der Agent hat jedes Beispiel korrekt behandelt, die Ausgaben sahen richtig aus, und das Team verließ den Raum zuversichtlich. Sechs Monate später erfordert das Live-System konstante Aufsicht und produziert Ausgaben, denen das Team nicht vertraut.
Nichts ist kaputt gegangen — aber nichts funktioniert so, wie die Demo es vermuten ließ. Die Lücke zwischen einer erfolgreichen Demo und einem zuverlässigen Live-System ist keine Überraschung. Sie ist strukturell.
Warum die Demo-Umgebung grundlegend anders ist als die Produktion
Eine Demo läuft auf Eingaben, die der Präsentator ausgewählt hat. Diese Eingaben wurden ausgewählt, weil der Agent sie gut behandelt — sie repräsentieren den Workflow in seiner saubersten Form, nicht in seiner häufigsten.
Echte Produktionssysteme verarbeiten, was ankommt. Das umfasst Eingaben mit fehlenden Feldern, inkonsistenter Formatierung, mehrdeutigem Kontext und Randfällen, die niemand in die Demo aufgenommen hat. Der Agent wurde nie auf diesen Eingaben getestet. In der Demo existierten sie nicht.
Das ist keine Täuschung. Der Präsentator ist möglicherweise nicht einmal bewusst, wie unrepräsentativ die Eingaben sind. Die Demo zeigt, was der Agent unter idealen Bedingungen leisten kann. Sie zeigt nicht, wie der Agent sich verhält, wenn die Bedingungen nicht ideal sind.
Wie echte Geschäftsdaten aussehen
Eine Demo, die mit drei vorbereiteten Beispielen funktioniert, kann nicht auf ein Produktionssystem übertragen werden, das Hunderte realer Eingaben verarbeitet. Die richtige Frage nach einer erfolgreichen Demo ist nicht "hat es funktioniert?" — sondern "was würde das brechen?"
Jedes Unternehmen sammelt Daten auf Weisen, die nie für maschinelle Verarbeitung ausgelegt wurden. CRM-Datensätze haben leere Felder, Felder mit Abkürzungen, die das Team versteht, ein System aber nicht, oder Felder, die inkonsistent über verschiedene Teammitglieder aktualisiert wurden. E-Mails kommen mit Betreffzeilen an, die nicht mit ihrem Inhalt übereinstimmen. Datumsangaben werden von verschiedenen Absendern unterschiedlich formatiert.
Eine Demo-Eingabe ist in der Regel ein vollständiger, sauberer Datensatz, der genau so aussieht, wie die Workflow-Beschreibung es sagte. Echte Eingaben weichen ständig davon ab — nicht weil etwas schiefgelaufen ist, sondern weil Menschen Formulare nicht so ausfüllen, wie Ingenieure sie entworfen haben.
Die Fragen, die man nach einer erfolgreichen Demo stellen sollte
Die Demo hat funktioniert, weil die Eingaben sauber waren. Ihre Daten sind es nicht.
Drei Fragen liefern ein klareres Bild davon, wie die Produktion tatsächlich aussehen wird:
Was waren die Eingaben? Fragen Sie, die Rohdaten zu sehen, die der Agent verarbeitet hat. Wenn die Eingaben identisch formatiert sind, entspricht das wahrscheinlich nicht Ihren tatsächlichen Geschäftsdaten. Fragen Sie, was passiert, wenn ein Feld fehlt oder inkonsistent ausgefüllt ist.
Was würde dazu führen, dass das scheitert? Jeder ehrliche Implementierer kann die Fehlerarten des Systems nennen, das er gebaut hat. Wenn die Antwort "es behandelt alles" lautet, wurde die Demo nicht mit repräsentativen Daten erstellt.
Wie behandelt das System Eingaben, für die es nicht ausgelegt wurde? Zeigen Sie dem Agenten eine Eingabe, die teilweise falsch ist — ein fehlendes Feld, ein Datum in einem anderen Format, ein mehrdeutiger Wert. Beobachten Sie, was passiert. Das ist informativer als zehn erfolgreiche Demo-Läufe.
Was produktionsreife Implementierungen anders machen
Implementierungen, die für die Produktion gebaut werden, beginnen mit echten Daten, nicht mit konstruierten Beispielen. Der erste Schritt ist nicht das Bauen des Agenten — es ist die Überprüfung einer Stichprobe tatsächlicher Eingaben, um die Varianz zu verstehen, mit der der Agent konfrontiert wird.
Diese Überprüfung produziert ein Scoping-Dokument: eine Liste jedes Eingabemusters, das der Agent behandeln soll, jedes Musters, das er ablehnen soll, und was mit Eingaben passiert, die in keine der beiden Kategorien fallen. Das Demo-Äquivalent davon ist ein handverlesener Beispielsatz. Das Produktions-Äquivalent ist ein Ausnahme-Handler.
Ein Agent, der gegen echte Eingabevarianz gebaut wird, verhält sich in der Produktion vorhersehbar, weil er vor dem Launch gegen Unvorhersehbarkeit getestet wurde. Die Lücke zwischen Demo und Live-System verengt sich nicht, weil der KI klüger ist, sondern weil die Implementierung mit dem Wissen gebaut wurde, dass die Lücke existiert.