Privat darf KI eine Blackbox sein. Im Qualitätswesen nicht.
Agenten sind das Versprechen der Saison, und vieles, was so heißt, ist umetikettiert. Wo es um Fahrzeuge, Kunden und Rückrufe geht, muss jede Einordnung belegbar sein. Ein Praxisfall zeigt, wie man KI dafür baut.
Wo wir stehen
Das Modell ist nicht das Produkt.
Fünf Schichten um das Modell, die KI im Alltag verlässlich machen, von „schlägt vor“ bis „handelt“.
Zur Ausgabe → KW 44 · HandelnVollmacht statt Vertrauen.
Was ein Agent allein erledigen darf und woran Sie erkennen, dass er es richtig gemacht hat.
Zur Ausgabe →Im Qualitätswesen keine Blackbox.
Ein Praxisfall: wo Leitplanken steuern, wo die KI arbeitet und wo der Mensch entscheidet.
Sie lesen diese AusgabeVon der Werkstattmeldung zum Bericht, ohne Blackbox
Wer privat eine KI seine Reise planen lässt, verzeiht ihr den einen oder anderen Ausreißer. Ob die Antwort beim nächsten Versuch etwas anders ausfällt, ist dort egal. Im Qualitätswesen nicht. Hier muss auch Wochen später jemand erklären können, warum ein Fall so eingeordnet wurde, auf welcher Grundlage und mit welchen Daten. Eine Blackbox mit breiter Streuung in den Antworten ist dafür keine Option.
Ein Beispiel. Eine Werkstatt meldet:
„Kunde beanstandet: Das Cabrioverdeck des Fahrzeugmodells XYZ lässt sich im Stand nicht öffnen. Beim Betätigen des Schalters startet die Öffnungsbewegung nicht.“
Die Meldung erhält eine Fallnummer. Die verfügbaren Fahrzeug-, Diagnose- und Werkstattangaben werden dem Fall zugeordnet, etwa Modell, Produktionsdatum, Kilometerstand, Fehlercodes und bereits durchgeführte Reparaturen.
Ab hier übernimmt ein Assistent, den wir für einen Kunden im Automobilumfeld gebaut haben. Er beantwortet die Frage, die sich jede Qualitätsabteilung zuerst stellt: Kennen wir das schon, bei uns oder bei anderen?
Wir haben ihn bewusst nicht als freien Agenten gebaut, sondern als Workflow. Er startet automatisch, sobald ein Fall angelegt ist, gleicht ihn mit internen Vergleichsfällen, den Rückrufdaten von Behörden in verschiedenen Märkten sowie mit Medienberichten ab und legt einen Berichtsentwurf mit Quellen und Einordnung vor.
Die KI versteht und formuliert. Leitplanken prüfen und steuern. Der Mensch entscheidet.
Schritt für SchrittWas mit der Verdeck-Meldung passiert
Das Schaubild verfolgt die Meldung durch den Ablauf. Die Farben zeigen, wer in welcher Phase arbeitet. Die unterste Zeile zeigt, was am Ende jeder Phase vorliegt, hier vereinfacht am Beispiel.
Hinter diesen fünf Phasen stehen rund 30 Workflow-Schritte. Nur vier davon sind agentisch, und sie nutzen unterschiedliche Modelle. Der Rest läuft über Regeln und deterministische Logik.
Zwei Dinge fallen auf. Erstens arbeitet die KI in keiner Phase allein, über jedem grünen Feld steht eine Leitplanke. Zweitens ist Phase 4 die eigentliche Nahtstelle. Wie ähnlich ein Treffer ist, wird deterministisch berechnet. Die KI erklärt den Zusammenhang und darf die Ähnlichkeitsstufe nur senken, nie anheben. Senkt sie die Stufe, sieht das Qualitätsteam vor der Freigabe beide Werte: den berechneten und den herabgestuften.
Und außerhalb des einzelnen Laufs gilt: Nur Menschen ändern Regeln, Sperrlisten und Kriterien. Das System lernt nicht still dazu, es wird bewusst angepasst.
Der NachweisDrei Wochen später fragt der Vorstand: Warum?
Steuerbarkeit zeigt sich nicht in der Demo, sondern dann, wenn jemand wissen will, wie die Einordnung des Verdeck-Falls zustande kam. Beim Qualitätsassistenten lassen sich drei Fragen beantworten. Die Farben zeigen, woher die Antwort kommt.
Wie kam das Ergebnis zustande?
- Protokollierte Schritte in fester Reihenfolge
- Verwendete Quellen mit Fundstelle
- Ein- und Ausgaben der begrenzten KI-Schritte
- Ausgeführte Prüfregeln und ihr Ergebnis
Warum entstand diese Einordnung?
- Dokumentierte Kriterien für „neues Thema“
- Gefundene Vergleichsfälle
- Sichtbar benannte Unsicherheiten
- Fachliche Freigabe oder Ablehnung
Was geschah mit den Daten?
- Welche Felder ein Modell sehen durfte
- Was das Unternehmen verlassen durfte, etwa nur öffentliche Rückrufnummern
- Welche Angaben entfernt oder gesperrt wurden
- Wer auf Ergebnis und Protokoll zugreifen darf
Agent oder Workflow: Wer entscheidet, was als Nächstes passiert?
In der Diskussion um KI-Agenten geht oft unter, dass es nicht um „Agent ja oder nein“ geht. Es geht darum, wo die Entscheidung über den nächsten Schritt liegt. Drei Formen kommen in fast jedem Prozess vor, oft nebeneinander.
| Modellgesteuerter Ablauf | Workflowgesteuerter Ablauf | Menschliche Entscheidung | |
|---|---|---|---|
| Wer bestimmt den nächsten Schritt? | Das Modell, je nach Zwischenergebnis | Der festgelegte Ablauf | Eine benannte Person |
| Wo gelten verbindliche Regeln? | In Anweisungen und erlaubten Werkzeugen | In Prüfungen, Berechtigungen und Statuslogik | In Zuständigkeit und Freigaberecht |
| Fehler und Abbrüche | Das Modell versucht oft einen anderen Weg | Definierte Abbruch- und Eskalationswege | Bewusstes Nein oder Rückfrage |
| Planbarkeit von Datenzugriff und Kosten | Gering bis mittel, abhängig vom Verlauf | Hoch, pro Durchlauf festgelegt | Hoch, aber zeitintensiv |
Je verbindlicher, sensibler und wiederholbarer ein Schritt ist, desto weniger Entscheidungsfreiheit sollte beim Modell liegen.
Das ist keine Absage an Agenten. Für offene Recherche, Analyse und Exploration sind modellgesteuerte Abläufe stark, solange der Wert der Aufgabe den höheren Verbrauch und die geringere Vorhersagbarkeit rechtfertigt. Auch unser Assistent lässt beim Einordnen der Treffer begrenzte Agenten arbeiten: Das Modell wählt selbst, welches Werkzeug es aufruft, aber nur aus einer festen Liste, mit vorgegebenem Ausgabeformat und ohne die Ähnlichkeitsstufe anheben zu dürfen.
Prompt und LeitplankenDer Prompt bittet. Die Leitplanke hält.
Die naheliegende Abkürzung lautet, alle Regeln in die Anweisungen eines Agenten zu schreiben. Das funktioniert oft, aber eben nicht verlässlich. Was zwingend gelten muss, darf deshalb nicht nur im Prompt stehen. Es hilft, drei Stufen zu unterscheiden:
- Ein Prompt leitet Verhalten an. Er beschreibt, was das Modell tun soll, und wird in den meisten Fällen befolgt.
- Strukturierte Ausgaben und eingeschränkte Werkzeuge begrenzen Verhalten. Das Modell kann nur in einem festen Format antworten und nur auf freigegebene Funktionen zugreifen.
- Deterministische Leitplanken setzen Grenzen durch. Prüfungen, Berechtigungen und Abbruchbedingungen außerhalb des Modells greifen auch dann, wenn das Modell sich anders entscheidet. Im Qualitätsassistenten setzt deshalb eine Leitplanke den Status „Entwurf“ und nicht das Modell.
Ein Beispiel aus dem Praxisfall: Dass keine internen Fallangaben nach außen gehen dürfen, steht auch in den Anweisungen an das Modell. Verlassen muss sich der Prozess darauf aber nicht. Vor jeder Abfrage bei einer Behörde prüft eine Leitplanke, dass ausschließlich eine öffentliche Rückrufnummer übergeben wird. Fehlt sie oder sieht die Angabe anders aus, unterbleibt die Abfrage.
Taxi oder Fahrplan?
Ein modellgesteuerter Agent ist wie ein Taxi: Er sucht sich die Route selbst, und der Taxameter läuft bei jedem Umweg mit. Denn bei jedem Schritt schickt er Anweisungen, Werkzeugbeschreibungen und alle bisherigen Zwischenergebnisse erneut ans Modell, und jedes Mal kostet das Tokens. Ein Workflow fährt nach Fahrplan: feste Haltestellen, bekannte Strecke, planbarer Preis.
steigende Inferenzkosten pro agentischem Workflow bis 2028 erwartet Gartner, obwohl der Preis pro Token fällt.
mehr Tokens als ein Chat verbrauchten bei Anthropic Agenten bzw. Multi-Agenten-Systeme im eigenen Rechercheprodukt.
Dazu kommt die Wahl des Fahrzeugs. Für Abgleich und Suchbegriffe nutzt unser Assistent ein kleines Modell, das längst nicht mehr das neueste ist und es auch nicht sein muss. Erst für den Bericht arbeitet ein stärkeres.
Das Ergebnis haben wir gemessen: Ein Fall verbraucht rund 96.000 Tokens und kostet zu Listenpreisen etwa zehn US-Cent. Die Taxi-Variante haben wir nicht gebaut, nur hochgerechnet. Sie bräuchte für dieselbe Strecke etwa das Fünffache an Tokens.
Zehn Cent oder fünfzig Cent pro Fall entscheiden noch kein Budget. Teuer wird es, wenn jeder neue KI-Prozess als Taxi startet. Dann zahlt das Unternehmen den Aufschlag in jedem Prozess, und der Abstand wächst mit jedem Schritt, den das Modell selbst plant.
Drei Punkte für die nächste KI-Entscheidung
- Die Bauweise ist eine Führungsentscheidung. Ob ein Modell oder eine Leitplanke den nächsten Schritt bestimmt, entscheidet über Haftung, Prüfbarkeit und Budget. Das gehört nicht in ein Entwicklerticket, sondern in die Runde, die den Prozess verantwortet.
- Freigabe ist Teil des Prozesses, kein Misstrauensvotum. Leitplanken machen einen Prozess nachvollziehbar, aber nicht automatisch richtig. Ob ein Fall wirklich neu ist, bleibt eine fachliche Bewertung. Wer den Menschen von Anfang an einplant, muss ihn später nicht mühsam nachrüsten.
- Modelle wechseln, Leitplanken bleiben. Weil die Regeln außerhalb des Modells liegen, lässt sich ein Modell austauschen, ohne die Spielregeln neu zu verhandeln. Getestet werden muss jeder Wechsel trotzdem, aber der Rahmen steht. In unserem Praxisfall arbeiten schon heute unterschiedliche Modelle unter denselben Leitplanken.
Fünf Fragen, bevor der nächste KI-Prozess live geht
- Welche Schritte müssen bei jedem Durchlauf identisch ablaufen?
- Welche Schritte benötigen tatsächlich Sprachverständnis oder Bewertung?
- Welche Daten dürfen welchen technischen Bereich verlassen?
- Welche Ergebnisse brauchen eine menschliche Freigabe?
- Können wir Kosten, Fehler und Abbrüche pro Fall messen?
Wir bezahlen die KI fürs Verstehen, nicht fürs Weiterleiten.
Quellen
- Gartner, Prognose zu Inferenzkosten pro agentischem Workflow (17.08.2026): gartner.com · Bericht: Techstrong.ai
- Anthropic, „How we built our multi-agent research system“ (13.06.2025, Anbieterquelle): anthropic.com
KI Klartext entsteht mit Unterstützung von KI. Recherche und Texte werden von uns redaktionell geprüft.