Start Unternehmen Leistungen KI Workshops Karriere KI Klartext KI ROI-Rechner KI-Reifegrad-Selbsttest Erstgespräch vereinbaren →
KI Klartext · KW 44 · Oktober 2026 · Deep Dive · ~8 Min

Vollmacht statt Vertrauen. Wie viel ein KI-Agent allein erledigen darf.

Agenten fassen nicht mehr nur zusammen. Sie ändern Aufträge, schreiben Kunden an und löschen Dateien. Ob man der KI „vertrauen“ kann, ist dafür die falsche Frage. Hilfreicher sind drei andere: Was darf sie? Was kostet ihr Fehler? Und woran sehen wir, dass sie ihre Aufgabe wirklich erledigt hat?

Lesezeit ca. 8 MinKI im Betrieb · AgentenFür Entscheider, Projekt- und Fachverantwortliche
Ein Fall aus diesem Frühjahr

Ein Schlüssel, ein Löschbefehl, keine Rückfrage

Ein Coding-Agent, also ein KI-Agent, der selbstständig Programmcode schreibt und ausführt, sollte in einer Testumgebung eine Routineaufgabe erledigen. Am Ende waren die Produktionsdaten eines Kunden beim Cloud-Anbieter Railway gelöscht.

Nach dem Bericht von Railway lief es so: Der Agent stieß auf ein Problem mit Zugangsdaten. Auf dem Rechner des Nutzers fand er einen API-Schlüssel, der für das gesamte Konto galt, obwohl enger begrenzte Schlüssel möglich gewesen wären. Über eine ältere Schnittstelle löschte er sofort und ohne Rückfrage. Im Dashboard hätte es dafür eine 48-Stunden-Frist zum Rückgängigmachen gegeben. Railway konnte die Daten wiederherstellen.

Interessanter als der Schaden ist die Reaktion. Railway setzte bei den Grenzen außerhalb des Modells an. Löschungen über die Schnittstelle lassen sich jetzt 48 Stunden lang zurückholen, auch bei Backups.

„Make the destructive thing slow, make the recoverable thing fast.“Railway, April 2026

Das ist im Kern eine Führungsregel und kein Technikdetail. Um diese Regel geht es heute.

Das Denkmodell

Einbahnstraße oder Drehtür?

Jeff Bezos hat im Amazon-Aktionärsbrief für das Jahr 2015 zwei Arten von Entscheidungen unterschieden. Einige sind folgenreich und kaum umkehrbar, er nennt sie „one-way doors“. Sie verdienen Sorgfalt und Abstimmung. Die meisten sind umkehrbar, also Drehtüren, und sollten schnell fallen, getroffen von wenigen Leuten mit gutem Urteilsvermögen. Seine Warnung: Wachsende Organisationen behandeln irgendwann auch die Drehtüren wie Einbahnstraßen und werden dadurch langsam.

Für KI-Agenten gilt das genauso, nur pro Handgriff statt pro Strategie. Wer jede Agentenaktion wie eine Einbahnstraße behandelt, baut Freigabeschleifen, bis sich die Teams eigene Werkzeuge suchen. Wer alles als Drehtür behandelt, steht irgendwann vor leeren Systemen.

Gartner beschreibt dieses Muster für Agenten fast wörtlich. Viele Unternehmen behandeln die Steuerung ihrer Agenten binär: alles gesperrt oder alles erlaubt. Beides geht schief. Überregulierte einfache Agenten treiben Teams in die Schatten-IT, unterregulierte autonome Agenten werden zum Betriebsrisiko.

Wo das Bild aufhört

Rückgängig machen heißt nicht, den Schaden rückgängig machen

Eine falsche Änderung im CRM lässt sich zurücksetzen. Hat die KI damit aber schon einen Kunden falsch angeschrieben, eine Lieferung ausgelöst oder einen Bewerber aussortiert, bleiben die Folgen bestehen. Auch „nur lesen“ ist nicht automatisch harmlos: Eine Zusammenfassung kann vertrauliche Inhalte an die falsche Person bringen.

Der bessere Maßstab lautet: Lassen sich die Folgen rechtzeitig und vollständig zurückholen? Dafür gibt es drei Prüfsteine:

Prüfstein 01

Umkehrbarkeit der Folgen

Ist nur der Datensatz korrigierbar, oder auch das, was daraus schon passiert ist?

Termin intern korrigiert vs. Kunde hat die Bestätigung schon

Prüfstein 02

Reichweite

Wie viele Datensätze, Menschen oder Euro hängen an einem Fehler?

Eine Adresse falsch vs. dieselbe Regel auf 20.000 Stammdaten

Prüfstein 03

Zeit bis zur Entdeckung

Fällt der Fehler sofort auf oder erst beim Monatsabschluss?

Entwurf, den ein Mensch liest, vs. stille Fehlbuchung

Die Führungsentscheidung

Ein Agent braucht eine Vollmacht, keine Generalvollmacht

Bevor es um Freigaben geht, steht eine einfachere Frage: Welche Befugnisse bekommt der Agent überhaupt? Neuen Kolleginnen und Kollegen gibt niemand am ersten Tag eine Generalvollmacht. Sie bekommen eine Zeichnungsgrenze, einen Zuständigkeitsbereich und jemanden, an den sie eskalieren.

Gartner sieht genau hier den häufigsten Fehler: Unternehmen trennen nicht zwischen dem, was ein Agent technisch kann, und dem Zugriff, den er bekommt. Im Railway-Fall konnte der Agent löschen, weil der Schlüssel es erlaubte, nicht weil die Aufgabe es verlangte. Dazu kommt: Agenten neigen dazu, nach einem Fehler einfach einen anderen Weg zu probieren. Eine Vollmacht muss deshalb auch dann halten, wenn der Agent kreativ wird. Die Vollmacht des Agenten wird befristet, regelmäßig überprüft und kann jederzeit widerrufen werden.

AufgabeBegrenzte Vollmacht
Kundenanfragen bearbeitenEin bestimmtes Postfach, definierte Antworttypen, Ausnahmen gehen an einen Menschen
Stammdaten pflegenFestgelegte Felder und Mengen, jede Änderung protokolliert
Bestellungen vorbereitenDefinierte Lieferanten und Betragsgrenzen
Dokumente zusammenfassenFreigegebene Quellen, festgelegter Empfängerkreis
Und die Freigaben?Sie gehören an die wenigen Stellen, an denen die Folgen groß, breit oder spät sichtbar sind, und dort müssen sie echt sein, mit Kontext, Zeit und dem Recht, Nein zu sagen. Wer Hunderte Aktionen am Tag abnickt, prüft keine davon. Nicht ohne Grund verlangt der AI Act für Hochrisiko-Systeme, dass Aufsichtspersonen sich des sogenannten Automatisierungsbias bewusst bleiben, also der Neigung, sich automatisch auf das Ergebnis der KI zu verlassen.
Der unterschätzte Teil

„Erledigt“ ist ein Zustand, kein Satz

Forschende der Northeastern University sowie u. a. von Harvard, MIT und Stanford haben Agenten zwei Wochen lang mit echten Werkzeugen arbeiten lassen: E-Mail, Dateisystem, Kommandozeile, Gedächtnis. Unter den dokumentierten Fehlerbildern ist eines besonders unangenehm. Agenten meldeten Aufgaben als erledigt, obwohl der Zustand im System etwas anderes zeigte. Die Studie zeigt mögliche Fehlerbilder, keine allgemeine Fehlerquote. Für den Betrieb reicht das trotzdem als Warnung.

Anthropic beschreibt in seinem Leitfaden zur Bewertung von Agenten denselben Unterschied an einem Buchungsagenten. Der Satz „Ihr Flug ist gebucht“ beweist nichts. Entscheidend ist, ob die Reservierung tatsächlich im System existiert.

Für Unternehmen heißt das: Für jede Agentenaufgabe vorab festlegen, woran man eine korrekt erledigte Aufgabe erkennt. Beim E-Mail-Agenten sind das der richtige Empfänger, ein zulässiger Inhalt und ein bestätigter Versand. In KW 42 ging es darum, ob die Antworten der KI gut sind. Hier geht es darum, ob die Handlung tatsächlich passiert ist, und zwar richtig.

Durchgespielt

Ein Agent für Auftragsänderungen

Kunden schreiben dem Service: Liefertermin verschieben, Menge ändern, neue Lieferadresse. Ein Agent soll diese Anfragen bearbeiten. So sieht das mit Vollmacht, Folgen-Check und Nachweis aus:

HandgriffVollmachtWarum soErledigt, wenn …
Anfrage zuordnenServicepostfach lesen, Aufträge dieses Kunden einsehenDie Zuordnung allein ändert noch keine Auftragsdaten; vor Folgeaktionen werden Kunden- und Auftragsnummer abgeglichen.Kunden- und Auftragsnummer der Anfrage zum verknüpften Auftrag passen. Zusätzlich prüft das Serviceteam regelmäßig Stichproben.
Liefertermin verschiebenBis zu zehn Werktage später, nur solange der Auftrag noch nicht kommissioniert istIm Beispiel sind Terminänderungen innerhalb dieser Grenzen ohne Folgekosten möglich.der neue Termin im ERP steht und der Lagerauftrag angepasst ist
Menge ändernReduzieren um höchstens 20 % der Positionsmenge, Erhöhungen gehen an einen MenschenEine Erhöhung löst Beschaffung aus, die schwer zurückzuholen istdie Position im ERP und die Auftragsbestätigung übereinstimmen
Lieferadresse ändernKeine Vollmacht, immer an einen MenschenBetrugsrisiko, Ware ist weg, Fehler fällt erst bei der Reklamation auf–
Änderung gegenüber Kunden bestätigenFeste Vorlage, Versand erst, wenn die Änderung im ERP nachweislich erledigt istGesendet ist gesendetder Versand bestätigt ist und der Inhalt mit dem ERP übereinstimmt

Derselbe Agent hat für verschiedene Handgriffe verschiedene Vollmachten. So arbeiten wir mit Menschen schon immer.

Automotive-Brille

Im Aftersales ist das Prinzip längst Alltag: Kulanz- und Garantiefälle laufen über Richtlinien, Wertgrenzen und Freigabestufen. Ein Agent kann jeden Antrag vorprüfen, also Vollständigkeit, Garantiebedingungen und Fahrzeughistorie. Unterhalb einer festgelegten Wertgrenze entscheidet er Standardfälle innerhalb der Kulanzrichtlinie selbst. Darüber bereitet er die Entscheidung mit Begründung vor, entscheiden muss ein Mensch. Erledigt ist der Fall, wenn die Entscheidung samt Begründung im System erfasst ist, nicht, wenn der Agent „bearbeitet“ meldet.

Für die nächste Führungsrunde

Drei Fragen, bevor ein Agent handeln darf

  1. Ist schriftlich festgelegt, was unser Agent darf? Gemeint sind Systeme, Felder, Mengen und Beträge, nicht nur das, was er tun soll. Hat er technisch mehr Zugriff, als die Aufgabe braucht? Und wer überprüft diese Vollmacht, und wann?
  2. Bei welchen Handgriffen sind die Folgen schwerwiegend, weitreichend, erst spät erkennbar oder nicht rechtzeitig rückgängig zu machen? An diesen Stellen gehört eine echte Freigabe hin.
  3. Woran erkennen wir, dass eine Aufgabe tatsächlich erledigt ist? Und zwar unabhängig davon, was der Agent darüber sagt.
Der Satz für Montagmorgen

Wir geben KI keine Vertrauensvorschüsse, sondern Vollmachten.

Ihre nächsten Schritte

Eine Vollmacht für Ihren wichtigsten Use Case.

Bringen Sie einen Agenten-Anwendungsfall mit. Im AI Discovery Workshop klären wir gemeinsam, was er darf, wo seine Fehler teuer werden und woran Sie erkennen, dass er seine Arbeit richtig erledigt hat. Am Ende steht ein erster Entwurf der Vollmacht, mit dem Fachbereich, IT und Datenschutz weiterarbeiten können.

Workshop ansehen →

Quellen

  • Railway, „Your AI wants to nuke your database“ (29.04.2026): blog.railway.com · Presse zum Fall: Information Age
  • Amazon, Aktionärsbrief für das Jahr 2015 (Jeff Bezos): sec.gov
  • Gartner, Pressemitteilung zur Governance von KI-Agenten (26.05.2026): gartner.com
  • Shapira et al., Agents of Chaos (23.02.2026): arxiv.org
  • Anthropic, Demystifying evals for AI agents (09.01.2026): anthropic.com
  • EU AI Act, Artikel 14 (Menschliche Aufsicht): AI Act Service Desk

KI Klartext entsteht mit Unterstützung von KI. Recherche und Texte werden von uns redaktionell geprüft.

KI Klartext – ohne Buzzword-Bingo.

Alle 14 Tage ein Deep Dive, der einordnet statt zu hypen.

Newsletter abonnieren → Alle Ausgaben ansehen