Loading
Wann sollte ein KI-Agent seine Ausführung stoppen und Entscheidungen an einen Menschen übergeben?
·6 Min. Lesezeit
Ein KI-Agent erledigt eine Aufgabe selten in einem einzigen Schritt. Er ruft Informationen ab ⇨ wählt ein Werkzeug ⇨ greift auf ein System zu ⇨ prüft das Ergebnis und ⇨ entscheidet über das weitere Vorgehen. Während diese Abfolge abläuft, können sich die Bedingungen ändern, unter denen sie begann. Eine Quelle kann früheren Informationen widersprechen, ein Werkzeug kann ein unerwartetes Ergebnis liefern, oder eine spätere Aktion kann außerhalb der zu Beginn erteilten Befugnis liegen. Setzt der Agent seine Arbeit fort, ohne diese Veränderung zu berücksichtigen, kann ein früher Fehler alles Folgende prägen.
Das System braucht deshalb eine verlässliche Möglichkeit, die Ausführung zu unterbrechen. Es geht darum, wie der Agent während seiner Arbeit kontrolliert wird: wie Veränderungen seiner Betriebsbedingungen erkannt werden, was einen Eingriff auslöst und wie sich der Prozess anhalten lässt, ohne die Kontrolle über die bereits geleistete Arbeit zu verlieren.
Der 2026 Singapore Consensus on Global AI Safety Research Priorities unterscheidet zwischen zwei Prinzipien: Runtime Assurance und Interruptibility.
Runtime Assurance betrifft die Frage, ob ein Agent weiterhin innerhalb der Bedingungen operiert, unter denen er validiert wurde, auch wenn sich seine Eingaben, sein akkumulierter Zustand und seine Umgebung verändern. Interruptibility gibt menschlichen Betreibern die Möglichkeit, die Ausführung anzuhalten, umzulenken oder zu stoppen und ihre Wirkungen umzukehren, wo das möglich ist. Das eine betrifft, ob das System noch wie vorgesehen arbeitet; das andere liefert einen Weg, einzugreifen, wenn es das nicht tut.
Diese Unterscheidung hat eine praktische Folge für den Systementwurf. Ein Abschaltmechanismus darf nicht vollständig davon abhängen, dass der Agent ein Problem erkennt und sich entscheidet, einer Stoppanweisung zu folgen. Der Consensus empfiehlt, dass Abschalt- und Override-Kontrollen außerhalb der Reasoning-Schleife des Agenten arbeiten, über Rechte auf Systemebene. Er fordert zudem eine kontinuierliche Überwachung und Erkennung von Veränderungen im Zustand des Agenten, unabhängig von dessen eigenen Meldungen.
Diese Trennung zahlt sich aus, wenn ein Agent auf manipulierte Informationen trifft, eine unerwartete Abfolge von Aktionen durchläuft oder in einen Zustand gerät, den er nicht verlässlich einschätzen kann. Dasselbe System, dessen Verhalten unterbrochen werden muss, sollte nicht allein darüber bestimmen, ob die Unterbrechung stattfindet. Die Ausführungsumgebung und die Orchestrierungsschicht müssen diese Befugnis behalten.
Ein Agent kann für eine bestimmte Menge von Berechtigungen, Datenquellen und Betriebsbedingungen validiert sein. Während einer längeren Aufgabe können sich diese Bedingungen ändern. Neue Informationen gelangen in seinen Kontext, externe Systeme liefern abweichende Ergebnisse, und Aktionen sammeln sich in seinem Gedächtnis an. Der Agent operiert möglicherweise irgendwann unter Umständen, die sich deutlich von denen unterscheiden, unter denen sein Einsatz freigegeben wurde.
Ein abgerufenes Dokument könnte Anweisungen enthalten, die dem ursprünglichen Zweck der Aufgabe zuwiderlaufen. Zwei verbundene Systeme könnten unterschiedliche Informationen über dieselbe Transaktion melden. Ein Werkzeug könnte wiederholt fehlschlagen und den Agenten dazu bringen, Alternativwege zu versuchen, die nie Teil des vorgesehenen Prozesses waren. Jede dieser Entwicklungen kann beeinflussen, was der Agent als Nächstes tut.
Unternehmen müssen vor dem Einsatz festlegen, welche Veränderungen einen Eingriff erfordern. Dazu können Versuche gehören, auf gesperrte Informationen zuzugreifen, Aktionen, die eine genehmigte Ausgaben- oder Befugnisgrenze überschreiten, widersprüchliche Informationen aus vertrauenswürdigen Quellen, wiederholte Ausführungsfehler oder Aktivitäten außerhalb des erwarteten Musters. Die eigene Einschätzung eines Modells über seine Zuverlässigkeit kann zur Überwachung beitragen, sie kann aber nicht die einzige Absicherung sein. Manche Fehler sind gerade die, die der Agent selbst nicht erkennt.
Eine Fallstudie aus dem Jahr 2026 in der Harvard Data Science Review zeigt, wie das im operativen Geschäft funktioniert. Das dort beschriebene System für das Lieferkettenmanagement setzt mehrere Agenten ein, um Bestellungen zu überwachen, fehlende oder nicht übereinstimmende Informationen zu erkennen und mit internen Teams, Lieferanten und Spediteuren zu kommunizieren. Ausnahmen werden zur Prüfung durch Manager erfasst, während einmalige manuelle Korrekturen deren Genehmigung vorbehalten bleiben. Routineüberwachung und -kommunikation können kontinuierlich ablaufen, während Entscheidungen, die weiteren Eingriff erfordern, unter menschlicher Kontrolle bleiben. AI Agents Are Transforming Decision Making: What Leaders Should Know beschreibt diese Anordnung.
Die entscheidende Entwurfsentscheidung betrifft die Frage, wo das System seine operativen Grenzen zieht. Ein unerwartetes Ergebnis verlangt nicht zwangsläufig, jeden an einer Aufgabe beteiligten Agenten abzuschalten. Es kann genügen, eine bestimmte Aktualisierung oder Korrektur zu verhindern, bis die zugrunde liegenden Informationen geprüft wurden.
Einen Agenten zu unterbrechen sollte nicht automatisch bedeuten, den gesamten Prozess zu beenden. Die angemessene Reaktion hängt davon ab, was passiert ist und wie schwerwiegend die Anomalie ist. Ein gewöhnlicher Werkzeugfehler kann eine Pause und erneute Bewertung verlangen. Ein vermuteter Eingriff in den Kontext des Agenten kann erfordern, seine Session zu isolieren. Der Versuch, eine Aktion außerhalb seiner Befugnis auszuführen, kann es nötig machen, die betreffenden Berechtigungen vollständig zu deaktivieren.
Der Singapore Consensus empfiehlt ausdrücklich ein abgestuftes Eingreifen, von Drosselung und Pause über Isolierung bis zur vollständigen Beendigung. Er benennt zudem die Fähigkeit, einen Agenten während der Ausführung umzulenken, ohne den gesamten Workflow zu beenden, als wichtige technische Anforderung.
Diese Unterscheidung gewinnt an Gewicht, sobald ein Agent bereits gehandelt hat. Die weitere Ausführung zu stoppen macht eine Datensatzänderung nicht rückgängig, ruft keine Nachricht zurück und annulliert keine externe Transaktion. Diese Wirkungen müssen gesondert berücksichtigt werden. Das System sollte einen verlässlichen Nachweis abgeschlossener Aktionen führen, noch ausstehende Vorgänge identifizieren und geprüfte Rollback- oder Korrekturverfahren bereitstellen, wo eine Umkehrung möglich ist. Der Bericht betont, dass die Verantwortung für den Eingriff sich darauf erstreckt, die Wirkungen des Agenten auf seine Umgebung zu beheben, und sich nicht darin erschöpft, seine Ausführung zu beenden.
Ein brauchbarer Kontrollmechanismus muss daher den Zustand des Workflows im Moment der Unterbrechung erfassen. Es sollte klar sein, welche Aktionen abgeschlossen, welche gestoppt wurden und welche Systeme möglicherweise bereits betroffen sind. Andernfalls hält ein Betreiber den Agenten an und hinterlässt dabei unvollständige Änderungen, die weitere Probleme schaffen.
Sobald ein Agent angehalten wurde, stellt sich die Frage, ob er sicher fortfahren kann. Die Antwort hängt davon ab, warum er gestoppt wurde und ob die Bedingungen, die die Unterbrechung ausgelöst haben, geklärt sind.
Eine Person, die die Lage prüft, kann eine bestimmte Aktion genehmigen, fehlende Informationen bereitstellen, die Berechtigungen des Agenten ändern oder entscheiden, dass die Aufgabe aufgegeben werden soll. Jede Genehmigung sollte sich auf die geprüfte Aktion und die geprüften Bedingungen beziehen. Eine allgemeine Anweisung zur Fortsetzung kann einem Agenten mehr Spielraum geben, als die Person beabsichtigt hat, besonders dann, wenn sein ursprünglicher Plan den aktuellen Stand der Aufgabe nicht mehr abbildet.
Vor dem Fortfahren muss das System feststellen, dass die relevanten Informationen verlässlich sind, die erforderlichen Berechtigungen weiterhin gültig sind und die nächste Aktion innerhalb des überarbeiteten Rahmens liegt. Haben sich die Umstände wesentlich geändert, muss der Agent möglicherweise seinen Plan neu bewerten, statt von einem früheren Punkt aus fortzufahren, als wäre nichts geschehen.
Die menschliche Aufsicht muss auch dem Arbeitsvolumen gerecht werden, das Agenten bewältigen können. Der Singapore Consensus beschreibt mehrere einander ergänzende Ansätze, darunter Genehmigungs-Checkpoints, Überwachung während der Ausführung, Stapelprüfungen und KI-gestützte Aufsicht. Das Maß der direkten Beteiligung kann die Art der Aufgabe und die nachgewiesene Zuverlässigkeit des Agenten widerspiegeln. Ein Agent, der durchgängig innerhalb seiner definierten Bedingungen arbeitet, benötigt für Routineaktionen möglicherweise weniger Genehmigungen. Wiederholte Ausnahmen, unerwartetes Verhalten oder häufige menschliche Overrides sollten eine Überprüfung seiner Berechtigungen und seiner Betriebsannahmen auslösen.
Die KI-Verordnung (Verordnung (EU) 2024/1689) macht Interruptibility zu einer ausdrücklichen Anforderung für Hochrisiko-KI-Systeme in ihrem Anwendungsbereich. Nach Artikel 14 müssen die Personen, die mit der Aufsicht über diese Systeme betraut sind, in deren Betrieb eingreifen oder sie über einen Stoppknopf oder ein gleichwertiges Verfahren unterbrechen können, das das System in einen sicheren Zustand überführt. Die Pflicht gilt für Hochrisiko-Systeme im Anwendungsbereich der Verordnung, nicht für jeden KI-Agenten, den ein Unternehmen einsetzt. Was die KI-Verordnung tatsächlich reguliert erläutert den Umfang dieser Anforderungen.
Ein KI-Agent sollte anhalten, wenn sich seine Betriebsbedingungen geändert haben, seine Aktionen über die ihm erteilte Befugnis hinausgehen oder eine Fortsetzung zulassen würde, dass ein Fehler weitere Folgen erzeugt. Diese Pause muss unabhängig vom Agenten durchsetzbar sein, einen genauen Nachweis des bereits Geschehenen bewahren und dem Unternehmen die Kontrolle über das Weitere geben. Die Fähigkeit, einen Agenten zu stoppen, ist Teil des Betriebsentwurfs des Systems und muss auch dann wirksam bleiben, wenn der Agent selbst sich nicht mehr wie erwartet verhält.