Zwischen Hype und Haftung

Über Handlungskorridore, Human Oversight und die Frage, wie wir Systemen Handlungsmacht geben, ohne Verantwortung zu automatisieren.

Der Agent kann es. Aber darf er es auch?

Unser Verpackungsagent hat inzwischen einiges gelernt.

Er kann:

Dokumente finden.

Versionen vergleichen.

fehlende Nachweise erkennen.

Lieferanten kontaktieren.

Verpackungsvarianten berechnen.

Entscheidungsvorlagen erzeugen.

Technisch wäre es nur ein kleiner Schritt, ihm noch mehr Rechte zu geben.

Er könnte eine neue Verpackung als Standard setzen.

Eine regulatorische Klassifikation speichern.

Eine Erklärung erzeugen und versenden.

Warum also nicht?

Weil technische Fähigkeit und organisatorische Berechtigung zwei vollkommen verschiedene Dinge sind.

**Die entscheidende Frage agentischer Governance lautet nicht: Was kann das System? Sondern: Was darf dieses System in dieser Situation mit welchen möglichen Folgen tun?**

Risiko steckt im Verwendungskontext

In vielen KI-Debatten wird Risiko behandelt, als sei es eine Eigenschaft des Modells.

Ein Modell ist sicher.

Oder unsicher.

Leistungsfähig.

Oder weniger leistungsfähig.

Für Organisationen reicht diese Betrachtung nicht.

Dasselbe Modell kann:

eine interne Zusammenfassung erzeugen,

einen Wartungsvertrag analysieren,

eine Personalentscheidung vorbereiten,

eine größere Bestellung auslösen

oder eine technische Anlage beeinflussen.

Das Modell kann identisch sein.

Das Risiko ist es nicht.

Entscheidend ist der Verwendungskontext:

Welche Daten werden verwendet?

Welche Menschen sind betroffen?

Welche Entscheidung wird beeinflusst?

Welche Werkzeuge besitzt das System?

Welche Folgen kann ein Fehler haben?

Kann die Handlung rückgängig gemacht werden?

Gibt es eine wirksame Möglichkeit zum Eingreifen?

Auch der europäische AI Act folgt grundsätzlich einem risikobasierten Ansatz und unterscheidet Pflichten nach Systemtyp und Verwendung. Seit 2. August 2026 gilt der AI Act grundsätzlich; durch den im Juli 2026 in Kraft getretenen AI Omnibus wurden zentrale Anforderungen für die in Annex III erfassten High-Risk-Systeme auf den 2. Dezember 2027 und für bestimmte in regulierte Produkte eingebettete High-Risk-Systeme auf den 2. August 2028 verschoben.^[1]

Das ist für unser Organisationsmodell wichtig.

Nicht jeder Agent ist automatisch High Risk.

Und umgekehrt ist nicht jede rechtlich zulässige Automatisierung organisatorisch klug.

Das Recht definiert Anforderungen.

Die Organisation muss zusätzlich entscheiden, welche Risiken sie selbst akzeptieren will.

Ein Lieferantennachweis ist nicht dasselbe wie eine Freigabe

Im Porzellanfall fehlt ein aktueller Nachweis für Klebeband KT-17.

Der Agent kennt:

den Lieferanten,

die Komponente,

das fehlende Dokument,

den Kommunikationsweg

und die zulässige Aktion.

Er darf deshalb selbstständig eine Anfrage versenden.

Das Risiko ist begrenzt.

Der Vorgang ist nachvollziehbar.

Die Handlung kann korrigiert werden.

Anders sieht es wenige Schritte später aus.

Der Agent versucht, anhand der Vertriebsunterlagen die regulatorische Rolle der Manufaktur im deutschen Markt zu bestimmen.

Der Vertrag ist uneindeutig.

Mehrere Interpretationen erscheinen möglich.

Jetzt darf das System nicht einfach die wahrscheinlichste Variante wählen und weiterarbeiten.

Es stoppt.

Status

Regulatorische Einordnung nicht abschließend bestimmbar

Grund

Die vorhandenen Vertrags- und Vertriebsinformationen reichen für eine belastbare Klassifikation nicht aus.

Aktion

Eskalation an fachlich verantwortliche Stelle.

Dasselbe System.

Dasselbe Modell.

Zwei verschiedene Handlungsspielräume.

Genau darum geht es bei Governance.

Human in the Loop ist kein Zauberwort

Eine beliebte Antwort auf solche Risiken lautet:

Problem gelöst.

So einfach ist es nicht.

Ein Mensch kann nur sinnvoll kontrollieren, wenn er:

versteht, was das System getan hat,

die verwendeten Informationen sehen kann,

ausreichend Zeit besitzt,

die notwendige Fachkompetenz hat,

wirklich widersprechen darf,

und seine Entscheidung tatsächlich Wirkung besitzt.

Ein Freigabeknopf allein erzeugt keine menschliche Aufsicht.

Wenn ein Mensch hunderte automatisch erzeugte Entscheidungen am Tag nur bestätigen soll, kann der formale Kontrollmechanismus selbst zur Fiktion werden.

Der aktuell konsolidierte AI Act formuliert für High-Risk-Systeme Human Oversight ausdrücklich als wirksame Aufsicht durch natürliche Personen. Diese sollen unter anderem Fähigkeiten und Grenzen des Systems verstehen, Automation Bias berücksichtigen, Outputs interpretieren, Ergebnisse übergehen oder umkehren und gegebenenfalls das System stoppen können.^[2]

Das ist bemerkenswert nah an unserer organisatorischen Perspektive.

Merksatz Human in the Loop ist nur dann Governance, wenn der Mensch verstehen, widersprechen und wirksam eingreifen kann.

Marek, der die Verpackungsempfehlung ablehnt, erfüllt genau diese Funktion.

Er ist kein Unterschriftenautomat.

Er hat eine fachliche Rolle.

Autonomie ist kein Schalter

Klassische Governance arbeitet häufig binär.

Freigegeben.

Nicht freigegeben.

Automatisiert.

Manuell.

Agentische Systeme erlauben eine präzisere Gestaltung.

Ein Agent kann:

aus bestimmten Quellen selbstständig lesen,

Dokumente vorbereiten,

eine fehlende Unterlage anfordern,

innerhalb klarer Grenzen Daten verändern,

bei Grenzwerten eskalieren,

oder bei sensiblen Entscheidungen ausschließlich eine Vorlage erzeugen.

Autonomie ist deshalb kein Schalter.

Sie ist ein Handlungskorridor.

Fünf Dimensionen des Handlungskorridors

Wie weit dieser Korridor sein darf, hängt von fünf Fragen ab.

Wirkung

Was passiert, wenn das System falsch liegt?

Ein falscher interner Entwurf besitzt andere Folgen als eine falsche regulatorische Einordnung.

Handlungsmacht

Kann das System nur informieren?

Oder Daten verändern, Nachrichten versenden, Geld bewegen oder Prozesse auslösen?

Reversibilität

Kann die Aktion zurückgenommen werden?

Oder entstehen sofort reale Konsequenzen?

Unsicherheit

Wie eindeutig ist die Situation?

Sind Daten und Regeln klar?

Oder existieren Widersprüche und Interpretationsspielräume?

Betroffenheit

Wer trägt die Folgen?

Ein interner Arbeitsstand?

Ein Kunde?

Ein Beschäftigter?

Viele Menschen?

Eine sicherheitskritische Umgebung?

Je kritischer diese Dimensionen werden, desto enger sollte der Handlungskorridor sein.

Ciferecigo Perspektive Autonomie wird nicht danach vergeben, wie leistungsfähig ein Modell ist. Sie wird danach gestaltet, welche Folgen ein Fehler haben kann.

Vier Stufen agentischer Handlungsmacht

Daraus entsteht ein einfaches Betriebsmodell.

Stufe 1 – Informieren

Der Agent liest, sucht, analysiert oder fasst zusammen.

Er verändert nichts außerhalb seines Arbeitskontexts.

Porzellanfall: Relevante Verpackungsinformationen und regulatorische Quellen finden.

Stufe 2 – Vorbereiten

Der Agent erzeugt einen Arbeitsstand oder eine Empfehlung.

Ein Mensch entscheidet über die weitere Verwendung.

Porzellanfall: Eine alternative Verpackungsgeometrie berechnen und eine Entscheidungsvorlage erzeugen.

Stufe 3 – Begrenzt handeln

Der Agent darf eine definierte Aktion selbstständig ausführen.

Werkzeuge, Daten und Bedingungen sind begrenzt.

Porzellanfall: Den fehlenden Lieferantennachweis automatisch anfordern und eine Wiedervorlage setzen.

Stufe 4 – Kritische Handlung vorbereiten

Die Ausführung benötigt jedoch qualifizierte menschliche Freigabe.

Porzellanfall: Eine neue Verpackung produktiv freigeben oder eine regulatorisch relevante Einordnung verbindlich übernehmen.

Das Modell ist keine Reifegradleiter.

Stufe 4 ist nicht „fortschrittlicher“ als Stufe 2.

Für viele Prozesse ist Informieren oder Vorbereiten genau die richtige Form von Agentik.

Die beste Agentenarchitektur ist nicht die mit der höchsten Autonomie. Sie ist die mit dem passendsten Handlungskorridor.

Stoppen ist eine Handlung

Bei Agentik denken wir häufig an das, was ein System tut.

Vielleicht ist eine seiner wichtigsten Funktionen aber:

nicht weiterzumachen.

Wenn Informationen fehlen.

Wenn Quellen widersprüchlich sind.

Wenn eine Aktion außerhalb der Berechtigung liegt.

Wenn Unsicherheit einen definierten Grenzwert überschreitet.

Wenn der Vorgang eine höhere Risikoklasse erreicht.

Dann muss das System den Prozess kontrolliert anhalten.

Ein Stop ist kein Versagen.

Er ist eine Governance-Aktion.

Diese Perspektive verändert das Design.

Ein Agent wird nicht nur auf erfolgreiche Ausführung getestet.

Er muss ebenso beweisen, dass er Grenzen erkennt.

Governance muss ausführbar werden

Viele Organisationen besitzen mittlerweile KI-Grundsätze.

Transparenz.

Fairness.

Verantwortung.

Menschliche Kontrolle.

Das sind wichtige Prinzipien.

Aber ein Agent kann mit ihnen allein wenig anfangen.

Governance muss in ausführbare Regeln übersetzt werden.

Zum Beispiel:

Dieser Agent darf diese Daten lesen.

Diese Daten sind ausgeschlossen.

Diese Quelle besitzt für diese Frage Vorrang.

Dieses Werkzeug darf eingesetzt werden.

Diese Aktion ist innerhalb dieser Grenze zulässig.

Ab diesem Wert ist Freigabe erforderlich.

Bei widersprüchlichen Quellen muss gestoppt werden.

Jede externe Aktion wird protokolliert.

So wird aus einer Policy eine Governance Architecture.

Von Prinzipien zu Betriebsregeln

Das bedeutet nicht, dass jedes ethische Prinzip vollständig in Code übersetzt werden kann.

Aber es muss organisatorische Konsequenzen besitzen.

Fairness beeinflusst:

Daten,

Tests,

Entscheidungsverfahren,

Monitoring.

Transparenz beeinflusst:

Quellenanzeige,

Protokolle,

Kennzeichnung,

Erklärbarkeit der Systemrolle.

Verantwortung beeinflusst:

Owner,

Freigaberechte,

Eskalationen,

Entscheidungszuordnung.

Sicherheit beeinflusst:

Zugriffe,

Tools,

Stopps,

Wiederherstellung,

Überwachung.

Ethik wird erst dann wirksam, wenn sie technische und organisatorische Konsequenzen hat.

Der Governance-Loop

Operative Governance lässt sich deshalb als Kreislauf verstehen.

Klassifizieren

Was ist der Use Case?

Welche Folgen sind möglich?

Wer ist betroffen?

Welche rechtlichen Rahmenbedingungen gelten?

Begrenzen

Welche Daten, Quellen, Werkzeuge und Aktionen sind erlaubt?

Prüfen

Funktioniert das System innerhalb dieser Grenzen?

Was passiert bei Fehlern, Manipulation oder Unsicherheit?

Beobachten

Was tut das System im realen Betrieb?

Wo entstehen Fehler?

Wo eskaliert es?

Wo widersprechen Menschen?

Eingreifen

Wie wird eine Handlung gestoppt oder korrigiert?

Wer übernimmt?

Wie wird der Vorfall verarbeitet?

Und danach:

Lernen

Müssen Daten, Regeln, Tests oder Handlungskorridor angepasst werden?

Damit entsteht:

Governance darf nicht selbst zur Bürokratie-Falle werden

Hier schließt sich ein Kreis.

Wir wollen Agenten einsetzen, um organisatorische Reibung zu reduzieren.

Und bauen dafür:

AI Boards.

Freigabeformulare.

Risk Assessments.

Modellregister.

Review Committees.

Dokumentationspflichten.

Neue Meetings.

Neue Kontrollen.

Ein Teil davon kann notwendig sein.

Aber gute Governance darf nicht selbst zu jener Bürokratie werden, die wir im ersten Kapitel diagnostiziert haben.

Deshalb sollte auch Governance dieselbe Prüfung durchlaufen:

Welche Kontrolle schützt wirklich?

Welche Koordination kann automatisiert werden?

Welche historische oder doppelte Dokumentation kann verschwinden?

Ein Teil der Governance kann direkt im System entstehen.

Aktionen werden automatisch protokolliert.

Berechtigungen technisch durchgesetzt.

Evaluationen regelmäßig ausgeführt.

Grenzwerte überwacht.

Freigaben nur dort ausgelöst, wo sie tatsächlich notwendig sind.

Die Schutzfunktion bleibt.

Die administrative Last sinkt.

So viel Kontrolle wie nötig

Damit können wir das Verhältnis von Autonomie und Kontrolle präziser formulieren.

Nicht:

Kontrolle oder Vertrauen.

Nicht:

Mensch oder Maschine.

Nicht:

Innovation oder Governance.

Sondern:

**So viel Kontrolle wie nötig. So viel Autonomie wie verantwortbar. So wenig Reibung wie möglich.**

Das ist die Architektur der Verantwortung.

Und sie führt zur nächsten Organisationsfrage.

Denn wenn Agenten unterschiedliche Handlungskorridore besitzen und Menschen unterschiedliche Entscheidungen übernehmen, entsteht zwangsläufig:

eine neue Verteilung von Entscheidungsrechten.

Weiter im Special

Teil 5 – Die Zukunft der Firma

Was passiert mit Führung und Hierarchie, wenn Informationen anders fließen und Menschen, Teams und Agenten unterschiedliche Entscheidungsräume besitzen?

Quellenhinweise