Anbieter zum Thema

Hyland Software Germany GmbH

Materna Information & Communications SE

Mein Videotermin Suite | Voigtmann GmbH

veenion GmbH

KI-Agenten sind keine Black Boxes

Ein tragfähiges Denkmodell für künstliche Intelligenz besteht darin, KI-Agenten wie digitale Knowledge Worker zu behandeln. Ein menschlicher Sachbearbeiter verfügt über klar definierte Zuständigkeiten, Rollen und Zugriffsrechte, arbeitet innerhalb eines geregelten Prozessrahmens und unterliegt fachlicher Aufsicht.

Agentic AI Hub

Deutschland startet Pilotprojekte für KI-Agenten in der Verwaltung

Überträgt man dieses Prinzip auf agentenbasierte KI-Lösungen, wird deutlich, dass auch sie nicht als autonome Black Boxes agieren dürfen. Sie benötigen klar abgegrenzte Rechte, definierte Interaktionspfade mit Fachverfahren, Kontrolle und eine vollständige Nachvollziehbarkeit jeder ihrer Aktionen. Jede Datenabfrage, jede Prozessauslösung und jede Entscheidungsvorbereitung muss auditierbar sein. Nur so lässt sich die im AI Act geforderte menschliche Aufsicht umsetzen.

In der Praxis ergibt sich zunehmend eine gemischte Arbeitsumgebung, in der menschliche und digitale Akteure eng zusammenarbeiten. KI-Agenten übernehmen dabei unterstützende Aufgaben, während Verantwortung, fachliche Bewertung und letztliche Entscheidung weiterhin bei menschlichen Mitarbeitenden verbleiben.

Architektur entscheidet über Steuerungsfähigkeit

Für CIOs, IT-Leiter und Digitalverantwortliche bedeutet dies, dass Architekturfragen weiter an strategischer Bedeutung gewinnen. Systems of Record – also die führenden Fachverfahren und Register – bleiben die maßgeblichen Quellen rechtsverbindlicher Informationen. Agentische Komponenten dürfen diese Systeme nicht umgehen, sondern müssen kontrolliert mit ihnen interagieren.

Gleichzeitig ist eine klare Trennung zwischen Datenebene und Modelleinsatz erforderlich. Sensible Verwaltungsdaten dürfen weder unkontrolliert in Trainingsprozesse externer Modelle einfließen noch außerhalb definierter Infrastruktur verarbeitet werden. Fragen der Datenlokalisierung, der Protokollierung und der vertraglich abgesicherten Audit-Rechte sind keine Detailfragen der IT, sondern zentrale Elemente staatlicher Steuerungsfähigkeit.

Die Architektur vieler Verwaltungslandschaften entwickelt sich derzeit in Richtung hybrider Strukturen, in denen Fachverfahren, Dokumentenmanagementsysteme und Register miteinander verbunden werden. Agentische Komponenten fungieren dabei nicht als Ersatz dieser Systeme, sondern als orchestrierende Ebene, die Informationen kontextbezogen zusammenführt. Entscheidend ist, dass diese Interaktionen klar gesteuert werden und keine parallelen Datenstrukturen entstehen, die die Nachvollziehbarkeit administrativer Entscheidungen gefährden könnten.

Mit zunehmendem Einsatz agentischer Systeme entstehen zudem neue Anforderungen an deren Management. Ähnlich wie bei menschlichen Mitarbeitenden müssen Zuständigkeiten, Berechtigungen, Leistungsüberwachung und Lebenszyklen der Systeme klar definiert sein. Governance umfasst damit nicht nur technische Kontrolle, sondern auch organisatorische Strukturen für den verantwortungsvollen Betrieb solcher Systeme.

Organisation und Verantwortung

Technische Maßnahmen allein reichen nicht aus. Der AI Act verpflichtet Organisationen dazu, ausreichende KI-Kompetenz sicherzustellen. Verantwortlichkeiten müssen definiert, Risiken bewertet und eingesetzte Systeme dokumentiert werden. Ein strukturiertes KI-Verzeichnis kann Transparenz über Risikoklassifizierungen und Einsatzbereiche schaffen.

Verwaltungsentscheidungen sind überprüfbar, anfechtbar und politisch sensibel. Auch wenn KI-Agenten unterstützende Aufgaben übernehmen, verbleibt die Verantwortung bei der öffentlichen Hand. Es muss jederzeit nachvollziehbar sein, auf welcher Datengrundlage gehandelt wurde, welche Entscheidungslogik zur Anwendung kam und wie menschliche Kontrolle konkret sichergestellt war. Transparenz ist damit nicht nur regulatorische Pflicht, sondern Voraussetzung demokratischer Legitimation.

Governance als strategischer Hebel

Vor diesem Hintergrund wird deutlich, dass Governance keine nachgelagerte Kontrollinstanz ist. Sie bildet die architektonische Grundlage für nachhaltige Automatisierung. Wer agentische KI ohne klare Rollenmodelle, Zugriffskonzepte und Audit-Strukturen implementiert, riskiert langfristige Unsicherheit und eingeschränkte Skalierbarkeit.

Umgekehrt ermöglichen belastbare Governance-Strukturen eine kontrollierte Integration neuer Technologien in bestehende Verwaltungsprozesse. Sie schaffen die Voraussetzung dafür, dass Innovation nicht isoliert bleibt, sondern strukturell verankert wird.

Schlussfolgerung: Modernisierung braucht Struktur

Der Modernisierungsdruck, der am Anfang vieler Digitalisierungsinitiativen steht, lässt sich nicht durch Geschwindigkeit allein beantworten. Gerade im öffentlichen Sektor entscheidet nicht die rasche Einführung neuer Technologien über Erfolg oder Misserfolg, sondern deren strukturelle Einbettung.

Agentische KI kann Prozesse beschleunigen und Ressourcen freisetzen. Doch im regulierten Umfeld staatlichen Handelns ist Automatisierung kein Selbstzweck. Sie muss eingebettet sein in klare Zuständigkeiten, transparente Datenflüsse und überprüfbare Entscheidungslogiken.

Wer Governance von Beginn an mitdenkt, schafft die Grundlage dafür, dass aus technologischem Potenzial eine belastbare Modernisierungsstrategie wird. Nicht die Geschwindigkeit der Einführung entscheidet, sondern die Stabilität der Struktur.

Systematische Modernisierung

Agentische KI-Systeme in der behördlichen Softwareentwicklung

(ID:50786799)