Wenn die öffentliche Verwaltung KI souverän einsetzen will, muss sie mehr kontrollieren als nur den Speicherort ihrer Daten. Entscheidend sind Modell, Infrastruktur, Schnittstellen und die Möglichkeit, Abhängigkeiten wieder zu lösen. Genau hier wird es im föderalen Deutschland kompliziert.
Eine souveräne Infrastruktur macht aus schlechten Verwaltungsdaten noch keine gute KI.
(Bild: Gemini / KI-generiert)
Souveränität war in der IT lange vergleichsweise einfach zu erklären: Wo liegen die Daten? Wer betreibt die Infrastruktur? Wer hat Zugriff? Mit der Verbreitung von künstlicher Intelligenz reicht diese Perspektive jedoch nicht mehr aus. Ein Sprachmodell kann Daten innerhalb einer kontrollierten Umgebung verarbeiten und trotzdem eine strategische Abhängigkeit erzeugen, beispielsweise wenn zentrale Funktionen, Modellparameter, Updates, Schnittstellen oder der Betrieb von einem einzelnen Anbieter abhängen.
Für die öffentliche Verwaltung ist das mehr als eine technische Detailfrage. KI greift zunehmend direkt in Verwaltungsprozesse ein, indem sie Dokumente klassifiziert, Informationen aus Anträgen extrahiert, nach ähnlichen Fällen sucht, Entscheidungsvorlagen erstellt oder bei der Kommunikation mit den Bürgerinnen und Bürgern unterstützt. Je näher ein System an einen Verwaltungsakt oder eine hoheitliche Entscheidung rückt, desto größer werden die Anforderungen an Nachvollziehbarkeit, Kontrolle und Verlässlichkeit.
Die Verwaltung experimentiert längst
Dabei wäre es falsch, die öffentliche Verwaltung als KI-Nachzügler darzustellen. Im Bund existieren mit Plattformen wie PLAIN oder KIPITZ sowie dem KI-Kompetenz-Center (KI-KC) bereits verschiedene Ansätze, um die Entwicklung und Nutzung von KI unter kontrollierten Bedingungen zu ermöglichen. Auch Datenlabore beschäftigen sich schon lange mit Anwendungsfällen, bei denen maschinelles Lernen und KI eine zentrale Rolle spielen. In der Justiz wiederum gibt es Anwendungen, die standardisierte Fälle automatisiert voranalysieren und damit Sachbearbeitende entlasten.
Der entscheidende Punkt ist jedoch die Skalierung. Was auf Bundesebene als Plattform aufgebaut wird, steht einer Kommune nicht automatisch zur Verfügung. Zuständigkeiten, Finanzierung, Betrieb und Nachnutzung sind im föderalen System nicht nur technische Fragen. Genau darin liegt eine der größten Bremsen für souveräne KI. Denn viele Verwaltungsprobleme sind strukturell ähnlich. Tausende Kommunen bearbeiten vergleichbare Anträge, Dokumente und Bürgeranfragen. Wenn jede Verwaltung dafür eigene Modelle, Datenpipelines und Betriebsumgebungen entwickelt, entsteht das Gegenteil von Souveränität: ein Flickenteppich aus Lösungen, die teuer zu warten und schwer miteinander zu verbinden sind.
Souveränität beginnt vor dem ersten Modell
Unabhängig davon sollte den IT-Verantwortlichen in der öffentlichen Verwaltung ein Punkt klar sein: Die Entscheidung für ein KI-Modell darf nicht am Anfang eines Projekts stehen. Zunächst muss geklärt werden, welche Abhängigkeiten akzeptabel sind. Dazu gehören mindestens fünf Ebenen:
Daten,
Modell,
Infrastruktur,
Schnittstellen und
Betrieb.
Bei den Daten geht es nicht nur um Datenschutz und Speicherort, sondern auch um Herkunft, Qualität, Zugriffsrechte und Wiederverwendbarkeit. Beim Modell stellt sich die Frage, ob ein proprietäres Frontier-Modell tatsächlich erforderlich ist oder ob ein kleineres, spezialisiertes beziehungsweise offenes Modell den Anwendungsfall nicht ebenso gut erfüllt.
Auch die Inferenzumgebung ist relevant. Kann das Modell in einer kontrollierten Umgebung betrieben werden? Lassen sich Komponenten austauschen? Sind Daten und Modellkonfigurationen portabel? Und kann die Verwaltung das Betriebsmodell später ändern, ohne die gesamte Anwendung neu bauen zu müssen? Diese Fragen sollten als architektonische Leitplanken feststehen, bevor Entwickler mit der Auswahl immer neuer Tools beginnen. Das heißt: KI-Projekte dürfen nicht zur technologischen Spielwiese werden. Ansonsten wird irgendwann nicht mehr die Fachanwendung optimiert, sondern eine selbst gebaute Plattform aus zahlreichen Einzelkomponenten gepflegt.
Für viele Aufgaben ist kleiner besser
Gerade die Modellfrage wird oft zu eindimensional betrachtet. Ein leistungsfähigeres Modell ist nicht automatisch die bessere Lösung. So kann für die Klassifikation eingehender Dokumente, die Extraktion definierter Informationen oder die Unterstützung bei standardisierten Verwaltungsprozessen ein kleineres, spezialisiertes Modell ausreichend sein. Das hat nicht nur Kosten- und Performancevorteile: Ein klar abgegrenztes Modell lässt sich leichter kontrollieren, evaluieren und gegebenenfalls in einer eigenen Umgebung betreiben, was bei sensiblen Verwaltungsdaten notwendig sein kann.
Stand: 08.12.2025
Es ist für uns eine Selbstverständlichkeit, dass wir verantwortungsvoll mit Ihren personenbezogenen Daten umgehen. Sofern wir personenbezogene Daten von Ihnen erheben, verarbeiten wir diese unter Beachtung der geltenden Datenschutzvorschriften. Detaillierte Informationen finden Sie in unserer Datenschutzerklärung.
Einwilligung in die Verwendung von Daten zu Werbezwecken
Ich bin damit einverstanden, dass die Vogel IT-Medien GmbH, Max-Josef-Metzger-Straße 21, 86157 Augsburg, einschließlich aller mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen (im weiteren: Vogel Communications Group) meine E-Mail-Adresse für die Zusendung von Newslettern und Werbung nutzt. Auflistungen der jeweils zugehörigen Unternehmen können hier abgerufen werden.
Der Newsletterinhalt erstreckt sich dabei auf Produkte und Dienstleistungen aller zuvor genannten Unternehmen, darunter beispielsweise Fachzeitschriften und Fachbücher, Veranstaltungen und Messen sowie veranstaltungsbezogene Produkte und Dienstleistungen, Print- und Digital-Mediaangebote und Services wie weitere (redaktionelle) Newsletter, Gewinnspiele, Lead-Kampagnen, Marktforschung im Online- und Offline-Bereich, fachspezifische Webportale und E-Learning-Angebote. Wenn auch meine persönliche Telefonnummer erhoben wurde, darf diese für die Unterbreitung von Angeboten der vorgenannten Produkte und Dienstleistungen der vorgenannten Unternehmen und Marktforschung genutzt werden.
Meine Einwilligung umfasst zudem die Verarbeitung meiner E-Mail-Adresse und Telefonnummer für den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern wie z.B. LinkedIN, Google und Meta. Hierfür darf die Vogel Communications Group die genannten Daten gehasht an Werbepartner übermitteln, die diese Daten dann nutzen, um feststellen zu können, ob ich ebenfalls Mitglied auf den besagten Werbepartnerportalen bin. Die Vogel Communications Group nutzt diese Funktion zu Zwecken des Retargeting (Upselling, Crossselling und Kundenbindung), der Generierung von sog. Lookalike Audiences zur Neukundengewinnung und als Ausschlussgrundlage für laufende Werbekampagnen. Weitere Informationen kann ich dem Abschnitt „Datenabgleich zu Marketingzwecken“ in der Datenschutzerklärung entnehmen.
Falls ich im Internet auf Portalen der Vogel Communications Group einschließlich deren mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen geschützte Inhalte abrufe, muss ich mich mit weiteren Daten für den Zugang zu diesen Inhalten registrieren. Im Gegenzug für diesen gebührenlosen Zugang zu redaktionellen Inhalten dürfen meine Daten im Sinne dieser Einwilligung für die hier genannten Zwecke verwendet werden. Dies gilt nicht für den Datenabgleich zu Marketingzwecken.
Recht auf Widerruf
Mir ist bewusst, dass ich diese Einwilligung jederzeit für die Zukunft widerrufen kann. Durch meinen Widerruf wird die Rechtmäßigkeit der aufgrund meiner Einwilligung bis zum Widerruf erfolgten Verarbeitung nicht berührt. Um meinen Widerruf zu erklären, kann ich als eine Möglichkeit das unter https://contact.vogel.de abrufbare Kontaktformular nutzen. Sofern ich einzelne von mir abonnierte Newsletter nicht mehr erhalten möchte, kann ich darüber hinaus auch den am Ende eines Newsletters eingebundenen Abmeldelink anklicken. Weitere Informationen zu meinem Widerrufsrecht und dessen Ausübung sowie zu den Folgen meines Widerrufs finde ich in der Datenschutzerklärung.
Dadurch verändert sich auch die Architektur moderner KI-Anwendungen. Anstatt ein einziges großes Modell für möglichst viele Aufgaben einzusetzen, kann eine Verwaltung verschiedene Modelle für verschiedene Domänen betreiben – etwa für Sozialleistungen, das Meldewesen oder die interne Dokumentenverarbeitung. Entscheidend ist die Kombination aus Modellfähigkeit, Datenbasis, Risiko und gewünschtem Souveränitätsgrad.
Der eigentliche Rohstoff bleibt die Datenbasis
Eine souveräne Infrastruktur macht aus schlechten Verwaltungsdaten noch keine gute KI. Viele Fachverfahren sind historisch gewachsen, die Daten liegen in unterschiedlichen Formaten vor, es gibt verschiedene Zuständigkeiten, Schnittstellen fehlen oder sie sind proprietär. Genau hier entscheidet sich, ob KI später skalieren kann. Deshalb gehört ein belastbares Datenmanagement zum Kern jeder KI-Strategie. Daten müssen auffindbar, zugänglich, interoperabel und – soweit rechtlich zulässig – wiederverwendbar sein. Metadaten, Berechtigungen, Datenqualität und Herkunft müssen nachvollziehbar dokumentiert werden. Das ist weniger spektakulär als ein neuer KI-Assistent, aber strategisch wichtiger. Denn wer seine Daten nicht kontrolliert, kontrolliert auch die darauf aufbauende KI nur eingeschränkt.
Besonders sensibel wird diese Frage bei Entscheidungen mit unmittelbaren Auswirkungen auf Bürgerinnen und Bürger. KI kann Anträge vorsortieren, Dokumente analysieren, ähnliche Fälle identifizieren oder Textbausteine vorbereiten. Die eigentliche Sachentscheidung darf daraus jedoch nicht zu einer Blackbox werden. Gerade erfahrene Beschäftigte verfügen über Kontextwissen, das sich nicht ohne Weiteres in Trainingsdaten übersetzen lässt. Ein Verwaltungsmitarbeiter kennt beispielsweise die Besonderheiten eines Falls oder erkennt, dass eine formal korrekte Entscheidung praktisch unangemessen wäre.
Dieses Wissen ist Bestandteil staatlicher Handlungsfähigkeit. Deshalb darf „Human in the Loop“ nicht nur als Kontrollinstanz verstanden werden, sondern als elementarer Bestandteil der Systemarchitektur. Zuständigkeiten, Eskalationswege, Protokollierung und Eingriffsmöglichkeiten müssen bereits bei der Entwicklung definiert werden.
Souveränität setzt eine Alternative zur Schatten-KI voraus
Eine weitere Schwachstelle liegt innerhalb der Organisation. Beschäftigte nutzen generative KI längst für Recherche, das Erstellen von Zusammenfassungen oder das Formulieren von Texten. Werden dafür nicht genehmigte Dienste verwendet, entsteht sogenannte Schatten-KI. Dieses Problem lässt sich allerdings nicht allein mit Verboten lösen. Wenn ein nicht freigegebenes Werkzeug einen konkreten Arbeitsprozess erheblich beschleunigt, wird es trotz Richtlinien attraktiv bleiben. Die bessere Antwort ist eine kontrollierte Alternative: offiziell erlaubte Modelle, definierte Datenklassen, klare Nutzungsregeln und technische Schutzmechanismen.
Gleichzeitig muss die Verwaltung eigenes Know-how aufbauen. Wer KI dauerhaft nur über externe Beratung beherrschen lässt, bleibt abhängig – selbst dann, wenn die eingesetzte Technologie offen ist. Dies betrifft allerdings nicht nur die Entwickler. Auch Führungskräfte müssen verstehen, welche Entscheidungen mit einem Modell verbunden sind, welche Risiken entstehen und welche Abhängigkeiten die gewählte Architektur erzeugt.
„Einer für alle“ statt 13.000 KI-Inseln
Das OZG (Onlinezugangsgesetz) hat bereits gezeigt, wie schwer das EfA-Prinzip bei deterministischer Software in Deutschland umzusetzen ist. Bei probabilistischen KI-Modellen ist dies ungleich schwerer: Modelle müssen lokal mit spezifischen Daten feingetunt werden (etwa landesspezifisches Kommunalrecht), was das Konzept „ein Modell für alle“ stark relativiert. Auf Architektur-Ebene entsteht dadurch ein neues Problem: das sogenannte Model- und ML-Operations-Management (MLOps).
Souveräne KI bedeutet aber nicht, dass jede Behörde ihr eigenes Rechenzentrum und ihr eigenes Sprachmodell braucht. Im Gegenteil: Eine gemeinsam betriebene, offene und portierbare Infrastruktur kann souveräner sein als eine isolierte Eigenentwicklung. Die entscheidende Frage lautet am Ende also nicht, ob eine Verwaltung KI selbst entwickelt. Vielmehr muss sie jederzeit wissen, welche Abhängigkeiten sie eingeht, welche davon kritisch sind und ob sie notfalls den Stecker ziehen kann. Echte Souveränität erfordert zudem nicht nur die technische Möglichkeit zur Abschaltung (Exit-Strategie), sondern eine sofort verfügbare Rückfall-Ebene (Fall-back), um die Handlungsfähigkeit des Staates aufrechtzuerhalten.
Der Autor Christof Orth ist Director Sales, German Federal and Local States Government and Health Care bei Red Hat.