Anbieter zum Thema

cit GmbH

Governikus GmbH & Co. KG

mgm technology partners GmbH

Wann ist meine Kommune anfällig für Prompt-Injection-Attacken?

Verwaltungen sollten sich also bewusst sein: Selbst wenn ein System-Prompt korrekt formuliert ist, kann ein KI-Agent in schwierigen oder unklaren Situationen Wege finden, das Ziel zu erreichen, die mit Compliance, Datenschutz oder politischer Integrität kollidieren. Zugriffe und Aktionen müssen technisch begrenzt, überwacht und bestätigt werden.

Nicht jede Automatisierung ist gleich riskant. Kritisch wird es, wenn mehrere der folgenden Punkte gleichzeitig zutreffen:

• Unkontrollierter Input: Die KI liest Text von außen und zum Beispiel Bürgeranträge mit Freitextfeldern werden ungeprüft an die KI weitergegeben.

• Breite Berechtigungen: Der Agent hat Zugriff auf sensible interne Systeme wie Ratsinformationssystem, Sitzungsunterlagen, Vorlagen im Entwurfsstatus, Fachverfahren mit personenbezogenen Daten, Dokumentenmanagement-Systeme oder Haushaltsdatenbanken

• Offener Rückkanal nach außen: Die KI kann selbständig nach außen Daten übertragen und externer URLs oder Web-APIs aufrufen, E-Mails im Namen der Verwaltung versenden oder einen Browser (z. B. über Browser-Extensions oder „Computer Use“-Funktionen) nutzen.

Eine Studie von Claude zu einem Browser-Pilot beschreibt, dass in internen Tests ohne Sicherheitsmaßnahmen rund ein Viertel gezielter Prompt-Injection-Angriffe erfolgreich waren und erst durch zusätzliche technische und organisatorische Schutzmaßnahmen deutlich reduziert werden konnten. Auch hier zeigt sich: Es reicht nicht, der KI zu „sagen“, sie solle vorsichtig sein. Zugriffe und Aktionen müssen technisch begrenzt, überwacht und bestätigt werden.

Wie kann ich mich davor schützen?

Die gute Nachricht: Viele Risiken von Prompt-Injection lassen sich mit klaren Leitplanken deutlich reduzieren. Gerade in Behörden, die ohnehin mit formalen Prozessen und Rollen arbeiten.

1. Einsatzbereiche klar trennen

No-Code sollte in Behörden dort eingesetzt werden, wo das Risiko überschaubar bleibt und Fehler keine unmittelbaren Auswirkungen auf sensible Daten oder veröffentlichte Inhalte haben. Gut geeignet sind unkritische Szenarien wie Prototypen mit Testdaten, in denen Abläufe zunächst nur simuliert und noch nicht mit echten Bürger- oder Fachverfahrensdaten durchgespielt werden.

Ebenfalls sinnvoll sind interne „Quality-of-Life“-Automatisierungen, die den Arbeitsalltag erleichtern, ohne direkt in Fachverfahren einzugreifen. Dazu gehören etwa Workflows, die E-Mail-Anhänge automatisch in ein Teamlaufwerk verschieben, damit Postfächer übersichtlicher bleiben und Dokumente nicht mehrfach gesucht werden müssen. Auch Benachrichtigungen bei Statuswechseln, wenn zum Beispiel ein Ticket den Bearbeitungsschritt wechselt oder eine Frist abläuft, lassen sich gut mit No-Code lösen. Alles andere gehört klar in die Hände von Entwicklerinnen und Entwicklern – und es braucht eine Security-Architektur.

2. Technische Leitplanken einziehen

Es müssen grundlegende Prinzipien umgesetzt werden, die No-Code- und KI-Lösungen in Verwaltungen sicher machen. Ein zentrales Prinzip ist Isolation: Das zugrunde liegende Sprachmodell sollte möglichst abgeschottet laufen und keinen direkten Vollzugriff auf Datenbanken oder Fachverfahren erhalten, sondern ausschließlich über klar definierte und begrenzte Schnittstellen arbeiten. Damit wird verhindert, dass ein manipulierter Prompt oder eine fehlerhafte Konfiguration unmittelbar auf produktive Systeme durchgreift.

Eng damit verbunden ist das Prinzip „Least Privilege“ und „Human in the Loop“: Ein Agent bekommt nur die Rechte, die er für seinen konkreten Anwendungsfall wirklich benötigt. Insbesondere kritische Aktionen wie Massen-Exporte, Löschvorgänge oder das Versenden von Daten nach außen sollten immer eine ausdrückliche Freigabe durch einen Menschen erfordern. Auf diese Weise bleibt die Verantwortung sichtbar beim Menschen, während die KI die Bearbeitung unterstützt, aber nicht unkontrolliert handelt.

Ein weiterer Baustein ist eine konsequente Ausgehende-Daten-Kontrolle. Verbindungen nach außen werden auf zuvor definierte, erlaubte Ziele beschränkt, zum Beispiel über eine „Allowlist“ von Domains oder Schnittstellen. Genauso wichtig ist Beobachtbarkeit: Alle KI-Aktionen sollten protokolliert werden, einschließlich der Fragen, die an die Systeme gestellt werden, der Abfragen in Fachverfahren und der Ergebnisse, die wohin gesendet werden. So lässt sich im Ernstfall nachvollziehen, wer oder was wann welche Daten bewegt hat.

Fazit: Technisch erzwungenen Sicherheit statt gutem Willen

No-Code-Plattformen und KI-Assistenten bleiben eine gute Option für Tempo, Prototyping und Entlastung in Kommunen und Städten. Aber überall, wo es um sensible Informationen und Verantwortung geht, stoßen diese an ihre Grenzen. Wer mit sensiblen Daten, politischen Prozessen und Bürgervertrauen arbeitet, braucht technische Leitplanken: Isolation, begrenzte Berechtigungen, Kontrolle ausgehender Daten, Beobachtbarkeit und Menschen in der Entscheidungsschleife.

Selbst moderne Modelle treffen unter Druck Entscheidungen, die eher an einen fehlgeleiteten Insider erinnern als an ein neutrales Werkzeug. Wenn Verwaltungen diese Erkenntnisse frühzeitig ernst nehmen, klare Grenzen für No-Code ziehen und KI-Architekturen mit Sicherheitsarchitekturen zusammen denken, werden KI-Assistenten zu verlässlichen Werkzeugen, die den Druck durch Personalmangel und Kostenreduzierung ausgleichen können.

(ID:50660612)