Mobile-Menu

KI-Risiken für Kommunen Alles nur ein Mythos?

Ein Gastkommentar von Prof. Dr. Nicolai Krüger 5 min Lesedauer

Anbieter zum Thema

IBYKUS AG für Informationstechnologie
Fabasoft Deutschland GmbH
NCP engineering GmbH

Neueste KI-Modelle zeigen überraschende Offensiv-Fähigkeiten, das birgt neue Gefahren im Cyberraum. Wie schützen wir unsere kommunale Ebene in dieser Bedrohungslage? Mit dieser Frage beschäftigt sich unser Gastautor, Prof. Dr. Nicolai Krüger. Sein Rat: Lernen von der EZB.

Wenn KI ausbricht: Hugging Face konnte den Angriff durch OpenAI im Juli abwehren, doch wie wäre man in einem Stadtwerk oder einem Rathaus auf einen solchen „beiläufigen“ Angriff vorbereitet gewesen?(Bild: © artestdrawing - stock.adobe.com / KI-generiert)
Wenn KI ausbricht: Hugging Face konnte den Angriff durch OpenAI im Juli abwehren, doch wie wäre man in einem Stadtwerk oder einem Rathaus auf einen solchen „beiläufigen“ Angriff vorbereitet gewesen?
(Bild: © artestdrawing - stock.adobe.com / KI-generiert)

Universität zu Köln im Juli 2026. An der neu gegründeten Adenauer School of Government wird unter dem Titel „Wer schützt Europa“ diskutiert. Es beruhigt mich zunächst, dass sowohl die Agenda als auch die Begrüßungsreden der Politikerinnen und Politiker einen Sachverhalt klar benennen: Die aktuelle Bedrohungslage hat sich durch Cyber- und Drohnentechnologie faktisch vom Krieg gegen die Ukraine bis hin in die Städte Deutschlands verlagert. Gegen Ende des staatsrechtlich geprägten Symposiums stelle ich an das Podium die Frage: Wie schützen wir uns denn nun konkret auf kommunaler Ebene – auf der schließlich ein Großteil der kritischen Infrastruktur und Daseinsvorsorge betrieben wird – vor der völlig neuen Bedrohungslage durch KI-Modelle wie Mythos oder GLM?

Vor über einem Jahr habe ich an dieser Stelle Überlegungen zum Thema kommunale Cyberresilienz angestellt. Unter den jüngsten Eindrücken und Ereignissen wird es Zeit, die Themen technisch erneut einzuordnen.

Zum Hintergrund: Eine KI greift an

Anthrophic hat mit Mythos ein Modell geschaffen, das in der Modellklasse der sogenannten Frontiermodelle anzusiedeln ist. Das heißt, es handelt sich um die Top-Kategorie der aktuellen Sprachmodelle. Hierbei hat Anthrophic ein besonderes Augenmerk auf die programmiertechnischen Fähigkeiten im Bereich der Sicherheitsforschung gelegt und war anscheinend selbst überrascht, dass diese derart radikal (im Sinne von offensiv) ausgeprägt waren und sich Mythos angeblich Zugang zu sensiblen Systemen verschaffte. Zu Letztgenanntem sind zwar authentische Quellen schwer zu verifizieren, jedoch nahm die US-Regierung dies im Juni zum Anlass, Mythos 5 und auch das durch zusätzlich sogenannte Safeguards, also verstärkte Sicherheitsmechanismen, geschützte Schwestermodell Fable 5 per Direktive einer faktischen Exportbeschränkung zu unterlegen. Dies mag auch daran liegen, dass Mythos imstande ist, kryptografische Ansätze ins Wanken zu bringen, die bislang als Kandidaten für die Post-Quantenära eingestuft wurden. Mittlerweile steht Fable 5 zwar wieder öffentlich zur Verfügung, Mythos ist jedoch nach wie vor nur für ausgewählte Regierungs- und Konzernkunden verfügbar.

Bereits hier stellt sich eine wichtige Frage: Wie reagiert Deutschland darauf? Denn wenn Mythos und vergleichbare Modelle theoretisch verfügbar sind, müssten sich auch systemkritische Unternehmen und selbstverständlich staatliche Organisationen, z. B. aus dem Bereich der kritischen Infrastruktur, mit dieser Herausforderung beschäftigen. Wie BSI-Präsidentin Claudia Plattner bereits im Mai, also vor der US-Direktive, konstatierte, benötigen wir u. a. ein AI Security & Safety Institute in Deutschland, das Frontier-Modelle dieser Art testen und bewerten kann.

Noch während die Bundesregierung diese und weitere Maßnahmen auf den Weg bringt und u. a. CyberGovSecure sowie den CyberDome installiert, durchbricht ein anderes Modell des Anbieters OpenAI seine Safeguards, beschafft sich trotz einer angeblich abgeschotteten Umgebung Zugang zum Internet und greift die Code-Plattform Hugging Face mittels aufwendiger, da individualisierter, Angriffsmechanik an. Wer hier den Geist in der Maschine vermutet, sei beruhigt, denn KI verfolgt als Programm letztlich ein Ziel und versucht auch auf gegebenenfalls unorthodoxen Wegen dieses Ziel zu erreichen, wie es schon bei den damaligen KI-Durchbrüchen in Go zu beobachten war, als die KI sich im 37. Spielzug für einen für Menschen höchst ungewöhnlichen, möglicherweise undenkbaren Zug entschied.

Wer in Claude Code einmal die Befehle „/goal“ oder „/loop“ testet, kann die sich damit entfaltende Computingpower zu Hause ausprobieren: „/goal“ befiehlt der KI, ein oder mehrere Zielparameter solange zu verfolgen, bis diese erfüllt sind. „/loop“ zwingt die KI in eine endlose, sich wiederholende Abarbeitung, mittlerweile unter dem Begriff Loop-Engineering (als Weiterentwicklung von einem singulären Prompt-Engineering) bekannt. Und hiermit lässt sich das eigentliche Bedrohungsszenario aus der Causa Hugging Face erklären: OpenAI hatte seinem Modell weder befohlen Hugging Face anzugreifen, noch sich aus der gesicherten Sandbox-Umgebung zu befreien. Die KI hielt dies jedoch zum Erreichen ihres Zieles für einen praktikablen Weg. Dies bringt uns zu einem weiteren Problem: Der Angriff geschah quasi beiläufig. Es gab, nach dem, was beide Seiten berichten, keinen Prompt, der den Angriff auf Hugging Face befahl.

Jetzt Newsletter abonnieren

Wöchentlich die wichtigsten Infos zur Digitalisierung in der Verwaltung

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

BSI-Präsidentin Claudia Plattner fragt daher zu Recht: „Was wäre gewesen, wenn die KI zu dem Schluss gekommen wäre, dass sie für den Zugriff auf ihre Werkzeuge kurzzeitig den Strom einer ganzen Stadt hätte abschalten oder die Wasserversorgung unterbrechen müssen?“ Und somit sind wir wieder auf der kommunalen Ebene. Wie wäre man in einem Stadtwerk oder einem Rathaus auf diese Situation vorbereitet gewesen? Doch zunächst noch ein abschließender Aspekt aus dem Hugging-Face-Szenario: Dort entschied man sich, den Angriff mit KI-Unterstützung einzudämmen, doch die kommerziellen Dienste und ihre Safeguards verweigerten die Dual-Use-Prompts, da Angriff und Verteidigung in der IT-Sicherheit oft schwer zu unterscheiden sind. Dennoch konnte sich Hugging Face letztlich mit dem chinesischen Modell GLM 5.2 erfolgreich zur Wehr setzen. Doch dies gelang nur, da Hugging Face Zugang und die nötige Rechnerinfrastruktur zum Betrieb des Modelles GLM vorhielt.

(ID:50925067)

Weiterführende Inhalte