KI-Portal des ITZBund Wie weit ist KIPITZ?

Anbieter zum Thema

Materna Information & Communications SE

IBYKUS AG für Informationstechnologie

MACH GmbH

Künstliche Intelligenz treibt auch die Behörden um, aber nicht überall ist das entsprechende Fachwissen vorhanden. Mit dem KI-Portal KIPITZ hat das ITZBund deshalb eine gemeinsame Plattform für KI-Anwendungen in der Bundesverwaltung geschaffen.

Ob bei der Verarbeitung großer Datenmengen, der automatisierten Bearbeitung wiederkehrender Tätigkeiten oder der Erkennung von Mustern und Zusammenhängen: Künstliche Intelligenz kann im Arbeitsalltag eine große Unterstützung darstellen, auch im öffentlichen Sektor. Aufgrund der sensiblen Daten, die hier verarbeitet werden, gelten aber besonders hohe Ansprüche an den Datenschutz und ethische Prinzipien.

Um diesen Anforderungen gerecht zu werden, hat mittlerweile die Hälfte der Bundesländer eine eigene KI-Strategie entwickelt, wobei eines davon seine Strategie aktuell überarbeitet. Dies berichtete jüngst der Stifterverband im Rahmen der Explorationsstudie „Bundesländercheck der KI-Strategien“. In den übrigen acht Bundesländern werde „Künstliche Intelligenz – das größte Transformationsthema der nächsten Dekaden – lediglich als Unterthema in der Innovations- oder Digitalisierungsstrategie behandelt“. Der Verband bemängelt, dass Bund und Bundesländer keine Rahmen- und Förderbedingungen aus einem Guss schaffen würden. Pläne und Zielsetzungen zur länderübergreifenden Zusammenarbeit fehlten.

GenAI

Wie steht es um KI-Strategien im Public Sector?

Nun beschränkt sich dieses Problem nicht allein auf künstliche Intelligenz, sondern zieht sich vielmehr durch die komplette Digitalisierungsstrategie. Die Gründe dafür sind vielfältig: Föderale Strukturen, unterschiedliche Wissensstände, knappe Kassen, um nur drei zu nennen. Selbst Volker Wissing (FDP), Minister für Digitales und Verkehr, gestand zum Auftakt des Digitalgipfels ein, dass die Bundesländer bei der Digitalisierung das Tempo des Bundes nicht mitgehen könnten und sich besser untereinander verständigen müssten.

KI-Strategie des Bundes

Betrachtet man ausschließlich die Bundesebene, so erscheint die aktuelle Lage tatsächlich weniger düster, die intern ausgelobte KI-Strategie keineswegs unkoordiniert: Das Bundesministerium des Innern und für Heimat (BMI) hat Mitte des Jahres seine Leitprinzipien für den verantwortungsvollen KI-Einsatz in der öffentlichen Verwaltung definiert, nach denen der Einsatz von KI menschenzentriert auszurichten ist. Das KI-Leitbild wurde dabei als Pilotinitiative des im Aufbau befindlichen Beratungszentrums für Künstliche Intelligenz (BeKI) entwickelt – und dieses wiederum pilotiert in Zusammenarbeit mit mehreren Ressorts und dem Informationstechnikzentrum Bund (ITZBund) einen sogenannten „Marktplatz der KI-Möglichkeiten“ sowie das KI-Portal „KIPITZ“ (KI-Portal des ITZBund).

Ausgangsidee war, dass KI- und LLM-Funktionen zwar einen Mehrwert für die öffentliche Verwaltung bieten könnten. Jedoch fehle vielerorts das Know-how, während die benötigten GPU-Ressourcen teuer und komplex zu betreiben seien und verschiedene Compliance-Vorgaben zu zusätzlichen Unsicherheiten führten. Das Portal zielt also darauf ab, den Zugang zu KI-Technologien für Behördenmitarbeiter zu demokratisieren und zu vereinfachen. Ein besonderes Merkmal ist dabei die Möglichkeit, je nach Anwendungsfall sowohl lokale als auch angebundene KI-Modelle zu nutzen, was gleichzeitig für eine gewisse Flexibilität und Sicherheit sorgen soll. Bereits jetzt existieren erste Apps, mit denen sich Texte und Dokumente generieren, übersetzen und zusammenfassen lassen oder die es erlauben, mit Wissensquellen und Dokumenten zu chatten. In der Umsetzung befinden sich aktuell KI-Anwendungen zum Kategorisieren von Daten und Inhalten sowie für das Coding und die App-Entwicklung.

Modulare Architektur

KIPITZ basiert unter anderem auf quelloffenen Komponenten und vertraut auf mehrere wechselnde Sprachmodelle. Schwerpunktmäßig kommen Open-Source-basierte Large Language Models (LLMs) zum Einsatz, aber auch kommerzielle Sprachmodelle lassen sich bei Bedarf anbinden und integrieren. Das Portal vertraut auf eine modulare und standardisierte Architektur, was eine einfache Erweiterbarkeit und Anpassung an behördenspezifische Bedürfnisse erlauben soll. Aus Gründen der Mandantentrennung, also mit Blick auf Datenschutz, Geheimschutz und IT-Sicherheit, wurde von Vornherein ein zweigleisiger Ansatz gefahren.

Zentrale Leistungen des ITZBund sind dabei die Verwaltung der KI-Modelle und die Bereitstellung von skalierbarer Hardware. Im Zentrum steht dabei ein Model Manager, der wichtige Aufgaben wie Job-Queue, Mandantenverwaltung, Monitoring und Kontingentverwaltung übernimmt. Er vermittelt Anfragen an die sogenannten Model Runner, über die die verschiedenen LLMs bereitgestellt werden. Damit dies möglichst ressourcensparend erfolgt, werden die benötigten Grafikkarten-Ressourcen oder GPUs modellabhängig zwischen den Behörden und dem zentralen Betrieb aufgeteilt.

Getrennt von diesen Leistungen ist für jede Behörde ein eigenes Portal vorgesehen, die Entwicklung und Bereitstellung derselben obliegt wiederum dem ITZBund. Für die Konfiguration der Portale, welche beispielsweise Benutzerverwaltung, App-Management, Hilfefunktionen, Verwaltung der Wissensdatenbank, Monitoring und API-Management abbilden, zeichnet die jeweilige Behörde verantwortlich. Portal und Sprachmodelle werden On-Premises im Rechenzentrum des Informationstechnikzentrums betrieben.

Anbindung eigener Wissensdatenbanken

Das ITZBund plant, die Fähigkeiten von KIPITZ weiter auszubauen. Eine vielversprechende Funktion ist die Integration von RAG (Retrieval Augmented Generation), was die Qualität und Relevanz der KI-Antworten verbessern dürfte. Wenn ein Nutzer eine Anfrage stellt, durchsucht das System zunächst angebundene Datenbanken wie Confluence nach relevanten Informationen. Diese werden zusammen mit der ursprünglichen Nutzereingabe als erweiterter Prompt an das KI-Modell übergeben. Das Modell generiert daraufhin eine Antwort, die sowohl auf seinem trainierten Wissen als auch auf den zusätzlich bereitgestellten Informationen basiert. Diese Methode ermöglicht es also, behördenspezifische Daten in das Ergebnis mit einzubeziehen und somit genauere, kontextuell passende und aktuellere Antworten zu liefern.

Darüber hinaus wird ein Software Development Kit (SDK) bereitgestellt, das es Behörden ermöglicht, eigenständig KI-basierte Anwendungsfälle als Prototypen zu entwickeln. Dieses stellt standardisierte Entwicklungskomponenten und Container sowie eine vorkonfigurierte Beispiel-App zur Verfügung. Entwickler können mit verschiedenen Dateitypen wie Python, TypeScript und Dockerfiles arbeiten. Die Entwicklung findet in einer Public Cloud Umgebung statt. Nach Fertigstellung durchläuft der Prototyp einen Prüfungsprozess. Bei erfolgreicher Prüfung durch das ITZBund wird die neue App in KIPITZ integriert und steht dann auch anderen Behörden zur Verfügung.

Dieses Vorgehen soll Innovationen fördern und es ermöglichen, das Angebot von KIPITZ für die Bundesverwaltung kontinuierlich und bedarfsgerecht zu erweitern. Ein Bundesministerium erprobt seit September dieses Jahres den Mehrwert des KIPITZ SDK, berichtete Jens Gehres, Projekteigner und Leiter der Abteilung Projekte, Basisdienste und Querschnittsverfahren des ITZBund. Es bleibt abzuwarten, wie viele Behörden das SDK am Ende wirklich für die Entwicklung von eigenen KI-Anwendungsfällen einsetzen. Voraussetzung für die Nutzung sind Kenntnisse von Python. Das ITZBund hat das SDK angeboten, weil sich u.a. die Datenlabore der Ministerien derzeit intensiv mit der Entwicklung von KI-Anwendungen beschäftigten.

Geplant ist überdies, KIPITZ von einem Portal hin zu einer umfassenden KI-Plattform inklusive API-Schlüsselverwaltung weiterzuentwickeln. Behörden könnten dann API-Keys generieren und verwalten, die einen Zugriff auf einzelne KI-Funktionalitäten von KIPITZ erlauben. Sowohl bestehende als auch noch zu entwickelnde IT-Lösungen sollen sich so verhältnismäßig einfach um neue KI-Funktionen erweitern lassen.

Hackathon zur Weiterentwicklung

Um die Entwicklung von KIPITZ weiter voranzutreiben und neue Ideen zu generieren, veranstaltet das Unternehmen Bearingpoint am 11. und 12. Februar 2025 den „Hack the Future“-Hackathon in seiner Berliner Niederlassung. Die Veranstaltung richtet sich speziell an die öffentliche Verwaltung. Mitarbeiterinnen und Mitarbeiter können dafür interdisziplinäre Teams bilden, einen behördenspezifischen Anwendungsfall entwickeln und ihre Idee per Webformular übermitteln. Die drei interessantesten Einreichungen werden dann beim Hackathon umgesetzt.

Ministerialkongress 2024

Digitale Souveränität, KI und Resilienz im Fokus

(ID:50218917)