Wie die öffentliche Verwaltung von KI profitieren kann Regulierter Einsatz von KI

Anbieter zum Thema

VIER GmbH

Ceyoniq Technology GmbH

IBYKUS AG für Informationstechnologie

SMART CJM GmbH

Die Service-Anforderungen an die öffentliche Verwaltung sind hoch, gleichzeitig müssen Behörden mit schmalen Budgets arbeiten. Abhilfe können KI-Lösungen für den Kundenservice schaffen, doch viele Behörden zögern mit der Einführung – denn sie unterliegen hohen Sicherheitsauflagen.

Nahezu alle Anwendungen, bei denen KI für die öffentliche Verwaltung einen messbaren Effizienzvorteil erzielen kann, haben laut Artikel 14 des EU AI Acts die höchste Sicherheitskategorie für Hochrisiko-Systeme. Damit der KI-Einsatz – beispielsweise als unterstützender Chatbot oder bei der E-Mail-Bearbeitung – im Kontakt mit Bürgern oder Unternehmen trotzdem möglich ist, braucht es eine KI-Qualitätssicherung, den richtigen Umgang mit KI-Fehlern und vor allem menschliche Kontrolle. Denn KI darf Verwaltungsentscheidungen nicht automatisiert treffen, ohne dass eine zuständige Person die Ergebnisse versteht, prüft und nötigenfalls korrigiert.

Qualitätssicherungsprozesse für KI-gestützte Kommunikation

Bei der Kontrolle von KI-Lösungen geht es darum, technische Systeme so zu gestalten, dass Fehler aufgezeichnet und somit sichtbar werden. Dabei muss der Mensch im Mittelpunkt von Entscheidungen bleiben. Entscheidend ist daher die Frage: Was darf die KI autonom tun – und ab wann muss ein Mensch eingreifen?

Darüber hinaus müssen die mit der Aufsicht über die KI beauftragten Mitarbeiter in der Lage sein, die Fähigkeiten und Grenzen des Systems zu verstehen sowie Anomalien, Fehlfunktionen und unerwartete Ergebnisse zeitnah zu erkennen und zu beheben.

Früherkennung mit Guardrails

Guardrails sind Sicherheitsvorkehrungen und Richtlinien, die den Handlungsspielraum eines Sprachmodells begrenzen und unerwünschte Ausgaben verhindern. Dazu gehören unter anderem Regeln für zulässigen Inhalt, Sicherheit, Datenschutz und Antwortformat, wie Tonalität und fachlicher Rahmen. Die Guardrails können in einem iterativen Prozess der KI-Qualitätssicherung immer wieder angepasst werden. Ein sinnvolles Kontrollmodell sollte diese Schritte enthalten:

1. Prüfung der Eingabe

Vor der Verarbeitung sollte geprüft werden:

• Enthält die Anfrage personenbezogene oder besonders schützenswerte Daten?

• Geht es um Geld, Sozialleistungen, Gesundheit, Recht oder eine Beschwerde?

• Versucht jemand, Systemregeln zu umgehen?

• Ist die Identität der anfragenden Person ausreichend verifiziert?

Als mögliche Sicherheitsreaktionen können Daten maskiert oder pseudonymisiert werden. Die KI kann eine Anfrage auch ablehnen oder direkt an einen Mitarbeiter übergeben.

2. Prüfung der KI-Antwort

Vor der Ausgabe können Guardrails unter anderem kontrollieren:

• Ist die Antwort sachlich korrekt und durch eine Wissensquelle belegbar?

• Enthält sie verbotene Zusagen oder rechtlich problematische Aussagen?

• Hält sie Tonalität, Sprache und Formatvorgaben ein?

• Werden vertrauliche Daten ausgegeben?

• Ist die Antwort unsicher oder widersprüchlich?

Mit solchen Validierungsmechanismen können fehlerhafte KI-Antworten eingeschränkt und bei Bedarf durch einen Menschen auf Qualität, Regelkonformität, Tonalität, Format und Risiken geprüft werden. Guardrails sind dabei die technischen Leitplanken. Sie allein reichen aber nicht: Unternehmen brauchen zusätzlich klare Verantwortlichkeiten, Tests, Monitoring, Datenschutz und einen belastbaren Eskalationsprozess.

(ID:50979223)