Anbieter zum Thema

Materna Information & Communications SE

Disy Informationssysteme GmbH

mgm technology partners GmbH

Human in the loop ist oft nur Kulisse

Besonders aufschlussreich ist in diesem Zusammenhang der inflationär gebrauchte Satz vom Menschen im Prozess. Er klingt vernünftig, ist in der Praxis aber oft nur eine Beruhigungsformel. Denn ein Mensch ist noch lange keine wirksame Kontrolle, nur weil er formal irgendwo im Prozess auftaucht. Wenn Empfehlungen nicht verständlich sind, Zeit zur Prüfung fehlt oder Widerspruch unerwünscht ist, wird menschliche Aufsicht zur Kulisse.

Gerade in der Verwaltung ist das gefährlich. Denn hier geht es nicht um harmlose Komfortfunktionen. Es sind Entscheidungen mit Folgen für Bürgerinnen und Bürger, die hier als Alleinstellungsmerkmal im Raum stehen.

Die Forschung zu KI-gestützter Entscheidungsunterstützung zeigt hierbei leider, dass Standardmodelle nicht selten an der Realität vorbeigehen. Daten sind nicht neutral, historische Entscheidungen prägen Trainingsdaten, Ziele konkurrieren miteinander und die Logik guter öffentlicher Entscheidungen lässt sich nicht auf Vorhersagegenauigkeit allein reduzieren. Entscheidend ist die Frage: Verbessert KI Entscheidungen im realen Verfahren – und zu welchen Kosten?

Zielkonflikte sind der Normalfall

Ein noch größerer Irrtum als der Fokus auf günstige und schnelle Standard-KI besteht darin, KI-Governance als technisches Optimierungsproblem zu behandeln. In der Verwaltung kollidieren regelmäßig Werte wie Effizienz, Transparenz, Datenschutz, Fairness, Ermessen und Rechtmäßigkeit. Diese Spannungen verschwinden nicht, nur weil man sie in ein Dashboard überführt. Die seriöse Frage lautet deshalb: Welche kritischen Zielkonflikte entstehen (und wie gehen wir legitim mit ihnen um)? Nur so kann Vertrauen in Prozess und KI-System gesichert werden.

Und vertrauenswürdige KI entsteht letztlich durch faire Verfahren der Abwägung. Öffentlich nachvollziehbare Gründe, Einbezug Betroffener, Widerspruchs- und Revisionsmöglichkeiten sowie Aufsicht sind die Bedingung dafür, dass der Einsatz von KI im öffentlichen Raum demokratisch vertretbar bleibt.

Dazu passt, dass die Forschung zu vertrauenswürdiger KI-gestützter Entscheidungsfindung im öffentlichen Sektor nicht nur bekannte Anforderungen wie Transparenz, Fairness und Accountability hervorhebt, sondern auch Kontextsensitivität und Feedback. Das ist ein wichtiger Schritt weg von der Illusion valider Vorab-Regeln, hin zu einer lernenden Governance über den gesamten Lebenszyklus eines Systems.

Generative KI verschärft die Lage

Mit generativer KI verschärft sich all das noch einmal. Gerade Sprachmodelle erzeugen ein gefährliches Missverständnis: Was sprachlich elegant und leicht zugänglich wirkt, erscheint schnell auch organisatorisch harmlos. Analysen aus den USA und der EU zeigen die zentralen Konflikte: Datenschutz, Vertraulichkeit, Diskriminierungsrisiken, Geheimnisschutz und Rechtmäßigkeit. Je beiläufiger ein Werkzeug genutzt werden kann, desto klarer müssen Regeln, Zuständigkeiten und vor allem Schutzmechanismen sein. Hinzu kommt ein Aspekt, den viele Debatten systematisch unterschätzen: Automatisierung spart nicht einfach Arbeit. Sie verlagert, verändert Arbeit und sie erzeugt neue Arbeit. Automatisierte Systeme schaffen neue Probleme, Schnittstellen, Überwachungsaufgaben und Rollen. Sie verlangen

• kontinuierliches Monitoring,

• (präventive) Wartung,

• kluges Datenmanagement,

• rechtliche Absicherung,

• neue Methoden der Qualitätsbewertung und häufig auch

• neue Formen des Up- und Reskilling in der Belegschaft.

Wer Automation nur als Wegfall menschlicher Tätigkeiten verbucht, rechnet die organisatorische Wirklichkeit nicht mit.

(ID:50846108)