Forschungsarbeit zur Generierung von Hint-Texten Barrierefreie digitale Anwendungen – Hilfe kommt aus der Forschung

Anbieter zum Thema

TU München

IBYKUS AG für Informationstechnologie

Fabasoft Deutschland GmbH

Mein Videotermin Suite | Voigtmann GmbH

Digitale Verwaltungsservices müssen barrierefrei sein, damit alle sie nutzen können. Gastautor Professor Dr. Chen hat mit seinem Forschungsteam an der TUM Heilbronn Systeme entwickelt, die künftig auch bei der Erstellung barrierefreier digitaler Anwendungen im öffentlichen Sektor helfen könnten.

Digitale Plattformen und mobile Anwendungen spielen eine zentrale Rolle, um Behörden effizienter zu gestalten und eine bürgerfreundliche Bereitstellung von Diensten zu gewährleisten: Terminbuchungen, Informationen und Formulare – viele Dienste werden schon heute digital angeboten. Doch die Darstellung in der mobilen Ansicht auf dem Smartphone ist häufig fehlerhaft. Für Menschen mit Behinderungen, insbesondere Sehbehinderungen, bleiben dadurch viele dieser digitalen Lösungen schwer zugänglich. Nach Angaben der WHO leiden weltweit 2,2 Milliarden Menschen an Sehbeeinträchtigungen, wovon viele durch barrierefreie Technologien erheblich profitieren könnten. Gerade die Nutzung von Apps auf dem Smartphone könnte die Teilhabe und Autonomie leicht unterstützen, wenn die Bedürfnisse von sehbehinderten Menschen bei der Programmierung berücksichtigt würden.

So weit, so bekannt. Und eigentlich gibt es für die Softwareentwicklung auch klare Richtlinien, die sicherstellen sollen, dass Anwendungen für alle Nutzergruppen zugänglich sind. In der Praxis zeigt sich jedoch, dass diese Standards häufig nicht eingehalten werden – vor allem von kleineren Unternehmen. Während große Akteure wie Google oder Microsoft über spezialisierte Teams zur Förderung der Barrierefreiheit verfügen, fehlt es kleineren Firmen oft an Ressourcen oder einem ausreichenden Bewusstsein für dieses Thema.

Mängel in der Barrierefreiheit

Eine Kernherausforderung liegt in der unzureichenden Gestaltung von Eingabe- und Bedienelementen in Apps und Webanwendungen. Wie eine Analyse von 4.501 Android-Apps mit Texteingaben im Rahmen einer Forschungsarbeit zeigte, fehlte bei über 76 Prozent der Apps der sogenannte „Hint-Text“ – ein wichtiger Hinweistext, der auch von Screenreadern laut vorgelesen werden kann und so sehbehinderten Nutzern das Ausfüllen von Eingabefeldern erleichtert. Ähnliche Defizite zeigen sich bei Bildkomponenten, die häufig keine Beschreibungstexte, sogenannte Labels, enthalten – und damit für sehbehinderte Menschen nicht wahrnehmbar sind. Gerade in kritischen Anwendungsbereichen wie der medizinischen Versorgung oder Verwaltungsdiensten gibt es häufig erklärende Bilder und Grafiken. Fehlende Labels können die digitale Teilhabe erheblich einschränken und Menschen in zentralen Bereichen des Alltags in ihrer Autonomie beschneiden.

Um hier Lösungen zu finden, hat ein Forschungsteam der TU München am Campus Heilbronn unter der Leitung von Professor Dr. Chen zwei innovative Systeme entwickelt: HintDroid und LabelDroid. Beide Technologien setzen auf moderne Ansätze des maschinellen Lernens, um Barrierefreiheit in digitalen Anwendungen automatisch zu verbessern. Bisher sind die Programme noch nicht auf dem Markt verfügbar – fest steht jedoch, dass sie – entweder als Open-Source-Angebot oder als integrierte Funktion im Google Play Store – der Forschungs- und Entwicklergemeinschaft ohne Profit zur Verfügung gestellt werden. Nur so können die Potenziale für die verschiedensten Branchen ausgeschöpft werden – auch in den Bereichen der öffentlichen Verwaltung und medizinischen Einrichtungen gäbe es zahlreiche Anwendungsmöglichkeiten.

Automatische Generierung von Hint-Texten

HintDroid ist ein auf Large Language Models (LLMs) basierendes System, das automatisiert Hint-Texte generiert. Es wurde entwickelt, um mobile Anwendungen auf Barrierefreiheit zu prüfen und diese automatisch zu verbessern. Dafür analysiert es die grafische Benutzeroberfläche (GUI) einer App und generiert Kontextinformationen, die sowohl sehbehinderten Nutzern als auch Menschen ohne Behinderungen helfen, Eingabefelder korrekt zu nutzen. Das Tool richtet sich also an Entwickler und Anbieter mobiler Anwendungen. Der Prozess gliedert sich in drei Schritte:

• Analyse der App: Sobald eine neue App entwickelt wurde, kann sie mithilfe von HintDroid gescannt werden. Dabei analysiert die Software die Benutzeroberfläche, identifiziert Barrierefreiheitsprobleme wie fehlende Labels oder unklare Eingabeanweisungen.

• Automatische Fehlerbehebung: Mithilfe von Künstlicher Intelligenz werden problematische Elemente in natürliche Sprache übersetzt, also passende Hint-Texte generiert. Das System verwendet dafür eine Datenbank mit Beispiel-Hint-Texten, um durch Retrieval-basierte Methoden passende Vorschläge zu generieren.

• Feedback-Mechanismus: Durch die Prüfung, ob der generierte Text die erwartete Funktion (z. B. Öffnen einer nächsten Seite) auslöst, optimiert das Tool kontinuierlich die Qualität seiner Ergebnisse. Der Entwickler kann nun entscheiden, ob er die Änderungsvorschläge annimmt oder nicht.

Dazu ein Beispiel: Wenn man Briefwahlunterlagen anfordern möchte, ist das über einen QR-Code auf der Wahlbenachrichtigung möglich. Auf der Seite der zuständigen Stadtverwaltung sind dafür mehrere Seiten zu passieren und dann persönliche Daten einzugeben. Es handelt sich um mehrere Eingabefelder, beispielsweise Felder für das Geburtsdatum und die Anschrift. Ohne geeignete Beschriftung erkennt ein Bildschirmlesegerät lediglich, dass Eingaben erforderlich sind, jedoch nicht, welche Informationen hier erwartet werden. Durch die Analyse mit HintDroid werden die Felder automatisch mit Hinweisen wie „Bitte geben Sie Ihr Geburtsdatum ein“ versehen. Diese Texte werden dem Entwickler als Vorschlag präsentiert, der die Änderungen genehmigen kann. Nach der Implementierung sind die Felder für alle Nutzer, einschließlich sehbehinderter Personen, zugänglich und verständlich.

Automatische Generierung von Labels für Bildkomponenten

LabelDroid ist ein früher entwickeltes System, das sich auf die automatische Generierung von Labels für Icons und Bildkomponenten konzentriert. Es adressiert damit ein zentrales Problem in der barrierefreien App-Gestaltung: das Fehlen beschreibender Texte für visuelle Elemente. Das System wird mit einem Datensatz bestehender Icons und Labels trainiert, um visuell ähnliche, aber unbeschriftete Elemente korrekt zu identifizieren und zu beschriften. Die Bildsprache im digitalen Raum, vor allem in den Bereichen der Verwaltung und Medizin, ist meist standardisiert und kann gut erkannt werden. Darüber hinaus wird der Kontext durch eine Analyse der Benutzeroberfläche (GUI) erschlossen, um Labels noch genauer und semantisch passender zu generieren.

Ein weit verbreiteter Fall ist zum Beispiel ein Button mit einem Pfeil, der einem sehenden Menschen mitteilt, dass er mit einem Klick auf die nächste Seite gelangt. Wenn ein Screenreader dieses Symbol nicht erkennen kann, hängen sehbehinderte Menschen im Prozess fest.

(ID:50309713)