Mobile-Menu

Definition Was ist Data Poisoning?

Von zeroshope 2 min Lesedauer

Anbieter zum Thema

Materna Information & Communications SE
IBYKUS AG für Informationstechnologie
PROSOZ Herten GmbH

Data Poisoning beschreibt einen Prozess, bei dem Künstliche Intelligenz gezielt mit falschen Informationen trainiert wird. Dies kann verheerende Auswirkungen haben – insbesondere, da entsprechende Anwendungen immer weitreichender zum Einsatz kommen.

Data Poisoning: „Vergiftete“ Informationen für KI (Bild: aga7ta – stock.adobe.com)
Data Poisoning: „Vergiftete“ Informationen für KI
(Bild: aga7ta – stock.adobe.com)

Data Poisoning („Vergiftung von Daten“) findet im Bereich des maschinellen Lernens statt, um Anwendungen mit falschen Informationen zu füttern, die auf künstlicher Intelligenz basieren. Die jeweilige Lösung wird dabei unbemerkt mit den nicht richtigen Angaben trainiert. Dies führt dazu, dass die Anwendung falsche Antworten gibt – oder je nach Einsatzbereich: nicht die richtige Entscheidung trifft.

Wie funktioniert Data Poisoning? Das Beispiel des Chatbots Tay

Das bekannteste Beispiel für Data Poisoning stammt aus dem Jahr 2016. Microsoft stellte den Chatbot Tay auf Twitter vor, der über Dialoge mit Nutzern trainiert werden sollte. Schnell stellte sich heraus, dass ihm auch Daten über Kommentare unter seinen in den Tweets geposteten Antworten eingegeben werden konnten. Im Diskussionsboard „4Chan“ fand sich deshalb eine Gruppe, die ihn mit rassistischen und beleidigenden Kommentaren überschütten wollte – und es auch tat. Microsoft musste den Bot nach nur 16 Stunden wieder offline nehmen, weil sich dieser nur noch rassistisch äußerte.

Modernes Data Poisoning ist viel geschickter

Im Falle von Tay erfolgte das Vergiften von Trainingsdaten nicht versteckt. Inzwischen hat sich dies jedoch geändert. Modernes Data Poisoning erfolgt viel geschickter. Es soll am Beispiel der Bilderkennung erklärt werden. Das Prinzip ist aber übertragbar. KI lernt über mathematische Abgleiche. Bei der Bilderkennung werden Pixel-Kombinationen in Formeln übersetzt. Deren Ergebnisse beschreiben das Resultat, was das System ausgibt.

Als Beispiel ein Elefant genannt: Er beinhaltet zahlreiche graue Pixel, die in einem bestimmten Verhältnis angeordnet sein müssen. Daraus erfolgt die Formel, weshalb KI den Elefanten erkennen kann, unabhängig davon, wie groß das Bild ist. Werden die Pixelwerte für das menschliche Auge unbemerkt geändert, ist eine neue Eingabe möglich: Der KI kann jetzt beispielsweise vermittelt werden, dass es sich um eine Atombombe handelt. Wenn sich später Nutzer eine Atombombe als Bild ausgeben möchten, erhalten sie einen Elefanten.

Schutzmöglichkeiten vor Data Poisoning

Es existiert nur eine effektive Schutzmöglichkeit vor vergifteten Daten: Die gesamte Trainingsumgebung muss vollständig kontrolliert sein. Dies geht allerdings zu Lasten der Zahl der Informationen, die der KI übermittelt werden. Ansonsten bleibt Entwicklern nichts anderes übrig, als die einzelnen Angriffsmuster zu lernen und individuelle Verteidigungsstrategien zu entwickeln.

(ID:49906643)

Jetzt Newsletter abonnieren

Wöchentlich die wichtigsten Infos zur Digitalisierung in der Verwaltung

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte