Mobile-Menu

Forschungswettbewerb der Cyberagentur Damit Maschinen nicht überlistet werden

Von Nicola Hauptmann 2 min Lesedauer

Anbieter zum Thema

Agentur für Innovation in der Cybersicherheit GmbH
genua gmbh
PDV GmbH
mgm technology partners GmbH

Der Forschungswettbewerb „Robustes und Sicheres Maschinelles Lernen“, das bislang größte KI-Projekt der Cyberagentur, geht in die zweite Runde. Fünf von elf Teams sind noch im Rennen.

Beim Einsatz von Maschinellem Lernen muss ein Maximum an Sicherheit gegeben sein, meint die Cyberagentur.(© ArtemisDiana -– stock.adobe.com)
Beim Einsatz von Maschinellem Lernen muss ein Maximum an Sicherheit gegeben sein, meint die Cyberagentur.
(© ArtemisDiana -– stock.adobe.com)

„Bevor Maschinen überlistet werden“ – unter dieser Überschrift informierte die Agentur für Innovation in der Cybersicherheit GmbH (Cyberagentur) im April über den Start ihres neuen Forschungswettbewerbs. Im Fokus: Sicherheit und Robustheit neuronaler KI-Systeme gegenüber unvorhergesehenen Inputs – und gezielten Angriffen. Ein Beispiel für solche Angriffe sind Prompt Injections – manipulierte Befehle, um Sprachmodelle zu unbeabsichtigten, folgenschweren Aussagen zu verleiten, etwa um sich Zugriff auf geheim zu haltende Informationen zu verschaffen. Im Kontext der inneren und äußeren Sicherheit sowie bei kritischen Infrastrukturen könnten solche Angriffe auf KI-Systeme bedrohliche Folgen haben. Hier müsse also beim Einsatz von Maschinellem Lernen ein Maximum an Sicherheit gegeben sein, argumentiert die Cyberagentur – was aber derzeit nicht gewährleistet sei. Im Lauf des fünfjährigen Forschungswettbewerbs „Robustes und Sicheres Maschinelles Lernen“ sollen daher die wissenschaftlichen Grundlagen für dieses anzustrebende Maximum an Cybersicherheit von KI-Systemen geschaffen und ausgebaut werden.

Hintergrund

Während der fünfjährigen Projektlaufzeit sollen sowohl Grundlagen erforscht als auch Prototypen entwickelt werden.

Dabei wurden folgende ­Forschungsschwerpunkte herausgestellt:

  • Datenabsicherung
  • Modellverifikation
  • Systemeinbettung
  • Ende-zu-Ende-Verifikation sowie
  • Entwicklung von Hybridmodellen aus neuronalen und symbolischen Komponenten.

Wettbewerb der Ideen

Die Cyberagentur setzt dabei auf das Instrument des Pre-Commercial Procurement (PCP), der vorkommerziellen Auftragsvergabe: Dabei entwickeln mehrere Forschungskonsortien parallel ihre unterschiedlichen Ansätze; nach jeder Projektphase werden die Ergebnisse evaluiert, und die besten Projekte kommen in die nächste Runde. Nach diesem Prinzip wurden nun von elf eingereichten Kurzkonzepten die fünf besten ausgewählt. „Wir haben insgesamt eine große Bandbreite an Forschungsansätzen – von Software-Frameworks und Toolkits bis hin zu eher Hardware-zentrischen und algorithmischen Konzepten – erhalten“, sagt Dr. Daniel Gille, Leiter des Projekts und Referatsleiter Künstliche Intelligenz bei der Cyberagentur.

Dr. Daniel Gille, Leiter des Projekts und Referatsleiter Künstliche Intelligenz bei der Cyberagentur(Bild: Cyberagentur)
Dr. Daniel Gille, Leiter des Projekts und Referatsleiter Künstliche Intelligenz bei der Cyberagentur
(Bild: Cyberagentur)

Die Auswahl hat die Cyberagentur nicht allein getroffen, zur Jury gehören auch externe Experten: Vertreter des BSI und des Zentrums Digitalisierung der Bundeswehr und Fähigkeitsentwicklung Cyber- und Informationsraum (ZDigBw) „Damit garantieren wir, dass künftige Nutzer der Forschungsergebnisse bereits in den Wettbewerbsprozess eingebunden sind und mit ihrer fundierten und anwendungsnahen Expertise die Forschungsarbeiten zielorientiert begleiten“, so Dr. Gille. In der zweiten Projektphase haben die ausgewählten Konsortien nun ein halbes Jahr Zeit, ihre Langkonzepte auszuarbeiten – die besten drei kommen dann weiter.

(ID:49844015)

Jetzt Newsletter abonnieren

Wöchentlich die wichtigsten Infos zur Digitalisierung in der Verwaltung

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte