KI-Forschung

Feindliche Umprogrammierung: Google zwingt KI zu ungewollten Berechnungen

Matthias Bastian
Googles Brain-Team zeigt einen beeindruckenden Deep-Learning-Hack: Ein Sticker lässt die Künstliche Intelligenz ungewollte Berechnungen durchführen.

Zu den vielen mit Künstlicher Intelligenz verbundenen ethischen Fragen gehört gewiss die Sicherheit. Warum das so ist, zeigt ein beeindruckender Deep-Learning-Hack von Googles Brain-Team.

In den letzten Monaten zeigten KI-Forscher wiederholt, wie einfach es sein kann, eine auf visuelle Wahrnehmung ausgerichtete Künstliche Intelligenz aus der Bahn zu werfen.

Durch für den Menschen fast nicht sichtbare Pixelveränderungen verwechselt eine KI beispielsweise eine Schildkröte mit einem Gewehr oder die Gesichtserkennung wird blockiert.

In einem anderen Forschungsexperiment sorgt ein bunter Sticker dafür, dass die KI statt einer Banane einen Toaster sieht.

Google KI-Forscher ergaunern sich Rechenleistung

Nun wendeten KI-Forscher aus Googles Brain-Team das visuelle Täuschungsmanöver erstmals an, um eine KI andere Berechnungen durchführen zu lassen, als ursprünglich vorgesehen. Die Entwickler taufen den Prozess "feindliche Umprogrammierung".

Für den Hack fügten sie einen Täuschungssticker (Beispiele siehe Titelbild) an 100.00 Bilder einer typischen Bilddatenbank an, mit der eine Künstliche Intelligenz ihre Bildanalysekompetenz trainiert.

Die KI durchlief ihren Arbeitsprozess zunächst wie geplant. Erwischte sie jedoch ein Bild mit Täuschungssticker, führte sie anstelle ihrer Bildanalyse die auf dem Sticker vorgegebene Arbeitsanweisung durch.

Die war im Falle des Experiments einfach gehalten: Die KI wurde gezwungen, weiße Quadrate oder eine Nummer zu zählen, statt das Objekt auf dem Bild zu analysieren. In einem weiteren Szenario wurde die KI in eine alternative Trainingsdatenbank umgeleitet. Im Experiment funktionierte der Hack bei 99 Prozent der 100.000 manipulierten Bilder.

Attacke nur mit Vorbildung

Voraussetzung ist allerdings, dass der Angreifer Parameter und Aufgabe des zu attackierenden neuronalen Netzes kennt. Eine völlig blinde Attacke gegen jede Art KI-Netz ist also nicht möglich.

Die Forscher schreiben in ihrer Veröffentlichung dennoch von einer "überraschenden Schwachstelle neuronaler Netze". So könnten nach dem vorgestellten Prinzip zum Beispiel Smartphones mit KI-Assistenten durch feindliche Bilder oder Audiodateien umprogrammiert werden.

Da Assistenten weitläufig mit Nutzerdaten ausgestattet sind - E-Mails, Kalender, Zugangs- und Kreditkartendaten - könnten die Konsequenzen solcher Attacken heftig ausfallen.

Weiterlesen über Künstliche Intelligenz: