Mittels Kameras können Computer die Umgebung zwar ähnlich sehen wie Menschen, aber ein generelles Verständnis für die Dinge geht ihnen ab. Entsprechend anfällig sind sie für visuelle Manipulation.
Zauberer oder Hütchenspieler tricksen gerne mit der visuellen Wahrnehmung ihrer Zuschauer, um sie Dinge glauben zu lassen, die eigentlich gar nicht passieren. Bei Menschen ist das eine vergleichsweise anspruchsvolle Aufgabe, die Planung und eine gekonnte Durchführung benötigt. Das liegt daran, dass Menschen nicht nur ein visuelles, sondern auch ein intellektuelles Verständnis für ihre Umwelt und die Dinge darin haben.
Dem sehenden Computer geht dieses Verständnis ab: Er analysiert nur Pixelwerte und schlussfolgert aus diesen, welches Objekt auf einem Bild zu sehen ist. Google-Forscher zeigen, dass das eine Schwachstelle ist, die leicht manipuliert werden kann.
Wow, ein wunderschöner Sticker!
In einer Untersuchung beweisen KI-Forscher von Google, dass man den Computer-Seh-Prozess mit einem einfachen Sticker aus dem Tritt bringen kann. Der Sticker kann mit jedem Farbdrucker hergestellt werden. Die Google-Forscher laden dazu ein, den im Experiment eingesetzten Sticker auszudrucken und zu testen.
Um den Sticker zu erstellen, setzten die Forscher einer Bildanalyse-KI eine gegnerische KI entgegen, die den Analyseprozess unterbrach, indem sie der Bildanalyse-KI im Bild zusätzliche Motive zeigte - Kreise gefüllt mit verschiedenen Farben und Mustern. Die Gegner-KI testete solange unterschiedliche Motive, bis sie eines fand, das die volle Aufmerksamkeit der Bildanalyse-KI beanspruchte (siehe Titelbild).
Macht man aus diesem Motiv einen Sticker und zeigt ihn in der gleichen Szene wie das zu erkennende Objekt, geht die Bildanalyse-KI davon aus, dass das Bild über das Sticker-Motiv ist und ignoriert die eigentlich zu analysierende Abbildung. Laut den Forschern funktioniert dieser Hack, da die Bildanalyse-KI darauf getrimmt ist, das hervorstechendste Motiv einer Szene auszuwerten. Der Sticker kann jedes beliebige Motiv simulieren - im Beispielvideo unten wird so statt einer Banane ein Toaster erkannt.
Dieses mächtige Ablenkungsmanöver funktioniert laut den Google-Forschern systemspezifisch, der Sticker muss also nicht pro Bildanalyseprozess neu angefertigt werden. Ein Angreifer könne ohne Vorwissen über die Rahmenbedingungen vor Ort wie die Beleuchtung, den Kamerawinkel oder anderen Objekten in einer Szene erfolgreich eine reale Attacke unternehmen. Auch eine Übertragbarkeit zwischen verschiedenen Bildanalysesystemen wird angedeutet.
KI-Hack für jedermann
In der Vergangenheit zeigten KI-Forscher, dass es ausreichen kann, einzelne Pixel in einem Bild kaum merklich zu verändern, damit eine Bildanalyse-KI zum Beispiel statt einer Schildkröte ein Maschinengewehr sieht - und potenziell andersherum. Die neue Sticker-Manipulation ist allerdings viel einfacher für die Allgemeinheit zugänglich, wenn das Motiv einmal angefertigt ist und verteilt wird.
Dieses Potenzial beschreiben auch die Google-Forscher: "Die Ergebnisse zeigen, dass eine Attacke offline geteilt und weit verbreitet werden könnte ... Selbst wenn Menschen die Sticker bemerken, wüssten sie womöglich nicht, was es mit ihnen auf sich hat und würden sie eher als Kunst ansehen."
