Forscher veröffentlichen drei Datensätze, die zeigen, wie störanfällig weit verbreitete KIs für die Objekterkennung sind.
Die KI-getriebene Objekterkennung kommt etwa in autonomen Autos, bei KI-gestützter Videoüberwachung oder manchen Smartphone-AR-Apps vor. Während eine gewisse Ungenauigkeit bei Smartphone-Apps verkraftbar ist, kann sie beim autonomen Auto schwerwiegende Folgen haben - etwa, wenn Passanten übersehen werden.
Das passiert heute nur noch selten - wenn das Wetter stimmt. Teslas Autopilot lenkt souverän durch die kalifornische Sonne, doch schon ein leichter Schneesturm kann die KI verwirren. Gesucht werden also KI-Systeme, die bei jedem Wetter verlässlich funktionieren.
Winter is coming – KI versagt
Um solche robusten KIs zu schaffen, braucht es zunächst die richtigen Tests. Forscher der Universität Tübingen und der International Max Planck Research School for Intelligent Systems haben nun drei Datensätze veröffentlicht, mit denen Forscher ihre KIs frustrieren können.
In den korrumpierten Versionen bereits veröffentlichter Datensätze haben die Forscher Bilder mit einer von 15 Bildstörungen überlagert, etwa Nebel, Frost oder Schnee. Bei einem anschließenden Test weit verbreiteter Objekterkennungs-KIs sank deren Leistung um 30 bis 50 Prozent gegenüber störungsfreien Bildern.
Bessere Ergebnisse durch stilisierte Trainingsbilder
Bei einem Versuch, die KIs frostschutzsicher zu machen, trainierten die Forscher testweise eine KI mit stilisierten Varianten der Trainingsbilder. Das sind KI-erstellte Bildvarianten, in denen trotz Farb- und Musterveränderungen die Form der Objekte erhalten bleibt.
Die mit diesen verfälschten Aufnahmen trainierte KI schneidet im zuvor erwähnten Bildstörungstest zwischen 10 und 50 Prozent besser ab als die mit herkömmlichen Bildern trainierten KIs. Das deckt sich mit den Ergebnissen einer anderen deutschen Forschergruppe, die durch stilisierte Trainingsbilder ebenfalls eine robustere KI schufen.
Die Autoren hoffen, dass andere Forscher die Störungsbilder erweitern: Ein "zu viel" existiere beim KI-Training nicht in Hinblick auf die Robustheit der Systeme. Die Datensätze des Benchmarks gibt’s bei Github.
Quelle: Arxiv