Inhalt
newsletter Newsletter

Künstliche Intelligenz ist ein boomendes Forschungsfeld, jährlich erscheinen tausende wissenschaftliche Veröffentlichungen. Forscher haben einige der Arbeiten untersucht – ihre Ergebnisse werfen Fragen auf.

Anzeige

Eine der ersten kommerziellen Anwendungen für Künstliche Intelligenz waren Empfehlungsalgorithmen, wie sie etwa Amazon, Google oder Netflix einsetzen. Fortschritte versprechen noch kundenspezifischere Empfehlungen für mehr Umsatz.

Forscher haben jetzt 18 Veröffentlichungen, die solche Verbesserungen versprechen, untersucht. Das Ergebnis: Elf der Verbesserungen sind nicht reproduzierbar.

Nicht nachvollziehbare Ergebnisse und fragwürdige Fortschritte

Alle 18 untersuchten Veröffentlichungen wurden in jüngster Zeit auf renommierten KI-Konferenzen vorgestellt. In einem ersten Schritt versuchten die Forscher, die dort vorgestellten Ergebnisse zu reproduzieren. Anders als in anderen Wissenschaften sollte das in der KI-Forschung leichtfallen, indem man den entwickelten Algorithmus am selben Datensatz testet.

Anzeige
Anzeige

Das gelang jedoch nur bei sieben der Veröffentlichungen. Elf Ergebnisse ließen sich nicht reproduzieren.

In einem zweiten Schritt untersuchten die Forscher die Leistung der sieben nachvollziehbaren KIs genauer. Welche führt im Vergleich zu Vorgängeralgorithmen wirklich zu besseren Leistungen?

Die Antwort: Nur eine. Sechs von sieben KIs schnitten schlechter ab als gut abgestimmte, altbekannte Methoden. So konnten die Forscher meist ein einschichtiges neuronales Netz für eine Nächste-Nachbarn-Klassifikation trainieren – eine Methode, die zu den Grundlagen des Data-Mining gehört und besser funktionierte als die Deep-Learning-Varianten.

Wissenschaftskrise oder Schlamperei?

Die Arbeit der Forscher zeigt, dass es – zumindest bei den Empfehlungsalgorithmen – wenige reproduzierbare Ergebnisse gibt. Ursachen vermuten die Forscher bei unterschlagenen Arbeitsschritten, wie der Feinoptimierung des Algorithmus oder der Vorverarbeitung von Daten.

Doch selbst wenn sich die Ergebnisse reproduzieren ließen, seien sie "besorgniserregend", da sie ältere Methoden nicht überträfen. Die Forscher sprechen in diesem Kontext von einem "Phantom-Fortschritt": Die in den Veröffentlichungen beschriebenen KIs würden mit anderen aktuellen KI-Methoden verglichen, die jedoch selbst nicht unbedingt zu den Besten gehörten.

Empfehlung

So entstehe der Eindruck eines Fortschritts, der keiner ist: Im direkten Vergleich mit altbekannten und einfacherern Algorithmen fielen sechs von sieben getesteten KIs durch. Der Grad des Fortschritts sei daher im besten Fall unklar – zumindest in den untersuchten Beiträgen.

Die Forscher wollen ihre Analyse in Zukunft ausweiten und weitere Veröffentlichungen untersuchen. Ob andere Felder der KI-Forschung von solchen Problemen betroffen sind, ist bisher unklar. Die Forscher verweisen jedoch auf einige Untersuchungen, die ähnliche Ergebnisse erzielten.

Quelle: Arxiv

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Weiterlesen über Künstliche Intelligenz:

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!