Inhalt
newsletter Newsletter

Braucht es für einen KI-Durchbruch jetzt nur noch Skalierung? Metas KI-Chef Yann LeCun äußert sich zur jüngst durch Deepminds Gato ausgelösten Debatte.

Anzeige

Die jüngsten Erfolge großer KI-Modelle wie OpenAIs DALL-E 2, Googles PaLM und Deepminds Flamingo haben eine Debatte über ihre Signifikanz für den Fortschritt auf dem Weg zu genereller Künstlicher Intelligenz ausgelöst. Einen besonderen Schub bekam die öffentlich vor allem auf Twitter geführte Debatte zuletzt durch Deepminds Gato.

Gato ist ein mit zahlreichen unterschiedlichen Datenmodalitäten trainiertes Transformer-Modell, darunter Bilder, Text, Propriozeption oder Gelenkmomenten. Alle Trainingsdaten werden von Gato in einer Token-Folge ähnlich denen großer Sprachmodelle verarbeitet. Dank des vielseitigen Trainings kann Gato texten, Bilder beschreiben, Videospiele spielen oder Roboterarme steuern. Deepmind testete das KI-Modell mit über 600 Benchmarks.

Deepminds Gato und Skalierung als Weg zur generellen Künstlichen Intelligenz

Deepmind sieht in Gato einen wichtigen Schritt auf dem Weg zu einem generalistischem KI-Modell. Wie genau dieser Weg aussieht? Es gehe nur noch um den Maßstab, so Nando de Freitas, Forschungsdirektor bei Deepmind. Skalierung soll Gato zu seinem Ziel führen, womöglich auch zu genereller Künstlicher Intelligenz. Zumindest kann man de Freitas so verstehen, wenn er sagt "Das Spiel ist vorbei!".

Anzeige
Anzeige

De Freitas vertrete damit, was viele in der KI-Branche denken, vermutet Kognitionswissenschaftler und KI-Forscher Gary Marcus. Marcus nennt das "Scaling-Über-Alles" und kritisiert diesen Ansatz als kurzsichtig.

Doch woher kommt das Vertrauen in die Skalierung? Zugrunde liegt ein Phänomen, das in zahlreichen Transformer-Modellen seit GPT-1 betrachtet werden kann: Mit höherer Parameteranzahl steigt die Leistung der Modelle etwa in der Sprachverarbeitung oder der Bildgenerierung teilweise sprunghaft an.

Das lässt sich auch bei Gato beobachten: Deepmind trainierte drei Varianten des KI-Modells. Die größte Variante mit verhältnismäßig dennoch wenigen 1,18 Milliarden Parametern lag deutlich vor den kleineren Modellen. Angesichts großer Sprachmodelle mit hunderten Milliarden Parametern und den dort beobachteten Leistungssprüngen ist de Freitas Hoffnung in die Skalierung von Gato nachvollziehbar.

Metas KI-Chef Yann LeCun sieht große Herausforderungen jenseits der Skalierung

Nun äußert sich Metas KI-Chef Yann LeCun zur Debatte über die Bedeutung der jüngsten Fortschritte. Er knüpft dabei an Positionen an, die er bereits mehrfach äußerte, etwa in einem Podcast mit Lex Fridman über drei große Herausforderungen Künstlicher Intelligenz oder in einem Beitrag zur Entwicklung autonomer KI.

Empfehlung

LeCun sieht Modelle wie Flamingo oder Gato als einen Hinweis, dass die Forschungsgemeinschaft gewisse Fortschritte auf dem Weg zu Künstlicher Intelligenz auf menschlichem Niveau mache. Den Begriff generellere Künstlicher Intelligenz hält LeCun aber für verfehlt.

Doch für den weiteren Weg fehlten noch immer einige grundlegende Ideen, so LeCun. Einige davon seien näher an einer Umsetzung als andere, etwa generalisiertes selbstüberwachtes Lernen.

Es sei jedoch nicht klar, wie viele dieser Ideen überhaupt noch nötig seien - nur die offensichtlichen seien bekannt. "Daher können wir nicht vorhersagen, wie lange es dauern wird, bis KI auf menschlichem Niveau erreicht ist", schreibt LeCun.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Skalierung allein werde das Problem nicht lösen, es benötige neue Ideen. Maschinen müssten:

  • lernen, wie die Welt funktioniert, indem sie wie Babys beobachten,
  • lernen und vorhersagen, wie man die Welt durch Handlungen beeinflussen kann,
  • hierarchische Darstellungen lernen, die langfristige Vorhersagen in abstrakten Räumen ermöglichen,
  • angemessen mit der Tatsache umgehen, dass die Welt nicht vollständig vorhersehbar ist,
  • die Auswirkungen von Handlungssequenzen vorhersagen, damit sie logisch denken und planen können,
  • hierarchisch planen und eine komplexe Aufgabe in Teilaufgaben zerlegen
  • und das alles in einer Weise, die mit dem gradientenbasierten Lernen vereinbar ist.

Die Lösung für all diese Aufgaben stünde nicht unmittelbar bevor, so LeCun. Skalierung sei also notwendig, doch nicht ausreichend für weitere Fortschritte.

Wenn es nach LeCun geht, ist das Spiel also nicht vorbei. Anders als de Freitas kommt Metas KI-Chef zu einem nüchternen Schluss: "Wir müssen eine Reihe von Hindernissen aus dem Weg räumen, und wir wissen nicht, wie."

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!