Braucht es für einen KI-Durchbruch jetzt nur noch Skalierung? Metas KI-Chef Yann LeCun äußert sich zur jüngst durch Deepminds Gato ausgelösten Debatte.
Die jüngsten Erfolge großer KI-Modelle wie OpenAIs DALL-E 2, Googles PaLM und Deepminds Flamingo haben eine Debatte über ihre Signifikanz für den Fortschritt auf dem Weg zu genereller Künstlicher Intelligenz ausgelöst. Einen besonderen Schub bekam die öffentlich vor allem auf Twitter geführte Debatte zuletzt durch Deepminds Gato.
Gato ist ein mit zahlreichen unterschiedlichen Datenmodalitäten trainiertes Transformer-Modell, darunter Bilder, Text, Propriozeption oder Gelenkmomenten. Alle Trainingsdaten werden von Gato in einer Token-Folge ähnlich denen großer Sprachmodelle verarbeitet. Dank des vielseitigen Trainings kann Gato texten, Bilder beschreiben, Videospiele spielen oder Roboterarme steuern. Deepmind testete das KI-Modell mit über 600 Benchmarks.
Deepminds Gato und Skalierung als Weg zur generellen Künstlichen Intelligenz
Deepmind sieht in Gato einen wichtigen Schritt auf dem Weg zu einem generalistischem KI-Modell. Wie genau dieser Weg aussieht? Es gehe nur noch um den Maßstab, so Nando de Freitas, Forschungsdirektor bei Deepmind. Skalierung soll Gato zu seinem Ziel führen, womöglich auch zu genereller Künstlicher Intelligenz. Zumindest kann man de Freitas so verstehen, wenn er sagt "Das Spiel ist vorbei!".
De Freitas vertrete damit, was viele in der KI-Branche denken, vermutet Kognitionswissenschaftler und KI-Forscher Gary Marcus. Marcus nennt das "Scaling-Über-Alles" und kritisiert diesen Ansatz als kurzsichtig.
Someone’s opinion article. My opinion: It’s all about scale now! The Game is Over! It’s about making these models bigger, safer, compute efficient, faster at sampling, smarter memory, more modalities, INNOVATIVE DATA, on/offline, … 1/N https://t.co/UJxSLZGc71
— Nando de Freitas ?️? (@NandoDF) May 14, 2022
Doch woher kommt das Vertrauen in die Skalierung? Zugrunde liegt ein Phänomen, das in zahlreichen Transformer-Modellen seit GPT-1 betrachtet werden kann: Mit höherer Parameteranzahl steigt die Leistung der Modelle etwa in der Sprachverarbeitung oder der Bildgenerierung teilweise sprunghaft an.
Das lässt sich auch bei Gato beobachten: Deepmind trainierte drei Varianten des KI-Modells. Die größte Variante mit verhältnismäßig dennoch wenigen 1,18 Milliarden Parametern lag deutlich vor den kleineren Modellen. Angesichts großer Sprachmodelle mit hunderten Milliarden Parametern und den dort beobachteten Leistungssprüngen ist de Freitas Hoffnung in die Skalierung von Gato nachvollziehbar.
Metas KI-Chef Yann LeCun sieht große Herausforderungen jenseits der Skalierung
Nun äußert sich Metas KI-Chef Yann LeCun zur Debatte über die Bedeutung der jüngsten Fortschritte. Er knüpft dabei an Positionen an, die er bereits mehrfach äußerte, etwa in einem Podcast mit Lex Fridman über drei große Herausforderungen Künstlicher Intelligenz oder in einem Beitrag zur Entwicklung autonomer KI.
About the raging debate regarding the significance of recent progress in AI, it may be useful to (re)state a few obvious facts:
(0) there is no such thing as AGI. Reaching "Human Level AI" may be a useful goal, but even humans are specialized.
1/N— Yann LeCun (@ylecun) May 17, 2022
LeCun sieht Modelle wie Flamingo oder Gato als einen Hinweis, dass die Forschungsgemeinschaft gewisse Fortschritte auf dem Weg zu Künstlicher Intelligenz auf menschlichem Niveau mache. Den Begriff generellere Künstlicher Intelligenz hält LeCun aber für verfehlt.
Doch für den weiteren Weg fehlten noch immer einige grundlegende Ideen, so LeCun. Einige davon seien näher an einer Umsetzung als andere, etwa generalisiertes selbstüberwachtes Lernen.
Es sei jedoch nicht klar, wie viele dieser Ideen überhaupt noch nötig seien - nur die offensichtlichen seien bekannt. "Daher können wir nicht vorhersagen, wie lange es dauern wird, bis KI auf menschlichem Niveau erreicht ist", schreibt LeCun.
Skalierung allein werde das Problem nicht lösen, es benötige neue Ideen. Maschinen müssten:
- lernen, wie die Welt funktioniert, indem sie wie Babys beobachten,
- lernen und vorhersagen, wie man die Welt durch Handlungen beeinflussen kann,
- hierarchische Darstellungen lernen, die langfristige Vorhersagen in abstrakten Räumen ermöglichen,
- angemessen mit der Tatsache umgehen, dass die Welt nicht vollständig vorhersehbar ist,
- die Auswirkungen von Handlungssequenzen vorhersagen, damit sie logisch denken und planen können,
- hierarchisch planen und eine komplexe Aufgabe in Teilaufgaben zerlegen
- und das alles in einer Weise, die mit dem gradientenbasierten Lernen vereinbar ist.
Die Lösung für all diese Aufgaben stünde nicht unmittelbar bevor, so LeCun. Skalierung sei also notwendig, doch nicht ausreichend für weitere Fortschritte.
Wenn es nach LeCun geht, ist das Spiel also nicht vorbei. Anders als de Freitas kommt Metas KI-Chef zu einem nüchternen Schluss: "Wir müssen eine Reihe von Hindernissen aus dem Weg räumen, und wir wissen nicht, wie."
