KI-Pionier Ilya Sutskever warnt auf der NeurIPS-Konferenz vor den Grenzen der verfügbaren Trainingsdaten. Die Zukunft der KI-Entwicklung müsse neue Wege gehen.
Das Internet als Datenquelle für das Training von KI-Modellen ist endlich - und diese Grenze wird für die heutige KI-Entwicklung zum Problem. Diese These vertritt OpenAI-Mitbegründer Ilya Sutskever in seinem Vortrag auf der KI-Fachkonferenz NeurIPS.
Während die Rechenleistung durch bessere Hardware, Algorithmen und größere Rechenzentren weiter wächst, wachsen die Daten nicht mit, warnt Sutskever. Die Industrie habe "Peak Data" erreicht: "Wir haben nur ein Internet, und das wird sich auch nicht ändern."
Der KI-Forscher vergleicht die Trainingsdaten mit fossilen Brennstoffen: Eines Tages seien sie aufgebraucht. Dabei geht es ihm weniger um die Dateien selbst, die natürlich vervielfältigt werden könnten, sondern um das Wissen, das Maschinen aus diesen Daten extrahieren können.
Von der Vision zur Datenlimitierung
Sutskever blickt in seinem Vortrag zurück auf die Anfänge der modernen KI. Im Jahr 2014 formulierte er die "Deep Learning Hypothesis": Ein neuronales Netz mit zehn Schichten könne in Sekundenbruchteilen alles nachbilden, was ein Mensch leistet. Die Beschränkung auf zehn Schichten hatte damals rein praktische Gründe - es war die Größe, die man trainieren konnte.
Die These basierte auf der möglichen Ähnlichkeit zwischen künstlichen und biologischen Neuronen. Wenn künstliche Neuronen biologischen Neuronen auch nur entfernt ähneln, dann sollten große neuronale Netze im Prinzip die gleichen Aufgaben bewältigen können wie das menschliche Gehirn. Der einzige große Unterschied: Während sich das Gehirn selbst umkonfiguriert, benötigen KI-Systeme noch so viele Trainingsdaten wie Parameter.
Diese Vision führte zur "Ära des Pre-Trainings" mit Modellen wie GPT-2 und GPT-3. Sutskever würdigt hier insbesondere die Arbeit seiner ehemaligen Kollegen Alec Radford und Anthropic-Gründer Dario Amodei, die diese Entwicklung vorangetrieben haben. Doch nun, so Sutskever, stößt dieser Ansatz an fundamentale Grenzen.
KI-Agenten als möglicher Ausweg
Für die Zeit nach dem Pre-Training sieht Sutskever verschiedene Entwicklungspfade: KI-Agenten, synthetische Daten und mehr Rechenleistung während der Inferenz könnten helfen, die Grenzen begrenzter Trainingsdaten zu überwinden. Die KI-Branche befinde sich wieder im "Zeitalter der Entdeckungen", sagte Sutskever kürzlich.
Künftige KI-Systeme werden sich nach Sutskever fundamental von heutigen Modellen unterscheiden. "Die aktuellen Systeme sind nur in sehr geringem Maße 'agentisch', aber das wird sich ändern", sagt der Forscher. Echte KI-Agenten werden seiner Einschätzung nach tatsächlich eigenständig denken und schlussfolgern können.
Diese Entwicklung hat jedoch auch Schattenseiten: "Je mehr ein System denkt, desto weniger vorhersagbar wird es", warnt Sutskever und verweist auf Schach-KIs, deren Züge selbst für Großmeister oft überraschend sind.
Ein positiver Nebeneffekt könnte die Reduzierung von Halluzinationen sein. Durch echtes logisches Denken und Selbstreflexion könnten künftige KI-Systeme ihre eigenen Aussagen überprüfen und korrigieren - eine Fähigkeit, die den heutigen, primär auf Intuition und Mustererkennung basierenden Systemen noch fehlt.
Die von Sutskever beschriebene Entwicklung spiegelt sich bereits in der Industrie wider und hat sich in den vergangenen Monaten weitgehend als Konsens etabliert. OpenAI, Google und Anthropic stoßen bei der Entwicklung ihrer neuesten Sprachmodelle angeblich an die Grenzen des Pre-Trainings. Oriol Vinyals, Tech-Lead hinter Googles Gemini-KI-Modellen, sagte kürzlich, dass es nicht mehr ausreicht, immer größere Modelle zu bauen. Verbesserungen würden exponentiell schwieriger.
Führende KI-Unternehmen wie OpenAI experimentieren bereits mit "test-time compute", bei dem KI-Modelle mit mehr Rechenleistung länger "denken", als Alternative zur Skalierung des Pre-Trainings.
Sutskever gründet Milliarden-Start-up für sichere KI
Sutskever hat nach seinem Abschied von OpenAI im Mai 2024 sein Start-up Safe Superintelligence Inc. (SSI) gegründet. Das Unternehmen hat eine Finanzierungsrunde über eine Milliarde US-Dollar abgeschlossen und wird mit fünf Milliarden US-Dollar bewertet.
Das in Palo Alto und Tel Aviv ansässige Unternehmen will mit einem schlanken Team aus Top-Ingenieuren und Forschern eine sichere Superintelligenz entwickeln. Die eingesammelten Mittel sollen vor allem für Rechenleistung und Personal verwendet werden, wobei das Unternehmen laut eigenen Angaben besonders an Mitarbeitern interessiert ist, die nicht am "Hype" interessiert sind.
