OpenAIs Ex-Top-Forscher: Googles Erfolg ist der Beweis für OpenAIs Versagen

Jerry Tworek kam 2019 zu OpenAI, als das Unternehmen etwa 30 Mitarbeiter zählte. Er arbeitete an vielen der wichtigsten Projekte und war maßgeblich an der Entwicklung des Reasoning-Ansatzes beteiligt, der unter Namen wie Q-Star und Strawberry bekannt wurde und im Reasoning-Modell o1 mündete.

Nun hat er das Unternehmen verlassen und erklärt in einem Podcast-Interview mit Core Memory, warum: Er möchte risikobehaftete Grundlagenforschung betreiben, die in einem stark kommerziell orientierten Unternehmen wie OpenAI nicht mehr möglich sei. OpenAI müsse auf Metriken wie Nutzerwachstum optimieren.

Seine Antwort auf ChatGPTs Werbestrategie lässt hier tief blicken: "Das ist eine Business-Strategie. Ich trainiere KI-Modelle." Damit bestätigt er indirekt Gerüchte über eine wachsende Kluft zwischen KI-Forschung und Produktentwicklung bei OpenAI.

Tworeks Kritik geht jedoch über OpenAI hinaus. Er beklagt, dass alle großen KI-Labore dasselbe tun: Etwa fünf große Unternehmen arbeiteten an der Optimierung der gleichen Transformer-Technologie mit nur leicht differenzierten Produkten. Die Unterschiede zwischen den besten Modellen seien für die meisten Nutzer kaum erkennbar. Wer etwas anderes als den Machine-Learning-Mainstream machen wolle, finde schwer einen Platz.

Zu viel Geld verdirbt die Risikobereitschaft

Laut Tworek gibt es mehrere Gründe für diese mangelnde Innovationsbereitschaft. Der Wettbewerb um das beste Modell sei brutal. Unternehmen müssten konstant Stärke zeigen, um Nutzer zu halten und GPU-Kosten zu rechtfertigen.

Hinzu kämen starre Organisationsstrukturen: Organigramme bestimmten, welche Forschung möglich sei. Teams arbeiteten in Silos mit festgelegten Zuständigkeiten, teamübergreifende Forschung sei schwer umzusetzen.

Auch finanzielle Anreize spielten eine Rolle. Die hohe Vergütung in der KI-Branche führe dazu, dass Forscher ihren Job nicht riskieren wollten und kurzfristige Erfolge statt riskanter Wetten verfolgten.

Interessant ist in diesem Kontext, dass OpenAI laut Wall Street Journal kürzlich eine Haltefrist für Aktienanteile neuer Mitarbeiter abgeschafft hat. Die Maßnahme dürfte dem Konkurrenzkampf um Talent geschuldet sein, könnte aber auch die Risikobereitschaft fördern. Wer weniger um seine ersten Anteile fürchten muss, hat zumindest theoretisch mehr Spielraum, unpopuläre oder riskante Forschungsrichtungen zu vertreten.

Tworeks nächste Projekte: Neue Architekturen und kontinuierliches Lernen

Bei der Transformer-Architektur gebe es zwar noch Verbesserungen, so Tworek. Doch interessanter findet er komplett neue Architekturen. Die Branche habe sich vor sechs Jahren auf Transformer festgelegt und skaliere diese seitdem. Das funktioniere, sei aber nicht der einzige Weg. Es gebe deutlich mehr zu erforschen, als derzeit erforscht werde.

Für einen Durchbruch in Richtung AGI müsse primär kontinuierliches Lernen geknackt werden. Menschen hätten keinen separaten Lernmodus, alles passiere gleichzeitig. Solange Modelle nicht unmittelbar aus Daten lernten, blieben ihre Fähigkeiten begrenzt. Tworek bezeichnet kontinuierliches Lernen als einen der letzten wichtigen Bausteine vor AGI. In der AGI-Debatte taucht das Thema an vielen Stellen auf, etwa im Kontext von Sutskevers Wendepunkt-Diagnose.

Mit seinen Ansichten wäre Tworek womöglich gut bei Google Deepmind oder Yann LeCuns neuem KI-Start-up aufgehoben. Auch Sutskevers SSI wäre ein potenzieller neuer Arbeitgeber: Tworek zitiert im Podcast sogar die Ansichten seines ehemaligen Chefs. Angebote habe er genug, gibt er zu verstehen.

Sein AGI-Zeitrahmen habe sich leicht nach hinten verschoben. Ursprünglich glaubte er, skaliertes Reinforcement-Learning, das Prinzip hinter aktuellen Reasoning-Modellen, würde direkt zu AGI führen. Nun sieht er zusätzliche Voraussetzungen: kontinuierliches Lernen und multimodale Wahrnehmung. Bis 2029 sei AGI möglich.

Googles Comeback ist laut Tworek OpenAIs Fehler

Googles erfolgreiche Aufholjagd auf OpenAI sieht Tworek als OpenAIs Versagen. Das KI-Labor habe Fehler gemacht und sei zu langsam gewesen. Wer vorn liege und alle Vorteile habe, so wie OpenAI, müsse vorn bleiben. Google habe zudem viele richtige Entscheidungen getroffen. Auf konkrete Probleme angesprochen, bleibt Tworek vage, deutet aber an, dass Personalabgänge manchmal Symptome tieferliegender Schwierigkeiten seien.

Besonders positiv äußert er sich über OpenAIs ärgsten Start-up-Konkurrenten Anthropic. Das Unternehmen habe ihn im letzten Jahr stark beeindruckt: Mit weniger Compute und kleinerem Team habe es Fokus und gute Ausführung gezeigt. Was Anthropic mit Coding-Modellen und Coding-Agenten erreicht habe, sei erstaunlich. Das Unternehmen habe eine starke Marke aufgebaut und viele Entwickler als zufriedene Kunden gewonnen.