Anthropic-CEO Dario Amodei räumt mit Gerüchten um das Training von Claude 3.5 Sonnet auf. Das KI-Modell wurde deutlich günstiger entwickelt als bisher angenommen und basiert nicht auf fortschrittlicheren Modellen. Amodei nimmt auch Stellung zum Deepseek-Hype.
Laut Amodei wurde das derzeit wohl leistungsfähigste reine Sprachmodell Claude 3.5 Sonnet für "ein paar zehn Millionen Dollar" trainiert - deutlich weniger als die zuletzt oft zitierten Milliarden. Amodei widerspricht auch dem Gerücht, dass das neue Sonnet-Modell mit Daten entwickelt wurde, die mit einem weiterentwickelten, unveröffentlichten Modell wie Opus 3.5 generiert wurden.
Und der CEO des größten direkten OpenAI-Konkurrenten sieht sein bestes KI-Modell weiter vorn: Obwohl das Training bereits neun bis zwölf Monate zurückliege, sei Sonnet in "vielen internen und externen Evaluationen immer noch deutlich besser" als das neue Konkurrenzmodell von Deepseek. Vor allem in praktischen Anwendungen wie der Programmierung und der Interaktion mit Menschen sei das Modell deutlich besser, so der Anthropic-CEO.
Normale Kostenentwicklung statt Durchbruch
Die von Deepseek erreichte Senkung der Entwicklungskosten entspricht nach Einschätzung von Amodei dem üblichen Trend in der KI-Entwicklung. Die Trainingskosten für vergleichbare Modelle sinken pro Jahr um etwa den Faktor 4.
"Deepseek produzierte ein Modell, das nahe an die Leistung von sieben bis zehn Monate alten US-Modellen herankommt, zu deutlich geringeren Kosten - aber nicht annähernd in dem Verhältnis, das manche suggerieren", erklärt der Anthropic-CEO in seinem privaten Blog.
Trotz der Effizienzsteigerungen seien die Gesamtinvestitionen für KI-Unternehmen nach wie vor hoch. DeepSeek verfügt Berichten zufolge über etwa 50.000 Hopper-Generation-Chips im Wert von rund einer Milliarde US-Dollar. Damit bewegt sich das chinesische Unternehmen in einer ähnlichen Größenordnung - etwa im Faktor 2–3 - wie die großen US-KI-Unternehmen.
Hohe Gesamtinvestitionen trotz Effizienzgewinnen
Amodei sieht wie andere KI-Labore einen Paradigmenwechsel in der KI-Entwicklung: Reinforcement Learning (RL) entwickle sich zu einem neuen Schwerpunkt bei der Skalierung von KI-Modellen. Dieses neue Paradigma hinter Deepseek R1 oder OpenAI o-Modellen stehe noch am Anfang der Skalierungskurve, ermögliche aber schnelle Fortschritte. Auch Anthropic habe dies erkannt.
In diesem Sinne spricht sich auch Amodei für einen weiteren Ausbau der IT-Infrastruktur aus. Laut Amodei steigen die Ausgaben für das Training von KI-Modellen, auch wenn die Kosten für ein bestimmtes Intelligenzniveau sinken. Die Entwicklung von KI-Systemen, die intelligenter sind als die meisten Menschen, werde Millionen von Chips erfordern - und sei wahrscheinlich 2026 bis 2027 zu erwarten.
Die eigentliche technische Innovation von Deepseek liegt laut Amodei zudem nicht im derzeit viel diskutierten R1-Modell, sondern im bereits Ende Dezember veröffentlichten Basismodell Deepseek-V3. Dieses habe wichtige Verbesserungen beim sogenannten Key-Value-Cache und Fortschritte bei der "Mixture of Experts"-Methode gebracht. Das später veröffentlichte R1-Modell sei dagegen technisch weniger bemerkenswert und reproduziere im Wesentlichen bereits bekannte Ansätze, so der Anthropic-CEO.
Amodei verteidigt Chip-Exportkontrollen nach China
Die jüngsten Fortschritte von Deepseek haben auch die Debatte über Exportkontrollen für Chips nach China neu entfacht. Nach Ansicht des Anthropic-CEOs untergraben die Deepseek-Modelle jedoch nicht die Notwendigkeit solcher Kontrollen - im Gegenteil.
Die zunehmende Effizienz der Technologie sei kein Grund, die Exportkontrollen aufzuheben, betont Amodei. Vielmehr seien die Beschränkungen entscheidend, um zu verhindern, dass China die gleichen KI-Fähigkeiten wie die USA erreicht und dadurch "militärisch dominant" wird.
