Anthropics Claude 3 liegt wohl hinter GPT-4 Turbo

Anthropic hat mit Claude 3 einen echten Konkurrenten zu OpenAIs GPT-4 auf den Markt gebracht. Oder? In den von der Firma veröffentlichten Benchmarks schlägt das größte Modell Opus sogar GPT-4. Doch ein genauerer Blick zeigt: Anthropic hat sein neuestes Modell gegen die erste Version von GPT-4 antreten lassen und nicht gegen neuere Versionen wie GPT-4 Turbo. Der Grund: OpenAI hat bisher nur Benchmarks für das alte GPT-4-Modell veröffentlicht, das nur noch über die API aufgerufen werden kann. Allerdings gibt es für einige Benchmarks Evaluierungen von GPT-4 Turbo, die nicht direkt von OpenAI stammen. KI-Forscher Lawrence Chan hat sie zusammengestellt. Ein Blick auf diese Zahlen macht deutlich: In jedem Benchmark, in dem Claude 3 und GPT-4 Turbo verglichen wurden, schlägt das OpenAI-Modell immer noch das beste Modell von Anthropic - wenn auch nur um wenige Prozentpunkte. Allerdings liegen die Modelle so nah beieinander, dass die Frage, welches Modell besser ist, zum einen stark von der jeweiligen Aufgabenstellung abhängt - und vor allem eine Geschmacksfrage ist.