Google vergleicht offenbar die eigenen Gemini-Outputs mit jenen von Anthropics KI-Modell Claude, wie aus internen Unterlagen hervorgeht, die TechCrunch vorliegen. Demnach vergleichen Google-Auftragnehmer die Antworten von Gemini mit denen von Claude anhand von Kriterien wie Wahrheitsgehalt und Ausführlichkeit. Pro Eingabeaufforderung haben sie bis zu 30 Minuten Zeit, um zu bewerten, welches Modell besser abschneidet. Den Auftragnehmern fiel auf, dass Claude Sicherheitsaspekte stärker zu betonen scheint als Gemini. Eine Sprecherin von Google Deepmind bestätigte gegenüber Techcrunch, dass sie Ergebnisse von Modellen vergleichen, aber Gemini nicht mithilfe von Anthropic-Modellen verbessern. Die Praxis, die Leistung des eigenen KI-Modells durch Vergleiche mit Konkurrenzprodukten zu evaluieren, sei in der Branche üblich. Google ist ein Investor von Anthropic.
