Google arbeitet laut Insider-Informationen an einem KI-Modell, das OpenAIs o1 Konkurrenz machen soll. Das Ziel: Verbesserte logische Fähigkeiten für komplexe Probleme in Mathematik und Programmierung.
Wie Bloomberg unter Berufung auf Insider berichtet, entwickelt Google ein neues KI-Modell, das in puncto logische Fähigkeiten mit OpenAIs o1 konkurrieren soll. Mehrere Teams bei Google hätten in den vergangenen Monaten Fortschritte bei der Entwicklung von "KI-Reasoning-Software" gemacht.
Das Ziel sei es, ein Modell zu schaffen, das wie o1 mehrstufige Probleme in Bereichen wie Mathematik und Programmierung lösen kann. Dafür setzt Google wie OpenAI auf den "Chain-of-Thought"-Ansatz, bei der das KI-Modell verschiedene Antworten generiert, abwägt und die beste auswählt.
Dieses Verfahren kann iterativ verbessert werden: Mehr Rechenleistung während des Inferenzprozesses führt potenziell zu besseren Ergebnissen. Damit eröffnet sich ein zweiter Skalierungshorizont für KI-Modelle: Anstatt nur mehr Rechenleistung und Daten für das Training der Modelle zu verwenden, kann auch deren Anwendung von mehr Rechenleistung profitieren.
Auch Google erforscht die Skalierbarkeit von KI-Rechenzeit
Ein kürzlich veröffentlichtes Forschungspapier von Google bestätigt das Interesse an dieser Skalierungstechnik. Die Forscher von Google Deepmind untersuchten, wie zusätzliche Rechenleistung während des Inferenzprozesses die Leistung von Sprachmodellen verbessern kann.
Dabei konzentrierten sie sich auf zwei Hauptansätze: Zum einen die Suche mit Hilfe von Bestätigungs- und Belohnungsmodellen, zum anderen die Anpassung der Antwortverteilung des Modells auf Basis der jeweiligen Aufforderung.
Die Effektivität dieser Methoden hängt stark von der Schwierigkeit der Aufgabe ab. Die Forscher entwickelten eine "rechenoptimale" Strategie, die die Rechenleistung an die Aufgabe anpasst. Damit konnten sie die Effizienz im Vergleich zu herkömmlichen Methoden um mehr als das Vierfache steigern. Ein Vergleich ist erst möglich, wenn beide Unternehmen ihre vollständigen Modelle für Benchmarks zur Verfügung stellen.
Google-Deepmind-Modelle können schon Mathematik
Googles Interesse an KI-Modellen mit verbesserten logischen Fähigkeiten zeigt sich auch in früheren Projekten. Im Juli stellte das Unternehmen AlphaProof, ein auf mathematisches Denken spezialisiertes Modell, und AlphaGeometry 2, eine aktualisierte Version eines auf Geometrie spezialisierten Modells, vor. Beide Programme meisterten vier der sechs Aufgaben der Internationalen Mathematik-Olympiade, einem jährlichen Wettbewerb für Schüler.
Auch bei diesen Modellen hatte Google Deepmind bereits bekannte Funktionen aus Sprachmodellen der generativen KI mit Elementen aus Suchalgorithmen der klassischen KI kombiniert und bei der Präsentation angekündigt, dass der nächste Schritt die Skalierung dieser Systeme sei.
