Mit Gemini stellte Google auch AlphaCode 2 vor. Das Code-Modell soll 85 Prozent menschlicher Programmierer in einem Wettbewerb hinter sich lassen.
Im Februar 2022 stellte Deepmind AlphaCode vor, eine KI, die Code auf Wettbewerbsniveau schreibt. Im Gegensatz zum Codex von OpenAI basierte AlphaCode auf einem Transformer-basierten Encoder-Decoder-Modell. Das größte Modell von AlphaCode hatte 41,4 Milliarden Parameter und wurde mit 715 Gigabyte Codebeispielen von GitHub trainiert. Nach dem Training löste AlphaCode 34,2 Prozent aller Probleme im CodeContests-Datensatz und erreichte eine durchschnittliche Platzierung unter den ersten 54,3 Prozent in zehn Codeforce-Wettbewerben. Damit war AlphaCode besser als knapp 46 Prozent der menschlichen Teilnehmer.
Im Vergleich zum Vorgängermodell zeigt AlphaCode 2 einen deutlichen Leistungssprung und ist besser als 85 % der menschlichen Konkurrenz. Google Deepmind führt diese Leistungssteigerung auf die Verwendung des Decoder-basierten Gemini-Pro-Modells als Grundlage für alle Komponenten von AlphaCode 2 zurück.
AlphaCode 2 nutzt Gemini-Pro-Modelle und große Stichproben
AlphaCode 2 besteht aus mehreren Komponenten, darunter eine Familie von Policy-Modellen zur Generierung von Codebeispielen, ein Sampling-Mechanismus zur Generierung einer großen Anzahl von Codebeispielen, ein Filtermechanismus zur Entfernung nicht konformer Codebeispiele, ein Clustering-Algorithmus zur Gruppierung ähnlicher Codebeispiele und ein Bewertungsmodell zur Auswahl der besten Kandidaten aus den größten Clustern von Codebeispielen.
Das System arbeitet dann mit einer massiven Stichprobenziehung, bei der bis zu einer Million Codebeispiele pro Problem erzeugt werden. Die Stichprobenauswahl erfolgt gleichmäßig über die Familie der angepassten Modelle, wobei für AlphaCode 2 nur C++-Beispiele verwendet werden.
Das Team testete AlphaCode 2 erneut auf der Codeforces-Plattform. Insgesamt wurden 77 Probleme aus 12 aktuellen Wettbewerben mit mehr als 8.000 Teilnehmern ausgewertet. AlphaCode 2 löste 43 % dieser Wettbewerbsprobleme, fast doppelt so viele wie der ursprüngliche AlphaCode. In den beiden am besten bewerteten Wettbewerben übertraf AlphaCode 2 sogar 99,5 % der Teilnehmer. Das Team geht davon aus, dass die Leistung mit Gemini Ultra noch weiter verbessert werden kann.
Google Deepmind sieht die Zukunft in der Zusammenarbeit von Mensch und Maschine
Trotz der beeindruckenden Ergebnisse von AlphaCode 2 sei noch viel Arbeit nötig, um Systeme zu entwickeln, die zuverlässig die Leistung der besten menschlichen Programmierer erreichen. Das System erfordere auch viel Versuch und Irrtum und sei zu kostspielig, um in großem Maßstab eingesetzt zu werden.
AlphaCode 2 eröffnet jedoch die Möglichkeit einer positiven Interaktion zwischen dem System und menschlichen Programmierern, die zusätzliche Filtereigenschaften spezifizieren können. In dieser Kombination von AlphaCode 2 und menschlichen Programmierern erreicht das System sogar Werte über 90 %. Die Entwickler von Google DeepMind hoffen, dass diese Art des interaktiven Programmierens die Zukunft der Programmierung sein wird, in der Programmierer KI-Modelle als kollaborative Werkzeuge nutzen, um Probleme zu analysieren, Codeentwürfe vorzuschlagen und bei der Implementierung zu helfen.
