Google Deepminds FunSearch nutzt ein Sprachmodell, um das erste Mal eine bisher unbekannte und bessere Lösung für ein mathematisches Problem zu finden.
Nach dem Infinite-Monkey-Theorem würde ein Affe mit Schreibmaschine und unendlicher Zeit irgendwann Shakespeare reproduzieren – oder wohl auch bisher unbekannte mathematische Formeln. Google Deepmind hat keinen Affen vor die Schreibmaschine gesetzt, sondern mit FunSearch einen "stochastischen Papagei", wie große Sprachmodelle von Kritikern genannt werden, und über einen Feedback-Loop systematisch zu immer besseren Ergebnissen geführt. FunSearch steht für die Suche im Funktionsraum.
Anders als in anderen Fällen stand am Ende des Prozesses eine Lösung für ein wissenschaftliches Rätsel – es sei das erste Mal, dass ein Sprachmodell eine solche Lösung entdeckt habe, sagt Google Deepmind. "Sie war nicht in den Trainingsdaten enthalten - sie war nicht einmal bekannt", sagt Mitautor Pushmeet Kohli, Vizepräsident für Forschung des Unternehmens.
FunSearch verbindet Sprachmodell mit evolutionärem Algorithmus
FunSearch verwendet Codey, eine auf Code spezialisierte Variante von Googles PaLM 2, um neue Codeschnipsel in einem bestehenden Codegerüst zu generieren, das Lösungen für bestimmte mathematische Probleme erzeugen kann. Das System überprüft, ob die generierten Lösungen besser sind als die bekannten. Die besten Vorschläge werden dann mit Feedback an Codey zurückgegeben und der Prozess iterativ wiederholt. FunSearch kombiniert also einen evolutionären Algorithmus mit Sprachmodell. "Die Art und Weise, wie wir das Sprachmodell verwenden, ist ein Motor für Kreativität", sagt DeepMind-Computerspezialist Bernardino Romera-Paredes.
Nach einigen Tagen und Millionen von Vorschlägen fand FunSearch einen Code, der eine korrekte und bisher unbekannte Lösung für das "Cap Set Problem" enthielt. Beim Cap-Set-Problem in der Mathematik geht es darum, die maximale Größe einer Menge von ganzen Zahlen innerhalb eines bestimmten Bereichs zu bestimmen, bei der keine drei verschiedenen Elemente der Menge eine arithmetische Progression bilden.
Im Gegensatz zum AlphaTensor von Google Deepmind, der auf von AlphaZero inspirierten Methoden basiert, erlaubt die Verwendung des Sprachmodells auch die Ausweitung der Methode auf andere Problembereiche. Um dies zu testen, wandte das Team FunSearch auch auf das Bin-Packing-Problem an, bei dem es darum geht, Gegenstände in möglichst wenige Behälter zu packen. Lösungen dieses Problems haben sowohl Auswirkungen in der realen Welt als auch im digitalen Raum - auf letztere konzentrierte sich Google Deepmind. Das System fand eine Lösung, die schneller war als alle bisher von Menschen entwickelten Verfahren.
FunSearch ist der Startschuss für automatisch angepasste Algorithmen
Ein weiterer Vorteil: Die von FunSearch gefundenen Lösungen liegen in Form von Code vor – und sind damit einsehbar und nachvollziehbar. Allerdings benötigt die Methode gute Rückmeldesignale, die beispielsweise bei der Generierung von Beweisen nicht zur Verfügung stehen. Das Team erwartet jedoch, dass die Leistung von FunSearch mit der Leistung von Sprachmodellen skalieren wird:
"Die rasche Entwicklung von LLMs wird wahrscheinlich zu Stichproben von viel besserer Qualität zu einem Bruchteil der Kosten führen und FunSearch bei der Bewältigung eines breiten Spektrums von Problemen effektiver machen", heißt es in dem Artikel. "Wir gehen davon aus, dass automatisch angepasste Algorithmen bald gängige Praxis werden und in realen Anwendungen zum Einsatz kommen."
