Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Google Deepminds FunSearch nutzt ein Sprachmodell, um das erste Mal eine bisher unbekannte und bessere Lösung für ein mathematisches Problem zu finden.

Nach dem Infinite-Monkey-Theorem würde ein Affe mit Schreibmaschine und unendlicher Zeit irgendwann Shakespeare reproduzieren – oder wohl auch bisher unbekannte mathematische Formeln. Google Deepmind hat keinen Affen vor die Schreibmaschine gesetzt, sondern mit FunSearch einen "stochastischen Papagei", wie große Sprachmodelle von Kritikern genannt werden, und über einen Feedback-Loop systematisch zu immer besseren Ergebnissen geführt. FunSearch steht für die Suche im Funktionsraum.

Anders als in anderen Fällen stand am Ende des Prozesses eine Lösung für ein wissenschaftliches Rätsel – es sei das erste Mal, dass ein Sprachmodell eine solche Lösung entdeckt habe, sagt Google Deepmind. "Sie war nicht in den Trainingsdaten enthalten - sie war nicht einmal bekannt", sagt Mitautor Pushmeet Kohli, Vizepräsident für Forschung des Unternehmens.

FunSearch verbindet Sprachmodell mit evolutionärem Algorithmus

FunSearch verwendet Codey, eine auf Code spezialisierte Variante von Googles PaLM 2, um neue Codeschnipsel in einem bestehenden Codegerüst zu generieren, das Lösungen für bestimmte mathematische Probleme erzeugen kann. Das System überprüft, ob die generierten Lösungen besser sind als die bekannten. Die besten Vorschläge werden dann mit Feedback an Codey zurückgegeben und der Prozess iterativ wiederholt. FunSearch kombiniert also einen evolutionären Algorithmus mit Sprachmodell. "Die Art und Weise, wie wir das Sprachmodell verwenden, ist ein Motor für Kreativität", sagt DeepMind-Computerspezialist Bernardino Romera-Paredes.

Anzeige
Anzeige

Nach einigen Tagen und Millionen von Vorschlägen fand FunSearch einen Code, der eine korrekte und bisher unbekannte Lösung für das "Cap Set Problem" enthielt. Beim Cap-Set-Problem in der Mathematik geht es darum, die maximale Größe einer Menge von ganzen Zahlen innerhalb eines bestimmten Bereichs zu bestimmen, bei der keine drei verschiedenen Elemente der Menge eine arithmetische Progression bilden.

Im Gegensatz zum AlphaTensor von Google Deepmind, der auf von AlphaZero inspirierten Methoden basiert, erlaubt die Verwendung des Sprachmodells auch die Ausweitung der Methode auf andere Problembereiche. Um dies zu testen, wandte das Team FunSearch auch auf das Bin-Packing-Problem an, bei dem es darum geht, Gegenstände in möglichst wenige Behälter zu packen. Lösungen dieses Problems haben sowohl Auswirkungen in der realen Welt als auch im digitalen Raum - auf letztere konzentrierte sich Google Deepmind. Das System fand eine Lösung, die schneller war als alle bisher von Menschen entwickelten Verfahren.

FunSearch ist der Startschuss für automatisch angepasste Algorithmen

Ein weiterer Vorteil: Die von FunSearch gefundenen Lösungen liegen in Form von Code vor – und sind damit einsehbar und nachvollziehbar. Allerdings benötigt die Methode gute Rückmeldesignale, die beispielsweise bei der Generierung von Beweisen nicht zur Verfügung stehen. Das Team erwartet jedoch, dass die Leistung von FunSearch mit der Leistung von Sprachmodellen skalieren wird:

"Die rasche Entwicklung von LLMs wird wahrscheinlich zu Stichproben von viel besserer Qualität zu einem Bruchteil der Kosten führen und FunSearch bei der Bewältigung eines breiten Spektrums von Problemen effektiver machen", heißt es in dem Artikel. "Wir gehen davon aus, dass automatisch angepasste Algorithmen bald gängige Praxis werden und in realen Anwendungen zum Einsatz kommen."

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Google Deepminds FunSearch verwendet ein Sprachmodell und einen evolutionären Algorithmus, um erstmals eine neue Lösung für ein mathematisches Problem zu finden, das "Cap Set Problem".
  • FunSearch nutzt Codey, eine auf Code spezialisierte Variante von Googles PaLM 2, um neue Codeschnipsel zu generieren und iterativ bessere Lösungen zu entwickeln.
  • Das System fand auch eine schnellere Lösung für das Bin-Packing-Problem, was zeigt, dass die Methode auf andere Problembereiche ausgeweitet werden kann.
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!