Open-Source-Harness "BootLoops" unterstützt KI-Modelle bei exakten wissenschaftlichen Berechnungen

Automatisierte Problemlösung und relevante Forschung sind unterschiedliche Dinge.

Das zeigt ein Anthropic-Gastbeitrag von Prof. Matthew Schwartz, Physiker an der Harvard-Universität. Er beschreibt, wie er aufhörte, Claude als menschlichen Forscher einzusetzen, und stattdessen nach "Claude-shaped problems" suchte, also Aufgaben, die zu den Stärken heutiger KI-Modelle passen. Schwartz arbeitet derzeit auch als Gastforscher bei Anthropic.

Aus diesem Ansatz entstand BootLoops, ein Open-Source-Harness für exakte Berechnungen in der Wissenschaft. Der Quellcode ist auf GitHub verfügbar.

Mit dem Harness fand Claude laut Schwartz Verbindungen zwischen Teilchenphysik, Ökologie, Populationsgenetik, Wirtschaft und Linguistik. Wissenschaftlich wertvoll würden die Ergebnisse allerdings oft erst, wenn Fachleute die Richtung vorgaben.

Schwartz nutzt das Konzept der "Convex Hull" (konvexe Hülle), um den Nutzen von KI in der Wissenschaft zu veranschaulichen. Menschliches Wissen ist zersplittert: Einzelne Fachgebiete ragen in verschiedene Richtungen, während die Zwischenräume brachliegen. Ein Labor könnte etwa 20 Jahre lang einen bestimmten Gensatz mit einer einzigen Methode erforschen, während benachbarte Gene und alternative Ansätze unbearbeitet bleiben. Ein KI-Toolkit wie BootLoops könne genau solche Lücken füllen, indem es Verbindungen zwischen den zerklüfteten Wissensfronten herstellt.

36 Manuskripte in 18 Fachgebieten

In drei Monaten entstanden so 36 Manuskripte in 18 Fachgebieten mit 19 Koautoren. Schwartz begann mit Berechnungen aus der Teilchenphysik, sogenannten Streuamplituden und elliptischen Integralen. Innerhalb weniger Wochen berechnete Claude mit BootLoops 30 Integrale, davon 15 Reproduktionen bekannter Ergebnisse und 15 erstmals berechnete.

Dann weitete er die Suche auf andere Felder aus. In der Ökologie etwa löste Claude eine 20 Jahre alte Gleichung zur neutralen Biodiversitätstheorie, die bisher nicht in großem Maßstab berechenbar war. Angewandt auf Daten zeigte sich, dass die Baumartenzusammensetzung auf Barro Colorado Island im Panamakanal sich 4,5-mal schneller verändert als die Theorie erlaubt. Der Ökologe James O'Dwyer half anschließend, daraus ein besseres Vorhersagemodell zu entwickeln.

In der Populationsgenetik analysierte das Team 5,7 Milliarden Mutationspaare aus dem 1000-Genomes-Project und fand Hinweise auf einen Mechanismus namens Genkonversion. Weitere Projekte umfassten unter anderem einen KI-Dateneditor für Wirtschaftsjournale, der 4.452 Replikationspakete automatisch prüfte (veröffentlicht als NBER Working Paper), sowie eine Datenbank für Wortbetonung in 6.072 Sprachen, erstellt mit drei Linguisten.

"Python für Ingenieure ist heute überflüssig"

Schwartz beschreibt, wie schnell sich die Wissenschaft durch KI verändert. Vorausplanung werde nahezu unmöglich. Warum solle man eine dreijährige Förderung für eine Berechnung beantragen, die ein KI-Modell über Nacht lösen könnte?

Auch die Ausbildung von Doktoranden sei unklar. Seit seinem früheren Beitrag über Vibe Physics habe sich dieses Gefühl noch verstärkt. In manchen Fächern wie der Informatik sei der Umbruch beängstigend. Vor zwei Jahren hätte er einen Kurs "Python für Ingenieure" noch als unverzichtbar empfohlen, heute sei er überflüssig, weil Claude diese Aufgaben übernehmen könne.

Auch den Bau von ML-Modellen zur Untersuchung physikalischer Phänomene könne inzwischen KI übernehmen. Selbst tiefes Wissen über neuronale Netze bringe nur noch begrenzten Nutzen, wenn Claude auf Anweisung den aktuellen Stand der ML-Forschung umsetze.

"Du musst alles selbst prüfen"

Schwartz warnt auch vor den Schwächen der Modelle: Claude erkläre gern vorschnell den Sieg ("erledigt, bis auf ein Detail" heiße oft "gar nicht erledigt"), schätze Zeitaufwände schlecht ein und bevorzuge stumpfes Durchrechnen statt eleganterer Lösungen.

Automatische Prüfungen seien nicht verlässlich, man müsse sich alles selbst ansehen. Claudes Schlussfolgerungen könnten trotz korrekter Berechnungen falsch sein. Zudem bevorzuge das Modell alte, viel zitierte Debatten statt wirklich neuer Fragen. Die Projekte seien außerdem rechen- und tokenintensiv gewesen.

Den Fokus auf große Mathe-Probleme und Schlagzeilen hält Schwartz für riskant: Unrealistische Erwartungen könnten von den produktiven Anwendungen ablenken, die schon heute möglich seien. Echter Fortschritt werde wie immer auf soliden Grundlagen aufbauen, nur eben schneller. Die wissenschaftliche Methode selbst sieht er daher nicht infrage gestellt: Menschliche Steuerung und Geschmack bleiben laut Schwartz unverzichtbar.