OpenAI-Feldbericht: KI-Agenten schreiben marode Forschungssoftware neu, doch Forscher müssen aufwendig prüfen

Der Bericht dokumentiert acht Fallstudien, überwiegend aus der Biologie, in denen Forschungsgruppen Coding-Agenten wie Codex und Claude Code einsetzten. Die Projekte reichen von einfacher Wartungsarbeit über gezielte Optimierungen bis zu kompletten Neuentwicklungen in modernen Programmiersprachen.

Ein Werkzeug wird 60-mal schneller

Zu den einfacheren Arbeiten zählt die Modernisierung von cyvcf2, einer Python-Bibliothek zum Lesen genetischer Daten. GPT-5.5 ersetzte hier die veraltete Routine, mit der das Programm gebaut und installiert wird, durch ein aktuelles Verfahren.

Deutlich umfangreicher fiel die Migration von MHCflurry aus, einem Modell aus der Immunforschung, das vorhersagt, welche Zielstrukturen Immunzellen erkennen. Zwei Agenten, Claude Code und Codex, wechselten sich in den Rollen als Entwickler und Prüfer ab und übertrugen rund 10.000 Codezeilen von der veralteten Software-Basis TensorFlow auf das modernere PyTorch.

Anspruchsvoller war rustar-aligner. Das Projekt schrieb STAR komplett neu, ein Werkzeug, das Messdaten aus Zellen den passenden Stellen im Erbgut zuordnet. Das Original umfasst über 20.000 Zeilen in den Programmiersprachen C und C++ und wird nicht mehr aktiv gepflegt, obwohl es in zahlreichen Forschungsabläufen steckt. Die neue Fassung entstand in der modernen Sprache Rust.

Ob die Neuentwicklung wirklich dasselbe tut, prüften die Beteiligten an einem Testlauf mit 10.000 kurzen Erbgut-Abschnitten aus Hefezellen. Bei einzeln vermessenen Abschnitten kam rustar-aligner in 99,815 Prozent der Fälle zum selben Ergebnis wie das Original, bei paarweise vermessenen in 99,883 Prozent. Verglichen wurde dabei nicht nur die Fundstelle im Erbgut, sondern auch mehrere weitere wichtige Angaben, die beide Programme zu einem Abschnitt ausgeben. Einen Abschnitt, den nur eines der beiden Werkzeuge zuordnen konnte, gab es nicht.

Die drastischste Beschleunigung erzielte RustQC, das 15 einzelne Werkzeuge zur Qualitätskontrolle in einem einzigen Programm bündelte. Auf einem großen Datensatz sank die Laufzeit von 15 Stunden 34 Minuten auf 14 Minuten 54 Sekunden, ein Faktor von über 60. Ein anderes Projekt, HelixForge, ersetzte ein Werkzeug zur Erzeugung künstlicher Erbgut-Daten durch eine Version, die auf Grafikkarten rechnet.

In einem Testlauf mit den Daten eines einzelnen Spenders und einem zehn Millionen Basenpaare langen Erbgut-Abschnitt war HelixForge über die gesamte Verarbeitungskette 59,6-mal schneller als der Vorgänger BamSurgeon. Der eigentliche Rechenschritt lief sogar 98,6-mal schneller.

Selbstsicher, aber oft falsch

Über alle Fallstudien hinweg zeigt sich ein Muster. Agenten erledigen klar umrissene Aufgaben zügig, können aber nicht zuverlässig beurteilen, ob ihre Arbeit wissenschaftlich korrekt ist. Häufig treten die Systeme selbstsicher auf, obwohl der Code fehlerhaft ist.

"Mit Coding-Agenten ist es einfach, schnell zu sein. Um in der Wissenschaft weit zu kommen, braucht es vorerst noch fachliches Urteilsvermögen und Sorgfalt", schreibt cyvcf2-Entwickler Brent Pedersen.

Sein Kollege Philip Ewels, der RustQC verantwortete, beschreibt Agenten als "wortgewandt, überzeugend und selbstsicher falsch". Er habe die Modelle nie über die Korrektheit ihrer eigenen Arbeit entscheiden lassen und stattdessen einen unabhängigen Testaufbau gebaut.

Wie schwer sich solche Fehler finden lassen, zeigt die Fallstudie zum Statistikpaket bayesm. Die Neufassung in Rust rechnete zwei- bis zwanzigmal schneller als das Original, doch zwei erweiterte Verfahren enthielten im ersten Anlauf Fehler, die von außen kaum sichtbar waren.

Im ersten Verfahren hatte der Agent eine zentrale Steuergröße genau falsch herum eingesetzt, das Programm rechnete also mit dem Kehrwert der eigentlich gemeinten Werte. Ein zweiter, davon unabhängiger Fehler steckte im Ablauf der Berechnung selbst und fiel erst auf, als die Forschenden ein aufwendiges Prüfverfahren einsetzten, das die Software mit Tausenden künstlich erzeugten Datensätzen mit bekanntem Ergebnis konfrontiert.

Das zweite Verfahren namens HART lieferte in der Gesamtschau ebenfalls plausible Zahlen, enthielt aber weitere Mängel, darunter unnötig aufwendige Rechenwege und einen falsch skalierten Korrekturfaktor. Plausible Testergebnisse allein reichten also nicht aus.

Ein früher Versuch, MHCflurry auf PyTorch zu übertragen, war Anfang 2025 gescheitert. Entwickler Sergey Feldman verortet das Problem rückblickend nicht in den Werkzeugen, sondern in den damaligen Modellen. Erst neuere Modellgenerationen seien zuverlässig genug, um solche Aufgaben weitgehend selbstständig zu erledigen.

Menschen definieren, Agenten bauen

Die Fallstudien zeichnen ein einheitliches Bild der neuen Arbeitsteilung: Menschen legen Ziele, Erfolgskriterien und Prüfverfahren fest, Agenten übernehmen die Umsetzung. Bei einem Projekt zur Beschleunigung von hifiasm, einem Programm, das aus vielen kurzen Bruchstücken ein vollständiges Erbgut zusammensetzt, baute der Forscher zuerst einen Testaufbau mit getrennten Übungs- und Prüfdaten. GPT-5.5 fand anschließend eigenständig Verbesserungen, die die Laufzeit an echten menschlichen Daten um knapp 15 Prozent senkten.

Am weitesten reichte die Autonomie bei HI.SIM, einer Bibliothek zur Simulation genetischer Daten. Hier kam der Bericht praktisch ohne menschliches Eingreifen aus. GPT-5.2 fand in einem einzigen Durchlauf Verbesserungen an einzelnen Programmteilen, ein zweiter Durchlauf mit einem neueren Modell weitere. Insgesamt sank die Laufzeit um rund 31 Prozent, bei unverändertem Ergebnis.

Wer pflegt die neue Software?

Die Autoren skizzieren grob Einsparpotenziale. Würde die Modernisierung durch Agenten nur bei einem Viertel bis der Hälfte aller Installationsprobleme wissenschaftlicher Software helfen, entspräche das bei 100 Programmpaketen zwischen 600.000 und knapp 5 Millionen US-Dollar an eingesparter Forschungszeit. Für die weit verbreitete Bibliothek NumPy allein schätzt der Bericht rund 650 eingesparte Wartungsstunden pro Jahr.

Neben Validierung und wissenschaftlicher Korrektheit sehen die Autoren die Langzeitpflege als zentrales offenes Problem. Billige Neuentwicklungen könnten Nutzergemeinschaften spalten und die ohnehin knappe Zeit erfahrener Betreuer weiter zerstreuen.

In den Fallstudien wurden verschiedene Wege gewählt. Einige Änderungen flossen direkt in die Originalprojekte ein, rustar-aligner wechselte unter das Dach des Forschungsverbunds scverse, weil das Original nicht mehr gepflegt wurde. Bei FastQC lehnte der Originalautor eine Ersetzung durch die Rust-Fassung ab. Die dabei gefundenen Verbesserungen flossen deshalb direkt in die ursprüngliche Java-Version ein und brachten dort dieselbe dreifache Beschleunigung.

Der Feldbericht ist rückblickend angelegt und beruht auf Selbstauskünften der Beteiligten. Die Autoren betonen, dass es sich nicht um eine repräsentative Studie handelt. Dennoch zeichne sich ab, dass sich der Engpass weg von der reinen Implementierung und hin zu Validierung, wissenschaftlicher Prüfung und klarer Verantwortung für Pflege und Weiterentwicklung verschiebt.

Dieses Muster kennt die Softwarebranche auch außerhalb der Forschung. Eine Untersuchung der Organisation METR kam zu dem Ergebnis, dass rund die Hälfte der Lösungen, die der verbreitete Coding-Benchmark SWE-bench Verified als bestanden wertet, von den tatsächlichen Projektverantwortlichen abgelehnt würde.

Eine Studie zum Ärger über KI-Code in Entwicklerteams beschreibt dieselbe Verschiebung: Die eingesparte Entwicklungszeit kommt als zusätzliche Prüfzeit zurück. Das curl-Projekt stellte sein Bug-Bounty-Programm ein, nachdem KI-generierte Schwachstellenmeldungen die Zeit der Betreuer gebunden hatten, ohne brauchbare Ergebnisse zu liefern.

Der Feldbericht fügt sich in OpenAIs breitere Wissenschaftsstrategie. Das Unternehmen hat dafür ein eigenes Team aufgebaut, dessen Leiter Kevin Weil erwartet, dass 2026 für die Wissenschaft werde, was 2025 für die Softwareentwicklung war. Im April stellte OpenAI mit GPT-Rosalind ein Modell für die Biowissenschaften vor und veröffentlichte dazu ein frei zugängliches Life-Sciences-Plugin für Codex, das Modelle mit über 50 öffentlichen Datenbanken und Biologie-Werkzeugen verbindet.