KI-Forscher zeigen einen KI-Agenten, der besser programmieren können soll als GPT-4. Damit tritt das Open-Source-Projekt in Konkurrenz zu Angeboten wie dem kürzlich vorgestellten KI-Programmierer Devin.
Das Princeton-NLP-Team hat SWE-agent entwickelt, ein Open-Source-System, das Sprachmodelle wie GPT-4 in Software-Engineering-Agenten umwandelt. Diese Agenten können Fehler und Probleme in realen GitHub-Repositories beheben. SWE-agent erreicht mit 12,29 % gelöster Probleme im SWE-Bench-Testset fast das Ergebnis des kürzlich veröffentlichten kommerziellen Devin (13,86 %).
Das Ergebnis ist eine spezielle Agenten-Computer-Schnittstelle (ACI), die es dem Sprachmodell ermöglicht, das Repository zu durchsuchen, Code-Dateien anzuzeigen, zu bearbeiten und auszuführen. Die ACI-Entwicklung umfasst Funktionen wie einen Linter zur Syntaxprüfung, einen speziellen Dateibetrachter und eine Verzeichnissuche.
Das System arbeitet in zwei Schritten: Zunächst generiert SWE-agent aus einem GitHub Issue einen Pull-Request mit einem Lösungsvorschlag. Anschließend wird der Pull-Request evaluiert, um die Lösung zu verifizieren. Das Projekt ist auf GitHub verfügbar und das Team lädt zur Mitarbeit ein.
Cognition AI sammelte 21 Millionen US-Dollar für Devin
SWE-agent übernimmt damit eine ähnliche Rolle wie Devin, ein KI-Softwareentwickler, der von dem amerikanischen KI-Start-up Cognition AI entwickelt wurde. Devin kann mit menschlichen Entwickler:innen zusammenarbeiten, Aufgaben eigenständig ausführen und zur Überprüfung bereitstellen. Devin soll auch mit neuen, unbekannten Programmbibliotheken umgehen, komplette Anwendungen programmieren, Fehler in Codebasen finden und Fehlermeldungen und Feature Requests in Open Source Repositories bearbeiten.
Im Gegensatz zu SWE-agent ist Devin noch nicht öffentlich zugänglich und wurde bislang nur ausgewählten Entwickler:innen über eine Warteliste zur Verfügung gestellt. Das Start-up Cognition AI hat kürzlich eine Serie-A-Finanzierungsrunde in Höhe von 21 Millionen US-Dollar abgeschlossen.
