Große Versprechen, menschliche Programmierer:innen langfristig bei der Entwicklung von Softwareprodukten zu unterstützen, gehen mit der Vorstellung von Devin einher. Der eigentliche Star des KI-Assistenten sind aber nicht seine generativen Fähigkeiten.
Das US-amerikanische KI-Start-up Cognition AI hat sich auf die angewandte KI-Forschung spezialisiert und als ersten Schritt Devin vorgestellt, einen KI-Softwareentwickler, der sowohl mit menschlichen Entwickler:innen zusammenarbeiten als auch eigenständig Aufgaben ausführen und zur Überprüfung bereitstellen kann. Laut Cognition soll Devin bestehende, unangepasste Sprachmodelle in einem Benchmark zur Lösung von Softwareproblemen um ein Vielfaches übertreffen.
Devin kann anhand wenig Quellmaterial mit neuen, unbekannten Programmbibliotheken umgehen, vollständige Anwendungen programmieren, Bugs in Codebasen finden und Fehlermeldungen und Funktionsnachfragen in Open-Source-Repositories bearbeiten. Devin nutzt zudem "Algorithmen des maschinellen Lernens, um ständig zu lernen, seine Leistung zu verbessern und sich an neue Herausforderungen anzupassen."
Cognition zufolge verfügt Devin über Fähigkeiten zur langfristigen Planung und Entscheidungsfindung, die es ermöglichen, komplexe Entwicklungsprojekte durchzuführen, bei denen Tausende von Entscheidungen getroffen werden müssen. Dabei ist Devin in der Lage, im Laufe der Zeit zu lernen und Fehler zu korrigieren. Ausgestattet mit gängigen Entwicklungswerkzeugen wie Shell, Code-Editor und Browser in einer abgeschotteten Rechnerumgebung kann Devin aktiv mit Benutzern zusammenarbeiten, in Echtzeit über Fortschritte berichten, Feedback annehmen und bei Bedarf gemeinsam Designentscheidungen treffen.
Deutlich bessere Benchmark-Ergebnisse als GPT-4
Devin wurde anhand von SWE-bench getestet, einem Benchmark, in dem KI-Agenten reale GitHub-Probleme in Open-Source-Projekten wie Django und scikit-learn lösen sollen. Dabei schnitt Devin mit 13,86 Prozent Lösungsrate zwar immer noch nicht überragend, aber immerhin deutlich besser ab als andere auf diesem Benchmark getestete Sprachmodelle - auch GPT-4. Der Benchmark berücksichtigt dabei jedoch noch nicht neue Modelle wie Claude 3 oder GPT-4 Turbo.
Devin ist noch nicht öffentlich zugänglich, sondern wurde bislang nur ausgewählten Entwickler:innen über eine Warteliste zur Verfügung gestellt, die ihre Erfahrungen unter anderem auf X (ehemals Twitter) teilen. Cognition gibt bisher nur wenig Einblick in die technischen Hintergründe, sodass wichtige Fragen etwa zur genauen Softwarearchitektur oder genutzten KI-Modellen ungeklärt bleiben.
Womöglich setzt Devin auf GPT-4 Turbo oder Claude 3 als Basis und lässt zahlreiche KI-Agenten im Hintergrund werkeln. Solche Automatisierungen gab es auch schon zu GPT-3.5-Zeiten. Cognition scheint das Konzept jedoch sorgfältig ausgearbeitet zu haben und großen Wert auf eine nutzerfreundliche Bedienoberfläche zu legen.
Erste Erfahrungsberichte sind vielversprechend
Einer der frühen Tester:innen ist Informatik-Student Andrew Kean Gao, der Devin mit verschiedenen, realitätsnahen Aufgaben auf die Probe stellt. In einem seiner Experimente entwickelt Devin tatsächlich eine funktionierende Chrome-Erweiterung, die den vollständigen Code eines GitHub-Repositorys in einer Textdatei zusammenfasst.
Bei einer deutlich komplexeren Aufgabe, nämlich ein Schachspiel zu entwickeln, in dem man gegen ein Sprachmodell antritt, machte Devin bemerkenswerte Fortschritte, hängte sich jedoch irgendwann auf. Noch eine Aufgabe, bei der Devin Temperaturdaten über Zeit an der Antarktis visualisieren sollte, hat die KI zwar nicht völlig zufriedenstellend bearbeitet, aber immerhin eine Webseite direkt auf Netlify veröffentlicht.
Student Gao kommt zu dem Schluss, dass der Schwerpunkt von Devin auf UI/UX und nicht primär auf generativer KI liege. Die umgebende Infrastruktur, nicht die KI selbst, sei der Star des Produkts. "Sie haben Dinge wie die automatische Veröffentlichung auf Netlify, den Schutz von API-Schlüsseln, einen intelligenten Weg, zu unterbrechen, eine gute Benutzeroberfläche, die auf Menschen zugeschnitten ist und eine Brücke zwischen LLM und menschlicher Entwicklung schlägt, den Schieberegler, mit dem man in der Zeit zurückgehen kann", schreibt er. Es mache Spaß zu sehen, wie sich viele Funktionen rund um die KI entwickeln.
Große Versprechen mit wenig Geld
Das Start-up hat unter der Führung von Founders Fund kürzlich eine Series-A-Finanzierungsrunde in Höhe von 21 Millionen US-Dollar abgeschlossen und kann auf die Hilfe von Personen wie Patrick und John Collison (Mitgründer von Stripe), Elad Gil, Sarah Guo, Chris Re (Stanford-Professor), Eric Glyman (Mitgründer von Ramp) und vielen anderen zählen. Die Summe scheint verhältnismäßig niedrig im Vergleich zu Start-ups wie Cohere, Mistral oder Perplexity.
"Wir sind ein Labor für angewandte KI, das sich auf logisches Denken konzentriert, und Code ist nur der Anfang", beschreibt sich Cognition in seiner X-Bio. Durch die Verbesserung der Fähigkeit der KI, logische Schlussfolgerungen zu ziehen, glaubt Cognition, neue Möglichkeiten in verschiedenen Disziplinen zu eröffnen und Menschen weltweit dabei zu helfen, ihre Ideen in die Tat umzusetzen. Devin soll so erst der Anfang von Cognitions Entwicklungen sein.
