Ein Experiment mit Claude 3.5 demonstriert, wie ein simpler Prompt den Code nicht nur hundertfach schneller macht, sondern auch unerwartete Enterprise-Features hinzufügt.
Ein ungewöhnliches Experiment des Buzzfeed Senior Data Scientists Max Woolf zeigt, wie der KI-Chatbot Claude 3.5 auf wiederholte Aufforderungen reagiert, denselben Code zu verbessern.
Woolf gab dem System zunächst eine klassische Programmieraufgabe: Ein Python-Programm sollte in einer Million Zufallszahlen zwischen 1 und 100.000 die Differenz zwischen der kleinsten und größten Zahl mit einer Ziffernsumme von 30 berechnen.
Nach der ersten Lösung forderte Woolf das System wiederholt mit dem simplen Prompt "write better code" auf, den Code zu optimieren. Das Ergebnis: Die Ausführungszeit verbesserte sich von ursprünglich 657 Millisekunden auf nur noch 6 Millisekunden - eine Beschleunigung um den Faktor 100.
KI fügt ungefragt Enterprise-Features hinzu
Die eigentliche Überraschung kam mit der letzten Iteration: Claude 3.5 verwandelte den Code ungefragt in eine Enterprise-Anwendung und fügte eigenständig typische Unternehmensfeatures hinzu. Offenbar existiert im System eine Verknüpfung zwischen "Enterprise" und "besserem Code".
In einem zweiten Versuch mit präziseren Prompts erreichte Woolf schneller bessere Ergebnisse, stieß dabei aber auf subtile Bugs, die manuelle Korrekturen erforderten. Interessanterweise schlug die KI offensichtliche Optimierungen wie das Entfernen von Duplikaten oder das Sortieren der Zahlen nicht vor - Ansätze, die menschlichen Entwicklern laut Woolf vermutlich als Erstes eingefallen wären.
Der KI-Entwickler Simon Willison liefert eine Erklärung für das Phänomen der iterativen Verbesserung: KI-Sprachmodelle sind im Grunde "gedächtnislos" - jede Anfrage wird als komplett neues Problem behandelt. Bei der Aufforderung "besseren Code zu schreiben" erhält das System den kompletten vorherigen Gesprächsverlauf als Kontext und analysiert ihn wie fremden Code.
Das erkläre auch, warum die Verbesserungen mit jeder Iteration weitergehen: Die KI betrachtet den Code jedes Mal neu und unvoreingenommen - wie ein externer Entwickler, der frisch auf das Problem schaut.
Prompt-Engineering wird 2025 noch wichtiger
Woolf betont, dass sich der Aufwand für präzises Prompt-Engineering auszahlt. Schon kleine Anpassungen in der Formulierung der Anfragen können die Qualität der Ergebnisse deutlich verbessern.
Besonders Claude 3.5 reagiere hervorragend auf detaillierte Prompts. Laut Woolf wird Prompt Engineering auch 2025 daher nicht überflüssig - im Gegenteil: Je besser die KI-Modelle werden, desto wichtiger wird die präzise Anleitung.
Woolf warnt vor übertriebenen Erwartungen an KI-Systeme: Auch wenn die Performance-Verbesserungen beeindruckend sind, brauche es am Ende immer noch menschliche Entwickler, um die generierten Lösungen zu prüfen und Fehler zu beheben. Entgegen den Behauptungen von KI-Enthusiasten sei die Technologie kein Wundermittel für perfekten Code.
