Der Code-Interpreter ist wahrscheinlich das interessanteste ChatGPT-Plugin von OpenAI und eröffnet völlig neue Anwendungsmöglichkeiten.
Ende März hat OpenAI eine bahnbrechende Neuerung für ChatGPT vorgestellt: Plugins. Eines davon ist ein sogenannter Code-Interpreter. Damit kann das Sprachmodell nicht nur Code generieren, sondern diesen auch selbstständig ausführen.
Wie schon bei Auto-GPT hat die fleißige Entwickler:innenszene in kürzester Zeit spannende Anwendungsfälle für diese Technologie gefunden. Vor allem für den Datenjournalismus und ähnliche datenbasierte Analysen scheint das Tool völlig neue Wege zu eröffnen. Das liegt auch an der Möglichkeit, bis zu 100 MB große Dateien hoch- und herunterzuladen.
Wir haben einige der spannendsten Demonstrationen des Code-Interpreters von ChatGPT zusammengestellt.
Daten visualisieren
Wie bereits erwähnt, liegt die besondere Stärke des Code-Interpreters in der Visualisierung von Daten. Dabei ist die Software nicht an eine bestimmte Art der Darstellung oder Grafik gebunden. Die Fähigkeiten reichen von einfachen Balkendiagrammen bis zu komplexeren und weniger bekannten Darstellungen.
So it looks like ChatGPT with Code Interpreter can do basically any visualization technique you ask. And you can tell it to make charts "more beautiful"
(I actually asked it to generate artificial data to create the charts to show what they could do, which the AI happily did😬) pic.twitter.com/CsmRO8vDe1
— Ethan Mollick (@emollick) May 2, 2023
Daten bereinigen und synthetische Daten generieren
ChatGPT kann Daten bereinigen oder synthetische Daten generieren. Ganz fehlerfrei agiert die KI dabei nicht: "Wenn man etwas mit viel Text eingibt, scheint sie es zu tokenisieren, und die Daten, die man bereinigt, kommen manchmal etwas zerstückelt zurück", stellt die Datenwissenschaftlerin Kathryn Cramer auf Twitter fest.
The code interpreter feature on ChatGPT is the most mind blowing thing I've seen yet.
All I did was upload a CSV of SF crime data and ask it to visualize trends(!!) pic.twitter.com/pkFdPqgAzb
— John Backus (@backus) April 29, 2023
Bitcoin-Kurse analysieren
Der Code-Interpreter kann auch Bitcoin-Kurse analysieren, wie Twitter-Nutzer @TechMemeKing beweist. Einmal einen Datensatz hochgeladen, akzeptiert das ChatGPT-Plugin verschiedene Prompts, um die Daten etwa als Linien- oder Balkendiagramm darzustellen. "Ich habe das mit einem iPhone gemacht, während ich im Bett lag ... Dies ist ein entscheidender Fortschritt für die explorative Datenanalyse", kommentiert er.
Prompts
Graph the log price of bitcoin
Seasonally decompose the price since 2011
Give me the bitcoin price variance vs average by day as well as the average price by month
Graph the log distribution of prices
Graph common moving averages
ChatGPT code interpreter plug-in is OVERPOWERED🔥
I asked it to analyze a Bitcoin dataset that I downloaded with my IPhone 👇🏼 pic.twitter.com/eCfHhPeQfC
— CodeHumor (@TechMemeKing) May 2, 2023
Eigenen Musikgeschmack analysieren
Einen Schritt weiter ging der Twitter-Nutzer @SHL0MS, der eine rund 300 Stunden lange Spotify-Playlist mit all seinen Lieblingssongs analysierte. ChatGPT sorgte für die Visualisierung und half bei der Datenbeschaffung. Zuvor erklärte es, wie man die Spotify-API anzapft.
analyzing a 300hr Spotify favorites playlist with ChatGPT Code Interpreter
i used to use a Jupyter notebook some guy made for PCA analysis but it broke
GPT showed me how to export from the Spotify API, ran multidimensional PCA and t-SNE analyses, and summarized my taste for me pic.twitter.com/cVmUvuuRdM
— █̶̳̘͛̄̃͒̄̃͜█̴͇̱̅͒̅█̵̻̣̝͒̈̄̈͝͝█̴̞̜̻̝͍̂̽͜█̷̢͔̭̝̼̾̍̚ (@SHL0MS) May 1, 2023
HTML-Seite erstellen
Während ChatGPT in den vorherigen Beispielen die Daten in Form von Bildern visualisiert hat, hat Patrick Blumenthal einen Weg gefunden, sich das Ergebnis als HTML-Seite ausgeben zu lassen. Nachdem er einen unbereinigten Datensatz hochgeladen hat, hat der Code-Interpreter eine voll funktionsfähige HTML-Seite generiert. Ursprünglich sei es eine Weltkarte gewesen, auf Wunsch konnte ChatGPT die Karte aber auch auf Nordamerika zuschneiden.
OpenAI's new Code Interpreter model is incredible for data visualization. I fed it an unpolished dataset of UFO sightings and it generated a fully-functioning HTML heat map for me.
Here's a static version (it easily lets me create as many versions as I want) pic.twitter.com/mDVU2Rp8BR
— Patrick Blumenthal (@PatrickJBlum) April 29, 2023
Animierte GIFs erstellen
Neben der Datenverarbeitung verfügt der Code-Interpreter auch über begrenzte Multimedia-Kenntnisse. Mit einer kurzen Eingabeaufforderung kann z.B. eine GIF-Animation erzeugt werden.
Prompt
Make a 512x512 GIF with falling green Matrix letters. Assume no fonts. 30 frames 5 fps. No talk, just go.
ChatGPT Code Interpreter (alpha) renders an animated GIF: pic.twitter.com/2txArURcu1
— Riley Goodside (@goodside) April 28, 2023
Die Fähigkeit, GIFs aus dem Nichts zu erstellen, kann mit den oben beschriebenen Möglichkeiten der Datenanalyse kombiniert werden. Wie hier zur Darstellung aller Leuchtturmstandorte in den USA.
Prompt
Create a gif of a map of the lighthouse locations, where the map is very dark but each lighthouse twinkles
This was kind of delightful: I uploaded a CSV file of every lighthouse location in the US.
"ChatGPT Code Interpreter: Create a gif of a map of the lighthouse locations, where the map is very dark but each lighthouse twinkles." A couple seconds later... pic.twitter.com/f14JLWQCyB
— Ethan Mollick (@emollick) May 2, 2023
Einfache Videobearbeitung
Der Code-Interpreter beherrscht weitere Dateiformate neben GIFs. So hat Prompt Engineer Riley Goodside ein GIF hochgeladen und ChatGPT gebeten, es in ein MP4 mit dramatischem Zoom zu konvertieren. ChatGPT kann die Daten nicht lange speichern, bittet aber im Zweifelsfall um einen erneuten Upload.
Prompt
I'll upload a gif and you give me a 5s mp4 with a dramatic slow zoom-in. No talk; just go.
came back 1hr later to make a 10s version and check if my upload was still in the mount dir. it wasn’t, but GPT was smart enough to figure out what happened and ask for a re-upload: pic.twitter.com/52FEyb5ZuI
— Riley Goodside (@goodside) April 30, 2023
Farb-Palette aus Bild erstellen
ChatGPT kann mit dem aktivierten Code-Interpreter eine Farbpalette aus einem Bild erstellen. Dank der Upload- und Download-Funktionen extrahiert es Farben aus einem Bild und erstellt anschließend eine "palette.png". Wenn der Speicherplatz knapp ist, kann es auch große Bilder automatisch komprimieren, was das Sprachmodell hinter ChatGPT auch für Designer:innen zu einem praktischeren Werkzeug macht.
Prompt
Create a script that extract the top 5 colors from a picture then make into a palette.png to download, wait for the image upload
ChatGPT Code Interpreter is incredible! 🌟
Its file uploading & downloading capabilities make it a super flexible tool for various tasks. 💼
Here it extracts colors from an image to create a palette.png 🎨
And automatically compresses large images when running out of memory. pic.twitter.com/i25yPujtBV
— Pietro Schirano (@skirano) May 1, 2023
Bild in Text umwandeln mit OCR
Der Code-Interpreter verbessert allgemein die multimodalen Fähigkeiten von ChatGPT. Das bedeutet auch, dass es etwa möglich ist, Bilder schnell in Textdateien umzuwandeln. Essenzielles Stichwort für diesen Skill ist OCR (optical character recognition), den etwa Scanner beherrschen. Mit dem entsprechenden Prompt bittet ChatGPT um den Upload der Datei, um sie anschließend zu verarbeiten und den Text auszugeben.
Prompt
OCR an image for me and generate a text file
Multimodal AI is here 🤯
GPT-4 can now turn your images into a text file in a snap with the new code interpreter model.
Witness the OCR magic in action 🔥 pic.twitter.com/c9mnJfiweg
— Shubham Saboo (@Saboo_Shubham_) May 5, 2023
Sound generieren
"Als ich feststellte, dass ChatGPT eine Menge mathematischer Daten versteht und CI herunterladbare Dateien erzeugen kann, bat ich ChatGPT, einen Shepard-Ton zu erzeugen (eine Klangillusion, die scheinbar immer höher wird)", berichtet Andre Mayne in seinem Blog. Zunächst zeigte ChatGPT diesen Ton als Graphen, konnte es per Code-Interpreter jedoch auch als WAV-Datei ausgeben.
Prompt
Create a Shepard tone and save it as a wav
QR-Codes erstellen
Auch wenn es dafür zahlreiche, auch kostenlose Dienste im Internet gibt: Der Vollständigkeit halber sei hier erwähnt, dass ChatGPT mit dem Code-Interpreter QR-Codes generieren kann, die sich anschließend als Grafik herunterladen und weiterverwenden lassen.
Prompt
Create a QR code for OpenAI.com
Gesichter in Bildern erkennen
Da der Code-Interpreter Zugriff auf zahlreiche Python-Bibliotheken hat, kann er beispielsweise auch solche nutzen, um Gesichter zu erkennen, wie Andrew Mayne unter Beweis stellt. Dafür nutzt er in diesem Fall den "Haar Cascade Classifier".
Bilder in ASCII umwandeln
Der Code-Interpreter kann Bilder öffnen und daraus Grafiken erstellen. Auf diese Weise wird etwa ein gezeichnetes Kunstwerk zu einer ASCII-Grafik.
Code-Interpreter für alle Plus-Kund:innen verfügbar
Zunächst befand sich der Code-Interpreter nur in einer geschlossenen Beta, seit Anfang Juli ist das Plugin für alle zahlenden Plus-Kund:innen von ChatGPT verfügbar. Um die Funktion zu nutzen, muss der Interpreter jedoch erst in den Einstellungen unter "Beta features" aktiviert werden, um ihn anschließend in GPT-4 auswählen zu können.
