KI in der Praxis

ChatGPT im Test: Schlägt OpenAIs Text-KI unsere Redaktion?

Maximilian Schreiner
Eine Schreimaschine ist groß im Bild, dahinter ist ein Redakteur, der in Gedanken ist und den Blick nach unten richtet. Das Bild wirkt fotorealistisch, ist aber KI-generiert.

Midjourney prompted by THE DECODER

Wir fassen unsere Artikel für unsere Leser:innen in kurzen Stichpunkten zusammen. Doch wie schneiden wir im Vergleich zu einer KI-Zusammenfassung ab?

Als wir THE DECODER entworfen, entschloss sich unser Team, unseren Leser:innen die wesentlichen Punkte unserer Artikel in einer kurzen Zusammenfassung zu bieten. Vor dem Start der Webseite testeten wir auch, inwiefern große Sprachmodelle wie OpenAIs GPT-3 diesen Job übernehmen können. Unser Ergebnis: Die KI-Zusammenfassungen waren okay, übersahen jedoch immer wieder wichtige Punkte im Text.

Doch OpenAI verbesserte die GPT-Modelle in den vergangenen Monaten weiter mit menschlichem Feedback. Die seit Anfang 2022 verfügbaren GPT-3.5-Modelle, wie sie OpenAI nennt, bilden auch die Grundlage für den neuen Test mit ChatGPT.

Das Modell verarbeitete für das Training zusätzlich Dialogdaten von Menschen, OpenAI nennt sie KI-Trainer, die sowohl ihren Text als auch jenen des KI-Assistenten schrieben. Diese KI-Trainer hatten Zugang auf modellierte Vorschläge, die ihnen beim Verfassen von Antworten halfen.

Schreibt ChatGPT bessere Zusammenfassungen als wir?

ChatGPT hat seit Veröffentlichung enorm viel Aufmerksamkeit erregt, wie wir in unserer Übersicht über die besten ChatGPT-Demos zeigen. Teil dieser Demos sind beeindruckende, von ChatGPT erstellte Zusammenfassungen. KI-Tools wie Bearly.AI oder SumUp bringen diese Fähigkeit nur einen Klick entfernt in jeden Browser.

Zeit also, KI-Zusammenfassungen eine neue Chance zu geben. Hier sind fünf unserer Artikel-Zusammenfassungen und was ChatGPT aus dem gleichen Text macht. Für alle Beispiele wurde der Prompt "Fasse den Text in wenigen Stichpunkten zusammen" vor den Artikel gestellt und die erste Ausgabe genutzt.

Deepminds "Dramatron" soll Film- und Theater-Skripts schreiben

Zusammenfassung THE DECODER

Zusammenfassung ChatGPT

 

Roboter-Technologie macht große Fortschritte durch Video-Lernen

Zusammenfassung THE DECODER

Zusammenfassung ChatGPT

Multimodale Prompts sind der Schlüssel zu präziseren Bild-KI Systemen

Zusammenfassung THE DECODER

Zusammenfassung ChatGPT

Nvidia und Deutsche Bank schließen KI-Partnerschaft

Zusammenfassung THE DECODER

Zusammenfassung ChatGPT

ChatGPT ist ein GPT-3-Chatbot von OpenAI, den du jetzt testen kannst

Zusammenfassung THE DECODER

Zusammenfassung ChatGPT

ChatGPT-Zusammenfassungen: Prompt-Engineering für "Key Takeaways"

Die Zusammenfassungen gab ChatGPT als Fließtext aus, ich habe sie in Stichpunkte übertragen. Das erklärt wohl auch die Ausführlichkeit der Zusammenfassungen, die besonders im Artikel über die Kooperation zwischen Nvidia und der Deutschen Bank deutlich wird - mein Prompt bringt ChatGPT nicht dazu, sich kurzzuhalten.

Alle Zusammenfassungen umfassen die Kernpunkte der Artikel. Lediglich im Beispiel des VideoDex-Artikels fehlt eine wichtige Information: Das System schneidet besser ab als alternative Systeme.

Mit dem Prompt "Zähle drei Key-Takeaways aus diesem Text in Deutsch auf" kann ich die Ausgabe von ChatGPT deutlich kürzen und direkt in einer Aufzählung ausgeben. Hier das Beispiel aus dem Nvidia-Artikel:

Zusammenfassung ChatGPT

Das sind 52 Wörter statt 85. Mit "Zähle zwei Key-Takeaways aus diesem Text in Deutsch auf" sind es nur noch 33:

Zusammenfassung ChatGPT

  1. Die Deutsche Bank und Nvidia arbeiten zusammen, um Finanzdienstleistungen mit KI zu verbessern.
  2. Die Partnerschaft wird sich auf die Entwicklung von intelligenten Avataren, großen Sprachmodellen und Cloud-Transformationen der Deutschen Bank konzentrieren.

OpenAIs ChatGPT könnte meinen Job erleichtern, stellt sich aber zum Schluss selbst noch ein Bein

In meiner Stichprobe scheint ChatGPT also als Hilfsmittel für unsere Redaktion zu taugen. Ob ChatGPT oder andere großen Sprachmodelle unsere Arbeit erleichtern können - und wie wirtschaftlich das ist - kann nur ein langfristiger Test zeigen.

Hier die drei Key Takeaways, die ChatGPT aus diesem Artikel liest - und sich damit nach diesen bisher beeindruckenden Ergebnissen doch noch selbst untergräbt:

  1. Der THE DECODER bietet seinen Leser:innen die Möglichkeit, wesentliche Punkte von Artikeln in einer Zusammenfassung nachzulesen.
  2. Das Team von THE DECODER testete, ob große Sprachmodelle wie OpenAIs GPT-3 diesen Job übernehmen können. Die Ergebnisse waren okay, aber wichtige Punkte wurden immer wieder übersehen.
  3. ChatGPT ist ein Modell von OpenAI, das durch das Training mit Dialogdaten von menschlichen KI-Trainern verbessert wurde und in der Lage ist, beeindruckende Zusammenfassungen zu erstellen.

"Immer wieder" also. Schade eigentlich, ich schreibe dann mal schnell eine Zusammenfassung.