Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

CNN hat in einer Studie die beiden Chatbots ERNIE 4.0 und GPT-4 von OpenAI direkt miteinander verglichen. Der Test zeigt interessante Unterschiede und Gemeinsamkeiten in der Leistungsfähigkeit und im Einsatzbereich.

ERNIE 4.0 wurde vom chinesischen Technologieunternehmen Baidu entwickelt und im Oktober vorgestellt. Er ist seit November verfügbar und laut Baidu gleichwertig zu GPT-4.

Der Chatbot wurde in erster Linie für die chinesische Sprache entwickelt, kann aber auch auf Englisch antworten, wenn auch auf einem weniger fortgeschrittenen Niveau. GPT-4 hingegen ist in erster Linie für Englisch optimiert, kann aber auch Fragen in anderen Sprachen beantworten.

Gleiche Fragen, verschiedene Antworten

CNN gab den beiden Bots die gleichen Aufgaben, etwa E-Mails für eine Gehaltserhöhung zu schreiben oder gesunde Mahlzeiten zusammenzustellen.

Anzeige
Anzeige

Sie zeigten ähnliche Fähigkeiten. ERNIE zeichnete sich jedoch in einigen Situationen durch ein feines Gespür für den Kontext aus, indem er sensibel etwa die Stimmung im Unternehmen und Budgetgrenzen berücksichtigte. GPT-4 überzeugte mit praktischen Tipps zur überzeugenden Dokumentation der eigenen Leistungen.

Bei Fragen zu aktuellen Themen hatte der chinesische Chatbot die Nase vorn. ERNIE lieferte korrekte und aktuelle Informationen zu Themen wie dem Aufstieg von Taylor Swift zur Milliardärin und dem Tod von „Friends“-Star Matthew Perry. GPT-4 hingegen stützte sich auf bis April 2023 veraltete Informationen und wies in jeder Antwort darauf hin.

Bei der kreativen Aufgabe, ein romantisches Haiku zu schreiben, zeigte GPT-4 seine Stärke im kreativen Sprachgebrauch und in der Einhaltung der Gedichtform. ERNIE hingegen hatte Schwierigkeiten mit der Haiku-Aufgabe und verfasste stattdessen ein längeres Gedicht im Stil der traditionellen chinesischen Poesie, das jedoch die Haiku-Struktur verfehlte.

Zwischen Zensur und Fortschritt

Politisch heikle Themen brachten ERNIE ins Straucheln. Fragen zum Tiananmen-Massaker oder zur Aufhebung der Amtszeitbeschränkung durch Xi Jinping wurden von ERNIE nicht beantwortet.

Stattdessen sperrte ERNIE nach wiederholten Anfragen und ausweichenden Antworten den Account von CNN. Dies ist ein deutlicher Hinweis auf die Zensurpolitik in China bzw. die Angst des Unternehmens davor. Im Gegensatz dazu antwortete GPT-4 sachlich und beleuchtete beide Seiten der Themen.

Empfehlung
Account-Sperre nach kritischen Fragen: Der ERNIE-Bot muss Rücksicht nehmen auf die chinesische Politik. | Bild: CNN

Insgesamt scheint GPT-4 technisch einen Schritt voraus zu sein. ERNIE ist zwar auch in der Lage, Anfragen mit Videos statt nur mit Text oder Bildern zu beantworten, soll aber laut eines chinesischen Forrester-Analysten in Benchmarks insgesamt schlechter abschneiden. Offizielle Benchmark-Ergebnisse von Baidu liegen nicht vor.

Laut Baidu hat ERNIE in drei Monate 70 Millionen Nutzer erreicht. ChatGPT wird auf 150 bis 200 Millionen Nutzer pro Monat geschätzt.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • CNN verglich die Chatbots ERNIE 4.0 von Baidu und GPT-4 von OpenAI direkt miteinander und stellte fest, dass beide über ähnliche Fähigkeiten verfügten, aber Unterschiede in Bezug auf Kontextsensitivität und Kreativität aufwiesen.
  • ERNIE 4.0 lieferte aktuellere Informationen, während GPT-4 bei kreativen Aufgaben wie dem Schreiben von Haikus besser abschnitt.
  • Der wichtigste Unterschied: Politisch heikle Fragen über China führten dazu, dass ERNIE den CNN-Account sperrte. GPT-4 beantwortete solche Fragen sachlich und möglichst ausgewogen.
Quellen
Michelangelo ist Online-Journalist bei THE DECODER und leidenschaftlicher Technik-Copywriter, der seine Expertise aus der Welt der Elektrotechnik in lebendige Texte verwandelt.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!