CNN hat in einer Studie die beiden Chatbots ERNIE 4.0 und GPT-4 von OpenAI direkt miteinander verglichen. Der Test zeigt interessante Unterschiede und Gemeinsamkeiten in der Leistungsfähigkeit und im Einsatzbereich.
ERNIE 4.0 wurde vom chinesischen Technologieunternehmen Baidu entwickelt und im Oktober vorgestellt. Er ist seit November verfügbar und laut Baidu gleichwertig zu GPT-4.
Der Chatbot wurde in erster Linie für die chinesische Sprache entwickelt, kann aber auch auf Englisch antworten, wenn auch auf einem weniger fortgeschrittenen Niveau. GPT-4 hingegen ist in erster Linie für Englisch optimiert, kann aber auch Fragen in anderen Sprachen beantworten.
Gleiche Fragen, verschiedene Antworten
CNN gab den beiden Bots die gleichen Aufgaben, etwa E-Mails für eine Gehaltserhöhung zu schreiben oder gesunde Mahlzeiten zusammenzustellen.
Sie zeigten ähnliche Fähigkeiten. ERNIE zeichnete sich jedoch in einigen Situationen durch ein feines Gespür für den Kontext aus, indem er sensibel etwa die Stimmung im Unternehmen und Budgetgrenzen berücksichtigte. GPT-4 überzeugte mit praktischen Tipps zur überzeugenden Dokumentation der eigenen Leistungen.
Bei Fragen zu aktuellen Themen hatte der chinesische Chatbot die Nase vorn. ERNIE lieferte korrekte und aktuelle Informationen zu Themen wie dem Aufstieg von Taylor Swift zur Milliardärin und dem Tod von „Friends“-Star Matthew Perry. GPT-4 hingegen stützte sich auf bis April 2023 veraltete Informationen und wies in jeder Antwort darauf hin.
Bei der kreativen Aufgabe, ein romantisches Haiku zu schreiben, zeigte GPT-4 seine Stärke im kreativen Sprachgebrauch und in der Einhaltung der Gedichtform. ERNIE hingegen hatte Schwierigkeiten mit der Haiku-Aufgabe und verfasste stattdessen ein längeres Gedicht im Stil der traditionellen chinesischen Poesie, das jedoch die Haiku-Struktur verfehlte.
Zwischen Zensur und Fortschritt
Politisch heikle Themen brachten ERNIE ins Straucheln. Fragen zum Tiananmen-Massaker oder zur Aufhebung der Amtszeitbeschränkung durch Xi Jinping wurden von ERNIE nicht beantwortet.
Stattdessen sperrte ERNIE nach wiederholten Anfragen und ausweichenden Antworten den Account von CNN. Dies ist ein deutlicher Hinweis auf die Zensurpolitik in China bzw. die Angst des Unternehmens davor. Im Gegensatz dazu antwortete GPT-4 sachlich und beleuchtete beide Seiten der Themen.
Insgesamt scheint GPT-4 technisch einen Schritt voraus zu sein. ERNIE ist zwar auch in der Lage, Anfragen mit Videos statt nur mit Text oder Bildern zu beantworten, soll aber laut eines chinesischen Forrester-Analysten in Benchmarks insgesamt schlechter abschneiden. Offizielle Benchmark-Ergebnisse von Baidu liegen nicht vor.
Laut Baidu hat ERNIE in drei Monate 70 Millionen Nutzer erreicht. ChatGPT wird auf 150 bis 200 Millionen Nutzer pro Monat geschätzt.
