ChatGPT hat deutlich gegen Ataris Video Chess Engine von 1979 verloren. Während der Chatbot zwar solide Ratschläge gab und Taktiken erklärte, vergaß er gefangene Figuren, verwechselte Türme mit Läufern und verlor allmählich den Überblick über die Spielsituation. Die 1,19-MHz-Engine von Atari zeigte diese Schwächen nicht - sie behielt den Spielstand im Blick und hielt sich an die Regeln. Das reichte für den Sieg.

Kritiker sagen, dass Carusos Experiment Äpfel mit Birnen vergleicht, aber es unterstreicht eine zentrale Schwäche der LLMs: ChatGPT hat nicht verloren, weil es ihm an Wissen mangelte. Es hat verloren, weil es sich nicht erinnern konnte. Symbolische Systeme vergessen das Spielfeld nicht.

"Unabhängig davon, ob wir spezialisierte oder allgemeine KI vergleichen, war ihre Unfähigkeit, einen grundlegenden Zustand des Brettes von Zug zu Zug zu behalten, sehr enttäuschend. Ist das wirklich etwas anderes als das Vergessen anderer wichtiger Zusammenhänge in einem Gespräch?"

Robert Jr. Caruso