Jerry Tworek, ehemaliger VP of Research bei OpenAI, sieht ein grundlegendes Problem bei aktuellen KI-Modellen: Sie können nicht aus Fehlern lernen. "Wenn ein Modell scheitert, steht man ziemlich schnell hilflos da", sagt Tworek im Podcast Unsupervised Learning. Es gebe keinen guten Weg für ein Modell, sein Wissen nach einem Misserfolg zu aktualisieren.
Der Forscher, der an OpenAIs Reasoning-Modellen wie o1 und o3 mitarbeitete, hat OpenAI kürzlich verlassen, um dieses Problem zu lösen. Seine AGI-Prognosen hat er nach oben korrigiert. "Solange Modelle bei Problemen steckenbleiben, würde ich es nicht AGI nennen", erklärt er. KI-Training sei ein "fragiler Prozess". Menschliches Lernen sei dagegen robust und könne sich selbst stabilisieren. Intelligenz finde immer einen Weg, so Tworek.
Apple-Forscher zeigten kürzlich, dass auch Reasoning-Modelle bei schwierigen Problemen wie den "Türmen von Hanoi" einen "Reasoning-Kollaps" erleiden können. Auch andere Paper beschreiben diese Fragilität, auf die sich Tworek hier bezieht.
