Inhalt
summary Zusammenfassung

Was braucht es noch, um die logische Unfähigkeit großer Sprachmodelle zu beweisen? Einfache Planungsrätsel sind en vogue.

Anzeige

Aktuelle Sprachmodelle sind nicht in der Lage, verlässlich eine stark vereinfachte Version des Wolf-Ziege-Kohl-Problems zuverlässig zu lösen, bei dem es für das LLM unter anderem darum geht, eine logische Verbindung zwischen "Bauer" als Rolle des Menschen und "Schaf" als Tierart herzustellen und die optimale Anzahl von Flussüberquerungen zu planen. Mitunter liefern die Modlle absurde Lösungen mit fünf statt einer Überquerung.

"Ein Bauer will mit zwei Hühnern einen Fluss überqueren. Sein Boot hat nur Platz für eine Person und zwei Tiere. Wie viele Überquerungen braucht der Bauer mindestens, um mit seinen Hühnern auf die andere Seite zu gelangen?"

Bei X zeigen die Nutzerinnen und Nutzer zahlreiche Variationen des Rätsels, die teilweise zu absurden Ergebnissen führen und demonstrieren, dass das Sprachmodell zum Teil nicht einmal die eigentliche Aufgabe richtig berücksichtigt.

So heißt es im folgenden Aufgabenbeispiel, der Bauer müsse den Fluss gar nicht überqueren. Dennoch schlägt das LLM insgesamt neun Überquerungen vor, bei denen die im Rätsel erwähnten Wölfe garantiert alle Hühner gefressen hätten, da der Bauer seine Hühner ständig mit den Wölfen allein gelassen hätte. Eine Bedingung war jedoch, dass der Bauer die Hühner nie allein ließ, was möglich gewesen wäre, da er laut Rätsel den Fluss gar nicht überqueren wollte.

Anzeige
Anzeige
Bild: Alex Tabarrok via X

Mit alternativen Prompts können die Modelle auch korrekte Ergebnisse liefern, aber letztlich unterstreicht das nur die Tatsache, dass LLMs "keinen gesunden Menschenverstand, kein Weltverständnis und keine Fähigkeit zu planen (und zu denken)" haben. Auch aktuelle Forschungen bestätigen, dass Sprachmodelle nicht in der Lage sind, selbst einfachste Rätsel mit minimalem logischem Aufwand zuverlässig zu lösen.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Aktuelle Sprachmodelle sind nicht in der Lage, selbst stark vereinfachte Versionen des klassischen Wolf-Ziege-Kohl-Problems verlässlich zu lösen, bei dem es für das LLM darum geht, logische Verbindungen zwischen Rollen und Tierarten herzustellen und die optimale Anzahl von Flussüberquerungen zu planen.
  • In Variationen des Rätsels liefern die Modelle teilweise absurde Lösungen mit unnötig vielen Überquerungen und berücksichtigen zum Teil nicht einmal die eigentlichen Bedingungen der Aufgabe korrekt.
  • Auch wenn die Modelle mit alternativen Prompts zu korrekten Ergebnissen kommen können, unterstreicht dies letztlich nur, dass ihnen ein grundlegendes Verständnis von Logik, Planung und Zusammenhängen in der realen Welt fehlt.
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!