Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Das "Tree of Thoughts"-Framework kombiniert Entscheidungsbäume mit GPT-4 und verbessert so die Problemlösungsfähigkeiten des Sprachmodells dramatisch.

"Tree of Thoughts" ist ein neues Framework von Forschenden der Princeton University und Google DeepMind für die Inferenz von Sprachmodellen wie GPT-4, das von Prompt-Engineering-Methoden wie "Chain of Thought" inspiriert ist. Im Gegensatz zu diesen basiert ToT jedoch nicht nur auf Prompting, sondern verwendet ein externes Modul, um Textabschnitte, die das Team als "Gedanken" bezeichnet, als Zwischenschritte für die Problemlösung zu verwenden.

Tree of Thought übernimmt Elemente von bekannten Prompting-Strategien, ist aber ein komplettes Framework. | Bild: Yao et al.

Dem Team zufolge ermöglicht ToT GPT-4, Entscheidungen zu treffen, indem verschiedene Argumentationspfade in Betracht gezogen werden und die eigenen Entscheidungen selbst bewertet werden, um die nächsten Handlungsschritte zu bestimmen. Zudem kann da System im Entscheidungsbaum vorwärts oder rückwärts gehen, wenn eine Entscheidung getroffen werden muss.

In Experimenten zeigt das Team, dass das ToT-Framework die Problemlösefähigkeiten von GPT-4 zum Teil dramatisch verbessert. Während GPT-4 beispielsweise in "Game of 24" mit Chain-of-Thought-Prompting nur 4 Prozent der Aufgaben lösen kann, erreicht das Sprachmodell mit ToT eine Erfolgsquote von 74 Prozent. Auch bei Mini-Kreuzworträtseln oder kreativen Schreibaufgaben verbessert die Methode die Ergebnisse von GPT-4 signifikant.

Anzeige
Anzeige

GPT-4 und AlphaZero finden zusammen

So kombiniert ToT die rudimentären Fähigkeiten großer Sprachmodelle wie GPT-4 zum logischen Schlussfolgern mit der Suche, wie sie in KI-Systemen wie AlphaZero verwendet wird. Anders als das KI-System von DeepMind lernt ToT keine Heuristiken, sondern verwendet GPT-4, um über die nächsten Schritte im Entscheidungsbaum nachzudenken. Nach Angaben des Teams ist ToT auch von Daniel Kahnemans Unterscheidung zwischen System 1 und System 2 inspiriert.

Tree of Thoughts bietet eine Möglichkeit, klassisches Problemlösungswissen in praktikable Methoden für moderne LMs zu übersetzen. Gleichzeitig beheben LMs eine Schwäche dieser klassischen Methoden, indem sie einen Weg bieten, komplexe Probleme zu lösen, die nicht leicht zu formalisieren sind, wie etwa kreatives Schreiben.

Yao et al.

In einem weiteren Preprint zeigt ein Forscher von Theta Labs ebenfalls eine "Tree-of-Thought"-Methode und signifikante Verbesserungen bei Sudoku-Puzzles. Der Autor nennt die von AlphaZero bekannten Self-Play-Techniken als interessante Forschungsrichtung. Eine ähnliche Methode könnte es dem ToT-System ermöglichen, neuartige Problemlösungsstrategien zu entwickeln, die im Trainingstextkorpus der Sprachmodelle nicht zu finden sind.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Das "Tree of Thoughts" (ToT) Framework verbessert die Problemlösungsfähigkeiten von GPT-4 durch Entscheidungsbäume.
  • ToT ermöglicht GPT-4, eigene Entscheidungen zu überdenken und mehrere Lösungswege zu prüfen.
  • Inspiriert von AlphaZero, kombiniert ToT logisches Schlussfolgern von Sprachmodellen mit KI-Suchstrategien.
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!