Eine neue Forschungsarbeit zeigt, dass generative KI-Modelle ihre menschlichen Trainer übertreffen können. Die Forscher sprechen von "Transzendenz" und zeigen das Phänomen am Beispiel von Schach.
KI-Modelle werden normalerweise darauf trainiert, menschliches Verhalten nachzuahmen. Doch ist es möglich, dass diese Modelle ihre menschlichen "Trainer" in bestimmten Bereichen übertreffen können? Forscher der Harvard University, UC Santa Barbara und Princeton University zeigen in einer neuen Studie, dass dies durch sogenannte "Transzendenz" möglich ist.
Die Forscher trainierten einen Transformer auf Schachpartien von Spielern mit begrenzter Spielstärke. Das resultierende Modell, genannt "ChessFormer", konnte in einigen Fällen besser spielen als alle Spieler im Trainingsdatensatz.
Laut dem Team wird diese Transzendenz durch Low-Temperature Sampling ermöglicht. Dabei wird immer nur das Token mit der höchsten Wahrscheinlichkeit gewählt. Durch die niedrige Temperatur finde effektiv eine Art Mehrheitsentscheidung statt, die eventuelle Fehler einzelner Experten ausgleicht und so die Leistung des Modells im Schnitt über die Leistung selbst des besten Experten hebt.
ChessFormer übertifft Leistung der Trainingsdaten
In ihren Experimenten weisen die Forscher diesen Effekt dann empirisch nach. Sie trainierten mehrere ChessFormer-Modelle auf Spielen von Spielern mit maximalen ELO-Bewertungen von jeweils 1000, 1300 und 1500. Sie stellten fest, dass die Modelle ChessFormer 1000 und ChessFormer 1300 bei niedrigen Temperaturen ELO-Bewertungen bis zu 1500 erreichen konnten, was deutlich über dem Maximum der Trainingsdaten lag. Die Forscher zeigen, dass die Leistungsverbesserung bei niedriger Temperatur vor allem auf deutlich bessere Züge in einigen wenigen Spielsituationen zurückzuführen ist - vermutlich Schlüsselsituationen, die über den Ausgang einer Partie entscheiden.
Zudem stellen die Wissenschaftler fest, dass die Vielfalt der Daten eine notwendige Bedingung für eine praktisch wirksame Mehrheitsentscheidung ist. Das Modell, das nur auf Spieler bis 1500 Wertungspunkten trainiert wurde, konnte seine menschlichen Trainer nicht übertreffen. Die Forscher führen dies auf mangelnde Diversität in diesem Datensatz zurück: Spieler mit einer höheren ELO-Wertung machen weniger Fehler, die von einer Mehrheitsentscheidung ausgeglichen werden könnten.
Low-Temperature Sampling führt zum "Entrauschen von Fehlern"
Die Studie zeigt, dass es möglich ist, KI-Modelle zu entwickeln, die nicht nur menschliche Experten imitieren, sondern deren Fähigkeiten in bestimmten Bereichen sogar übertreffen können.
Die Autoren weisen jedoch darauf hin, dass ihre Ergebnisse keine Hinweise auf neuartige abstrakte Denkprozesse der KI liefern, sondern eher auf einen Entrauschungseffekt zurückzuführen sind. "Wir möchten betonen, dass wir keine Beweise dafür vorlegen, dass Low-Temperature Sampling zu neuartigen abstrakten Überlegungen führt, sondern eher zu einer Entrauschung von Fehlern", erklären sie.
