Forscher haben herausgefunden, dass spezielle KI-Modelle komplizierte Aufgaben genauso gut lösen können, wenn sie statt ganzer Sätze nur Punkte wie "......" verwenden. Das könnte es schwieriger machen, zu kontrollieren, was in diesen Modellen vor sich geht.
Forschende des Center for Data Science der New York University trainierten Llama-Sprachmodelle darauf, eine knifflige Matheaufgabe namens "3SUM" zu lösen. Dabei muss das Modell drei Zahlen finden, die zusammen null ergeben.
Normalerweise lösen KI-Modelle solche Aufgaben, indem sie Schritt für Schritt in ganzen Sätzen erklären, wie sie vorgehen - das sogenannte "Chain of thought"-Prompting. Die Forscher ersetzten diese Erklärungen in natürlicher Sprache jedoch durch die Wiederholung von Punkten.
Überraschenderweise waren die Modelle mit Punkten genauso gut wie die Modelle mit Erklärungen. Je schwieriger die Aufgaben wurden, desto besser waren die Modelle mit Punkten im Vergleich zu den Modellen, die direkt antworteten, ohne zwischendurch nachzudenken.
Die Forscher stellten fest, dass die Modelle die Punkte tatsächlich für Berechnungen nutzten, die für die Aufgabe wichtig waren. Je mehr Punkte dem Modell zur Verfügung standen, desto genauer war die Antwort. Dies deutet darauf hin, dass mehr Punkte dem Modell mehr "Denkkapazität" geben könnten.
Sie vermuten, dass die Punkte wie Platzhalter sind, in die das Modell verschiedene Zahlen einsetzt und prüft, ob sie die Bedingungen der Aufgabe erfüllen. Auf diese Weise kann das Modell sehr komplexe Fragen beantworten, die es nicht auf einmal lösen könnte.
Das Ergebnis geht in eine ähnliche Richtung wie ein kürzlich veröffentlichtes Forschungsergebnis, das zeigt, dass längere Chain-of-Thought-Prompts die Ergebnisse von Sprachmodellen verbessern können - auch wenn die Verlängerung in den Prompts keinen inhaltlichen Bezug zum Thema hat, es sich also nur um eine Tokenvermehrung handelt.
Verborgene Denkprozesse als KI-Sicherheitsrisiko
Mitautor Jacob Pfau sagt, dass dieses Ergebnis eine wichtige Frage im Kontext der Sicherheit von KI aufwirft: Wenn KI-Systeme in Zukunft immer mehr im Verborgenen "denken", wie können wir dann sicherstellen, dass sie zuverlässig und sicher sind?
Beliebte Chatbots wie ChatGPT beherrschen den Trick mit den Punkten nicht automatisch. Sie müssen dafür trainiert werden. Hier ist also weiter Chain-of-Thought-Prompting angesagt.
Die Forscher gehen davon aus, dass es in Zukunft sinnvoll sein könnte, KI-Systemen von Anfang an beizubringen, wie sie mit Punkten umgehen sollen, auch wenn dieser Prozess anspruchsvoll sei. Sinnvoll könnte es sein, wenn die Probleme, die LLMs lösen sollen, sehr komplex sind und nicht in einem Schritt gelöst werden können.
Außerdem müssen die Daten, mit denen die KI trainiert wird, genügend Beispiele enthalten, in denen das Problem in kleinere Teile zerlegt ist, die gleichzeitig bearbeitet werden können.
Wenn diese Bedingungen erfüllt sind, könnte die Punktmethode auch in normalen KI-Systemen eingesetzt werden. Das könnte ihnen helfen, schwierige Fragen zu beantworten, ohne dass es direkt an ihren Antworten erkennbar wäre.
Das Punktesystem-Training soll allerdings anspruchsvoll sein, weil unklar ist, was genau die KI mit den Punkten berechnet, und weil die Punktmethode nicht gut für Erklärungen geeignet ist, die eine bestimmte Schrittfolge erfordern.
