PRIME: KI-Modell lernt Mathematik mit einem Zehntel der üblichen Trainingsdaten

Forscher haben eine neue Methode entwickelt, um KI-Modelle auf mathematisches Denken zu trainieren. Der Ansatz namens PRIME erzielt mit nur einem Zehntel der Trainingsdaten bessere Ergebnisse als bisherige Methoden.

Das auf dem Qwen-2.5-Math-7B-Modell basierende Modell Eurus-2-7B-PRIME erreichte nach dem PRIME-Training (Process Reinforcement through Implicit Rewards) deutlich bessere Ergebnisse als seine Ausgangsversion: Konkret verbesserte sich die durchschnittliche Leistung von 32,2 Prozent auf 48,9 Prozent - ein Plus von 16,7 Prozentpunkten über alle mathematischen Benchmarks hinweg.

Das deutlich größere GPT-4o erreicht im Durchschnitt 43,3 Prozent, Llama-3.1-70B-Instruct kommt auf 35,7 Prozent. Auch das spezialisierte Qwen-2.5-Math-7B-Instruct liegt mit 43,8 Prozent unter den Werten des PRIME-trainierten Modells.

Besonders deutlich zeigt sich der Fortschritt bei den AIME-Aufgaben (American Invitational Mathematics Examination), einem der anspruchsvollsten Mathematik-Wettbewerbe für Schüler. Hier verbesserte sich das Modell von ursprünglich 3,3 Prozent auf 26,7 Prozent korrekte Lösungen. Laut dem Team erreicht GPT-4o bei AIME nur 9,3 Prozent, Llama-3.1-70B-Instruct 16,7 Prozent und Qwen-2.5-Math-7B-Instruct 13,3 Prozent.