Plötzlich gut in Mathe: Hat Open AIs GPT-3 gelernt zu lernen?

Doch im Training hat GPT-3 ganze 470 Gigabyte Webtext gesehen - darunter auch Code-Beispiele oder Rechentabellen. Wie verwertet sie diese Symbole?

In den Experimenten zeigt sich: Das Prinzip der Wort-Vorhersage überträgt sich nahtlos von Buchstaben auf Zahlen und Sonderzeichen. So kommt es, dass GPT-3 Mathe kann – obwohl die KI nie explizit dafür trainiert wurde.

GPT-3 rechnet tatsächlich

Einen Ausblick auf diese Fähigkeit gab es bereits im Mai, als OpenAI die neue Text-KI erstmals vorstellte. In einem Abschnitt der wissenschaftlichen Arbeit untersuchen die OpenAI-Forscher die mathematischen Fähigkeiten der KI.

Die Forscher lassen dort die große Variante von GPT-3 mit 175 Milliarden Parametern gegen kleinere Varianten in der Addition, Subtraktion und Multiplikation von zwei- bis fünfstelligen Zahlen antreten.

Es zeigt sich: Das große Modell, also das besonders umfangreich trainierte, kann wesentlich besser rechnen und addiert und subtrahiert zuverlässig zwei- und dreistellige Zahlen. In anspruchsvolleren Rechenaufgaben schlägt sich das große Modell ebenfalls besser – aber liegt in 75 bis 90 Prozent der Fälle falsch und damit weit unter jeder Alltagstauglichkeit.

OpenAI prüfte außerdem, dass GPT-3 die Lösungen für die Matheaufgaben nicht einfach nur im großen Texthaufen abliest: In den Trainingsdaten finden sich lediglich 0,8 Prozent bzw. 0,1 Prozent der 2.000 getesteten Additions- und Subtraktions-Rechenaufgaben mit dreistelligen Zahlen.

Mit anderen Worten: GPT-3 hat gelernt, zu rechnen - obwohl das nie die Intention der Entwickler war.

Hat GPT-3 gelernt, zu lernen?

Experimente von Facebook zeigen, dass die von GPT-3 genutzte Transformer-Architektur in der Lage ist, komplexe mathematische Formeln zu lösen. Facebook nutzte dafür aber einen spezialisierten Datensatz, der die KI direkt für die Lösung von Formeln trainierte.

GPT-3 hingegen macht aus den mangelnden Trainingsdaten eine Tugend: Die KI lernt rechnen, um ihr eigentliches Lernziel besser zu erreichen – das nächstwahrscheinliche Zeichen in einer Zeichenfolge vorhersagen.

Das könnte ein Hinweis darauf sein, dass ausreichend vielfältig trainierte KI-Systeme wie GPT-3 gewisse generalisierte, logische Fähigkeiten erlernen können.

Da die Kurven in allen Benchmarks für GPT-3s Fähigkeiten steil nach oben zeigen, wird OpenAI wohl ein noch größeres Modell trainieren. Das könnte noch besser rechnen und neue, unerwartete Fähigkeiten zeigen.

Über OpenAIs GPT-3 und die unerwarteten Mathe-Fähigkeiten einer Text-KI sprechen wir ausführlich in unserem MIXED.de Podcast #205.

Via: Arxiv