Inhalt
newsletter Newsletter
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

KI-Training braucht viel Rechenleistung – oder doch nicht? OpenAI zeigt, welche großen Fortschritte KI-Training in Sachen Effizienz gemacht hat.

Der Siegeszug des Deep Learning begann 2012 mit der Bildanalyse-KI AlexNet, die den ImageNet-Wettbewerb gewann. Der “ImageNet-Durchbruch” bewies endgültig, wie vielversprechend das Deep Learning für maschinelle Lernaufgaben ist.

Ermöglicht wurde der folgende Deep-Learning-Siegeszug durch leistungsstarke Grafikkarten, die besser für das KI-Training geeignet sind als bis dato gängige Prozessoren. Es zeigte sich, was KI-Forscher Rich Sutton „die bittere Lektion“ nennt: KI-Methoden, die rein auf maschinelles Lernen und viel Rechenleistung setzen, sind den zuvor verwendeten Methoden, die aufwendig per Hand konstruierte Systeme mit menschlichem Input nutzen, haushoch überlegen.

Anders gesagt: Eine KI benötigt kein aufwendiges Einprogrammieren von Wissen und keine tiefgreifenden Einblicke in unsere eigenen mentalen Fähigkeiten. Wir müssen nur genug Daten in ein neuronales Netzwerk mit genug Rechenleistung schaufeln.

Anzeige
Anzeige

KI-Training muss günstiger werden

Die verfügbare und genutzte Rechenleistung steigt seitdem immer weiter an, da noch größere neuronale Netzwerke mit noch mehr Daten trainiert werden. Die daraus resultierenden Künstlichen Intelligenzen analysieren Bilder noch exakter oder übersetzen Sprachen auf hohem Niveau.

Gleichzeitig gibt es Bemühungen, die notwendige Rechenleistung für das KI-Training zu reduzieren. Denn die ist einerseits teuer. Andererseits sollen KIs für neue Anwendungsszenarien auch auf Hardware mit wenig Rechenleistung trainiert werden können - so wie Smartphones. Derzeit laufen dort hauptsächlich vortrainierte Modelle, was weniger flexibel ist.

OpenAI, dessen Mitgründer Ilya Sutskever auch an AlexNet arbeitete, zeigt nun, wie erfolgreich Forscher in den letzten Jahren die für das KI-Training notwendige Rechenleistung reduziert haben. Die Grundlage für diesen Fortschritt bilden effizientere Algorithmen, die schneller Lernen und mit kleineren Netzwerken auskommen.

KI-Training 2020: Viel effizienter als noch vor wenigen Jahren

Bildanalyse

Die bei ImageNet so erfolgreiche Bildanalyse-KI „AlexNet“ erscheint Ende 2012. Sieben Jahre später hat sich die benötigte Rechenleistung für die gleiche Leistung im ImageNet-Text mit Googles Bildanalyse-KI „EfficientNet“ um den Faktor 44 reduziert.

In sieben Jahren ist die notwendige Rechenleistung für das Training stetig gesunken. Bild: OpenAI.
In sieben Jahren ist die notwendige Rechenleistung für das Training stetig gesunken. Bild: OpenAI.

Die für den ImageNet-Test notwendige Rechenleistung habe sich alle 16 Monate um den Faktor zwei reduziert, schreibt OpenAI.

Empfehlung
EfficientNet trainiert am effizientesten. Auch die genauere Variante EfficientNet (b1) reduziert die benötigte Rechenleistung im Vergleich zur Konkurrenz um den Faktor 10. Bild: OpenAI.
EfficientNet trainiert am effizientesten. Auch die genauere Variante EfficientNet (b1) reduziert die benötigte Rechenleistung im Vergleich zur Konkurrenz um den Faktor 10. Bild: OpenAI.

Übersetzung

Auch bei Übersetzungs-KIs gibt es große Fortschritte in Sachen Trainingseffizienz: Die mittlerweile standardmäßig genutzte Transformerarchitektur, die die Grundlage für die Übersetzungsfunktion legt, erlaube im Vergleich zur vorher genutzten seq2seq-Architketur bessere Übersetzungen bei einer im Vergleich um den Faktor 61 reduzierten Rechenleistung. Dieser Fortschritt gelang innerhalb von nur drei Jahren.

Eine größere und leistungsstärkere Transformer-Architektur braucht auch mehr Training. Dennoch ist das Training noch um den Faktor 9 effizienter als bei Googles alter Übersetzungsarchitektur GNMT. Bild: OpenAI.
Eine größere und leistungsstärkere Transformerarchitektur braucht auch mehr Training. Dennoch ist das Training noch um den Faktor 9 effizienter als bei Googles alter Übersetzungsarchitektur GNMT. Bild: OpenAI.

Spieleleistung

Auch die besonders aufwendig trainierten Spiele-KIs von Google und OpenAI sind effizienter geworden: Googles Brettspiel-KI AlphaZero habe achtmal weniger Rechenpower benötigt als AlphaGoZero. Die Dota-KI Open AI Five Rerun benötigte fünfmal weniger als die erste Version von Five.

AlphaZero: Laut Google das Sprungbrett zur allgemeinen KI
Googles AlphaZero-KI ist effizienter und vielseitiger als ihr Vorgängermodell. Bild: Deepmind

Mehr als Selbstzweck

OpenAI möchte die Bestenliste der effizientesten KIs weiterpflegen mit dem Ziel, ein besseres Verständnis für Fortschritt in der KI-Forschung zu entwickeln.

Womöglich ließe sich so eine Art Gesetz finden, das eine ähnliche Vorhersagekraft für Effizienzgewinne wie das Mooresche Gesetz für das Wachstum von Rechenleistung bietet. Besonders effiziente KIs seien darüber hinaus gute Kandidaten, um durch Weiterentwicklungen noch bessere Leistung zu erzielen.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Aktuell erfasst OpenAI Effizienz-Benchmarks für Bildanalyse und Übersetzungen. In Zukunft sollen noch weitere Benchmarks hinzukommen. Die aktuelle Version der Bestenliste ist bei Github verfügbar.

Quelle: OpenAI

Weiterlesen über Künstliche Intelligenz:

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!