Inhalt
newsletter Newsletter
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Oft vermutet, jetzt gemessen: Der beim KI-Training notwendige Rechenaufwand hat abhängig von der Konfiguration einen fetten CO2-Fußabdruck.

"Brute Force", so heißt es in der IT-Sprache, wenn Informatiker versuchen, ein Problem mit immer noch mehr Rechenleistung zu erschlagen, weil effiziente Algorithmen fehlen.

Nun können austrainierte KI-Algorithmen höchst effizient sein. Aber der Weg zu dieser Effizienz, also das Training, ist es häufig noch nicht. Hier heißt es: Daten verarbeiten bis zum Anschlag, bis das Ergebnis passt.

OpenAIs Team-KI Five beispielsweise, die erstmals Menschen im komplexen Strategiespiel Dota 2 besiegen konnte, hat 45.000 simulierte Jahre Spielzeit auf dem Buckel. Für diese Simulationen musste OpenAI über zehn Monate hinweg viel Strom aus der Steckdose ziehen.

Anzeige
Anzeige

Laut Googles Software-Ingenieur Cliff Young fordert das interne Brain-Team für KI-Anwendungen immer "gigantischere Maschinen". Je größer das neuronale Netzwerk, desto genauer seien auch die Ergebnisse, so Young.

Ein Ende ist derzeit nicht in Sicht: Nach einer Studie von OpenAI aus dem Mai 2018 verdoppeln KI-Systeme ihre Leistung alle dreieinhalb Monate. Der Bedarf nach mehr Rechenleistung und spezialisierter Hardware steigt entsprechend.

Die Rechenleistung Künstlicher Intelligenz nimmt exponentiell zu. Eine aktuelle Analyse zeigt den Geschwindigkeitszuwachs von 2012 bis heute. Im Vergleich zur KI-Rakete wirkt das Mooresche Gesetz wie ein Trabant.
Künstliche Intelligenz entwickelt sich im Wahnsinnstempo - und benötigt dafür immer mehr Rechenleistung. Grafik: OpenAI

Schädlicher als ein Auto

Wissenschaftler der Universität Massachusetts haben nun gemessen und hochgerechnet, wie groß der CO2-Fußabdruck für das Training von vier häufig eingesetzten KI-Modellen für die Sprachverarbeitung ist.

Für die Messung protokollierten sie den Stromverbrauch von Prozessor und Grafikkarte während des KI-Trainings über 24 Stunden hinweg und verrechneten ihn mit den in den jeweiligen Forschungspapieren angegebenen Trainingsstunden. Die insgesamt aufgewendete Energie rechneten sie anschließend in den CO2-Fußabdruck um.

Das Ergebnis: Im schlechtesten Fall ist der CO2-Fußabdruck fast fünfmal größer als der eines Autos samt Benzin über dessen komplette Lebensspanne hinweg.

Empfehlung
Speziell für die Ersteinrichtung neuronaler Netze wird viel Rechenleistung aufgewandt. Bild: Universität Massachusetts
Speziell für die Ersteinrichtung neuronaler Netze wird viel Rechenleistung aufgewandt. Bild: Universität Massachusetts

Umso komplexer das KI-Modell und umso detaillierter dessen Parameter, desto größer der Energieverbrauch. Insbesondere die Optimierung eines neuronalen Netzes nach dem Versuch-und-Irrtum-Prinzip ("Neural Architecture Search" siehe Grafik) ist rechenintensiv.

KI-Training: Auf der Suche nach Effizienz

Die Forscher weisen darauf hin, dass sich ihre Messung nur auf das Training eines einzelnen Modells bezieht. Für die Entwicklung einer für ein wissenschaftliches Papier typischen KI würden aber über einen Zeitraum von sechs Monaten durchschnittlich knapp 4.800 Modelle trainiert, schätzen die Forscher. Das entspräche einem CO2-Fußabdruck von rund 78.000 Pfund.

Sie kritisieren außerdem, dass der akademischen Forschung häufig der Zugang zu entsprechender Rechenleistung fehle, was für ein Ungleichgewicht zwischen Industrie und Wissenschaft sorge.

Der teils hohe Energieverbrauch beim KI-Training lässt auch die Kosten explodieren. Das macht es der akademischen Forschung schwer, mit der Industrie Schritt zu halten. Bild: Univerisität
Der teils hohe Energieverbrauch beim KI-Training lässt auch die Kosten explodieren. Das macht es der akademischen Forschung schwer, mit der Industrie Schritt zu halten. Bild: Universität Massachusetts

Die Forscher fordern die KI-Branche auf, den Energieverbrauch ihrer Modelle transparent zu machen, den Zugang der akademischen Forschung zu Rechenleistung zu verbessern und die Entwicklung effizienter Algorithmen und Hardware zu priorisieren.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

KI soll langfristig wirken

Kritiker der Studie dürften drei Gegenargumente auf der Zunge liegen: Die Effizienz Künstlicher Intelligenz steigt nach dem Training, während der Energieverbrauch sinkt. Moderne, durchaus mächtige Algorithmen laufen lokal auf dem Smartphone.

Außerdem soll KI-Forschung langfristig dazu beitragen, Umweltschäden zu reduzieren: Einerseits durch Automatisierung, die Prozesse effizienter macht und so Energie einspart. Andererseits kann sie aus großen Datenmengen Prognosen und Energiespartipps ableiten, die Menschen ansonsten verborgen blieben. Deepmind versucht das zum Beispiel bei Windkraft und Google im eigenen Rechenzentrum.

Und dann existiert noch die ganz große Utopie: Eine KI erfindet umweltfreundliche Technologien und Treibstoffe, die den menschlichen Erfindungsgeist übersteigen, und löst so alle Umweltprobleme auf einen Schlag.

Via: MIT Technology Review, Quelle: Papier

Weiterlesen über Künstliche Intelligenz:

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!