Der OpenAI-Mitgründer Ilya Sutskever spricht über Neuronale Netzwerke, Fortschritte im Deep Learning und warum es sinnvoll ist, sich über Sicherheitsprobleme bei genereller Künstlicher Intelligenz Gedanken zu machen.
Auf der diesjährigen Nvidia-Konferenz "Ntech" hielt Ilya Sutskever einen Vortrag über die Vergangenheit und Zukunft der KI-Forschung.
Sutskever ist Mitgründer und Forschungsdirektor bei OpenAI. In der Fachöffentlichkeit machte sich OpenAI zuletzt einen Namen durch die Künstliche Intelligenz "Five": Der Dota-2 Bot musste sich kürzlich auf Valves offiziellen Dota-Tournament „The International“ einem Top-Team geschlagen geben, konnte zuvor aber zahlreiche menschliche Teams in die Schranken weisen.
OpenAI Five löst ein komplexes Problem in einer Simulation: Die KI lernte, Dota 2 zu spielen und koordinierte dabei erstmals mehrere KI-Agenten im Team. Das Strategiespiel erfordert umfangreiche Taktiken. Informationen sind immer nur partiell verfügbar. Außerdem gibt es 120 Spielfiguren mit unzähligen möglichen Interaktionen. Laut Sutskever kommt es so zu etwa 20.000 Aktionen pro Spiel.
Generelle Künstliche Intelligenz als Ziel
Das übergreifende Ziel von OpenAI ist laut Sutskever die Entwicklung einer sicheren generellen Künstlichen Intelligenz (GKI). Es müsse außerdem sichergestellt sein, dass die durch sie entstehenden wirtschaftlichen Vorteile in der Gesellschaft gerecht aufgeteilt würden.
Der wesentliche Unterschied einer GKI zu aktuellen KIs ist die Fähigkeit zur Problemlösung in nicht vorab definierten Situationen. Das Vorbild ist der Mensch, der in der Lage ist, für unbekannte Probleme in ungewohnten Umgebungen neue Lösungen zu finden.
Ein Beispiel: Unsere Vorfahren waren während ihrer Evolution nie mit dem Vakuum des Weltraums konfrontiert. Dennoch hat die Menschheit seit Jahrzehnten eine ständige Präsenz im Orbit.
Die Anwendungsbereiche einer solchen GKI wären entsprechend vielfältig. Sie wäre die potenteste technische Entwicklung der Menschheit, da sie sich selbst verbessern und Probleme schneller lösen könnte als jeder Mensch.
Die möglichen negativen Auswirkungen einer generellen Künstlichen Intelligenz sind vielfach in Literatur und Film beschrieben worden. Zusammengefasst: Die GKI findet die Menschheit störend oder nutzlos – und beseitigt sie.
Die vier Elemente einer generellen Künstlichen Intelligenz
Sutskever stellt in seinem Vortrag vier Anforderungen an eine GKI. Sie soll
- schwere Probleme in einer Simulation lösen,
- dort gelernte Fähigkeiten in die echte Welt übertragen,
- gute Modelle unserer Welt erstellen können
- und sicher sowie vor Missbrauch geschützt sein.
Seine These: OpenAIs Vorzeigeprojekte zeigten schon jetzt Ansätze zur GKI, die KI-Experten vor einigen Jahren für unwahrscheinlich oder gar unmöglich hielten.
OpenAI Five als Problemlöser
Spätestens seit 2012 sei zwar klar, dass Neuronale Netze (NN) zu überraschenden Leistungen fähig sind. Damals veröffentlichten Sutskever und Kollegen ein tiefes Neuronales Netzwerk, das die ImageNet-Herausforderung 41 Prozent besser bestand als alle konkurrierenden Verfahren (mehr dazu hier).
Um ihrem Neuronalen Netz so erfolgreich das maschinelle Sehen beizubringen, nutzten die Forscher jedoch überwachtes Lernen. Nach Sutskever ist überwachtes Lernen grundsätzlich in der Lage, jedes von Menschen lösbare Problem in wenigen Sekunden zu lösen.
Das Problem: Überwachtes Lernen benötigt vorbereitete Daten und damit menschliche Arbeit. Komplexe Probleme, in denen es keine vorbereitete Daten gibt, sind für solche Netzwerke nicht zu lösen. Der Trainingsaufwand wäre viel zu hoch.
In Fällen, in denen ein klares Ziel in einer simulierten Umgebung existiert, ist das bestärkende Lernen eine Alternative. Die KI bekommt ein Ziel gesetzt und muss ihren Pfad zum Ziel eigenständig finden. Für jede Aktion, die das Ziel näherbringt, wird sie belohnt - zum Beispiel mit Punkten.
Bestärkendes Lernen löste vor seinem Einsatz in Dota 2 mit der Five-KI bereits simple Probleme. So lernten Neuronale Netze einfache Spiele wie Pong oder Space Invaders.
Vor OpenAI Five galt jedoch die vorherrschende Meinung, dass das Lernverfahren für komplexere Probleme nicht geeignet sei. Der Dota-Bot zeigte, dass die Experten falsch lagen:
„Es stellte sich heraus: Mit komplexeren Netzwerken können wir auch komplexe Probleme lösen“, so Sutskever im Kontext von Five.
Dactyl interagiert mit der Welt
Dactyl war nach Five der nächste Schritt: Die OpenAI-Forscher nutzten denselben Algorithmus, der schon Five steuerte. Aber nicht für ein Spiel: Dactyl simulierte stattdessen Bewegungen und lernte so, über eine Roboterhand einen Würfel zu jonglieren.
Das ist viel spektakulärer, als es klingen mag: Das Jonglieren stellt hohe Ansprüche an die Feinmotorik. Für menschliche Entwickler wäre der Programmieraufwand enorm gewesen - wenn er überhaupt gelungen wäre.
Für Sutskever zeigt diese Entwicklung, dass eine mit bestärkendem Lernen trainierte KI nicht nur in einer Simulation nützlich ist, sondern dass sie gelernte Fähigkeiten in die echte Welt übertragen kann.
Doch was ist, wenn es kein festes Ziel und keine simulierte Umgebung gibt, in der gelernt werden kann? Das macht bestärkendes Lernen unmöglich und überwachtes Lernen ist - wie zuvor beschrieben - nur bis zu einem gewissen Komplexitätsgrad praktikabel.
OpenAI erforscht Verarbeitung natürlicher Sprache
Hier kommt das unüberwachte Lernen ins Spiel. Bei der Verarbeitung natürlicher Sprache (NLP, "Hallo" statt Programmiercode) tat sich OpenAI kürzlich mit der KI Transformer hervor.
Das Neuronale Netz nutzt unüberwachtes Lernen, um aus einem großen Textkorpus ein Sprachmodell zu erstellen. Das Sprachmodell wird anschließend als Grundlage für die Lösung verschiedenster NLP-Probleme genutzt.
Der Transformer ist Teil einer neuen Generation von NLP-KIs. Den gleichen Ansatz verfolgt auch die NLP-KI ELMo.
Für Sutskever ist der Transformer ein Durchbruch bei der Erforschung unüberwachter Lernmethoden:
„Wir haben jeden Grund zu der Annahme, dass, wenn wir noch größere und bessere Sprachmodelle trainieren, der Abstand [zu bisherigen NLP-KIs] noch wesentlich größer wird“, so Sutskever. „Unser Modell ist eine der größten Innovationen in der Erforschung Neuronaler Netze in den letzten Jahren.“
Experten irren häufig
Jede dieser Entwicklungen wurde vorher als unwahrscheinlich angesehen, so Sutskever. Bestärkendes Lernen galt als zu eingeschränkt, um komplexere Probleme zu lösen, Sprachmodelle mit unüberwachtem Lernen zu realisieren als unwahrscheinlich bis unmöglich.
Künstliche Intelligenz stehe damit in einer Tradition mit anderen technologischen Entwicklungen: Negative Einschätzungen hätten seit Jahrzehnten bei nahezu jeder Innovation das Meinungsbild dominiert. Flugzeuge und Raumfahrt wären von prominenten Wissenschaftler teils noch ein Jahr vor ihrer Realisierung als unmöglich oder unwirtschaftlich angesehen worden.
Sutskever stellt die Entwicklung Neuronaler Netze in den Kontext solcher historischer Fehleinschätzungen. So sei das Rosenblatt Perzeptron – das erste künstliche Neuron – Ende der 60er Jahre von vielen Wissenschaftlern als nutzlos dargestellt worden.
Erst mit den immer stärkeren Computern in den späten 80er und frühen 90er Jahren sei das Interesse an künstlichen Neuronen – und damit Neuronalen Netzen – erneut erwacht. Deep Learning habe, so Sutskever, eine 60-jährige Geschichte und sich der Rechenleistung stetig angepasst.
Mehr FLOPS, weniger Flop
1992 entstand mit TD-Gammon ein erstes maschinelles Lernprogramm, das die Menschheit in Backgammon schlagen konnte. In diesem Jahr kam der Intel i486 mit 66 MHz auf den Markt. Die für TD-Gammon damals aufwendigen Berechnungen laufen heute in wenigen Sekunden auf einer modernen Grafikkarte.
Heutige Neuronale Netzwerke können Dota spielen, ihre Fähigkeiten in die Welt tragen und aus komplexen, ungeordneten Texten ein Sprachmodell erstellen, erklärt Sutskever.
Durch diesen Fortschritt ziehe sich als roter Faden die stetig zunehmende Rechenleistung. Große Rechenzentren erledigen heute das KI-Training in der Cloud – ein laut Sutskever wachsender Trend.
Eine im Mai veröffentlichte OpenAI-Studie bestätigt Sutskevers Aussagen: Die Autoren kamen zu dem Ergebnis, dass sich die Leistungsfähigkeit von KI-Systemen im Durchschnitt alle dreieinhalb Monate verdoppelt. In der Zeit von 2012 bis 2017 entspricht das einer Steigerung um den Faktor 300.000.
Sutskever kommt daher zu dem Schluss, dass der mögliche Fortschritt der KI-Technologie in den nächsten fünf bis zehn Jahren sehr schwer einzuschätzen sei. Eine GKI sei in den nächsten Jahren oder sogar Jahrzehnten zwar unwahrscheinlich, aber eben nicht unmöglich, denn Experten täuschten sich immer wieder.
Zu einem ähnlichen Fazit kam im Juni Sutskevers Kollege Greg Brockman, ebenfalls Mitgründer von OpenAI. „Was wir bisher geschaffen haben, beruht auf einfachen Ideen. Aber wir wissen nicht, ob das die richtigen Ideen sind. Und wie weit man sie treiben kann. Wir kennen sie nicht mal alle. Die Wahrheit ist, dass wir keine Ahnung haben, ob sie sich bewähren. Wir stochern im Nebel und das bleibt so, bis sich der Fortschritt verlangsamt”, so Brockman.
Generelle Künstliche Intelligenz sollte ernstgenommen werden
Die Auswirkungen einer GKI könnten laut Sutskever dramatisch sein: Maschinen könnten ungenau spezifizierte Ziele verfolgen und so negative Auswirkungen haben. Menschen könnten GKIs für ihre Ziele missbrauchen. Die Wirtschaft könnte außer Kontrolle geraten und das Wohl des Menschen endgültig aus den Augen verlieren.
„Die Möglichkeit, dass wir durch unsere aktuelle Entwicklung in naher Zukunft zu einer GKI kommen, darf nicht länger missachtet werden. Daher müssen wir schon jetzt über die Risiken solcher GKIs nachdenken“, schließt Sutskever.
