Googles KI-Chef Jeff Dean stellt die KI-Zukunft des Suchgiganten vor: "Pathways" soll gleich drei große Probleme aktueller KI-Systeme lösen.
Jeff Dean kam schon vor der Jahrtausendwende zu Google und arbeitete sich hoch bis zum KI-Chef des Suchgiganten. Dort erlebte er in den letzten zwei Dekaden den Aufstieg Künstlicher Intelligenz.
"Im Jahr 2001 erkannten einige Kollegen, die bei Google nur ein paar Meter von mir entfernt saßen, dass sie eine obskure Technik namens maschinelles Lernen nutzen konnten, um falsch geschriebene Suchanfragen zu korrigieren. Ich erinnere mich, dass ich erstaunt war, als ich sah, dass es bei allem funktionierte, von 'ayambic pitnamiter' bis 'unnblevaiabel'", so Dean.
Heute ist KI fast überall im Alltag und Google definiert sich primär als KI-Unternehmen. KI-Systeme lassen Computer sehen, verarbeiten Sprache, generieren Bilder oder analysieren Videos. Sie steuern Maschinen, planen ihre Wartung und spielen Brett- und Videospiele besser als der Mensch.
KI-Systeme haben wesentliche Probleme
Doch so leistungsfähig aktuelle KI-Systeme in speziellen Bereichen auch sind, so schnell sind sie mit neuen Aufgaben überfordert, die nicht Teil ihres KI-Trainings waren. Ein für Katzenerkennung trainiertes Netz erkennt keine Hunde. Ein komplexeres Bilderkennungssystem kann zwar Katze und Hund erkennen, aber keine Sprache verarbeiten.
Der Trend zu multimodalen Modellen wie OpenAIs DALL-E, CLIP oder Googles MUM soll dieses Spezialistentum abmildern und KI-Systeme ermöglichen, die Bild, Text, Audio und Video verstehen. Google MUM etwa kann Bild- und Sprachsuche kombinieren.
Googles MUM soll kombinierte Bild-, Video- und Textsuchen ermöglichen. | Video: Google
Doch es gibt noch mehr Hindernisse auf dem Weg hin zu generelleren KI-Systemen: DALL-E kann zwar Katzen malen, aber keine erkennen. CLIP kann sie erkennen, aber nicht malen. Neue Aufgaben zu lernen, erfordert oft ein Neutraining inklusive aufwendiger Datensammlung und rechenintensivem Trainingsprozess.
Die meisten aktuellen KI-Modelle sind außerdem eng ("dense") trainiert, das heißt, sie aktivieren bei jeder Eingabe alle Neuronen im Netz. Zerstreut ("sparse") trainierte Netze aktivieren dagegen nur die Neuronen, die für die jeweilige Aufgabe wirklich notwendig sind. Das spart Energie und macht die Netze schneller.
Pathways: Vom Spezialisten zum Multitalent
Aktuelle KI-Systeme sind also Aufgaben- und Modalitätsspezialisten. Sie sind ineffizient beim Training und bei der Ausführung. Um diese beiden Probleme zu lösen, brauche es eine neue KI-Architektur, so Dean.
Diese Architektur trägt den Namen Pathways und stellt Googles ersten Versuch dar, eine Art intelligentes KI-Mehrzwecksystem zu konstruieren. Pathways kann neue Aufgaben lernen, zahlreiche Modalitäten (etwa Bild, Ton, Text) verarbeiten und effizienter agieren: Pathways soll laut Google über „Millionen Aufgaben“ hinweg generalisieren können.
Neue Modalitäten soll das System mit der Hilfe bereits vorhandener Fähigkeiten schneller lernen. Dean sieht etwa Anwendungen in Feldern wie Gesundheitswesen, Chemie, Physik, Umwelt, Bildung, Soziologie, Energie, Ingenieurwissenschaften, Logistik oder Ökonomie.
Das Modell soll außerdem "sparse" trainiert werden und daher energieeffizient sein. Die Trainingsmethode ist die Grundlage für sehr große KI-Modelle, die weniger als ein Zehntel der Energie vergleichbarer "dense" trainierter Modelle benötigen.
Details über die Architektur gibt es nicht, nur den groben Bauplan. Möglicherweise setzt Google für Pathways auf eine erweiterte Version des Mixed-of-Experts-Modell Switch Transformer, das als Test für riesige, sparse trainierte KI-Modelle dient. Für die Multimodalität könnte Google eine Variante von Deepminds Perceiver verwenden.
