Sam Altman ist Chef bei OpenAI, der mit Deepmind und Google wohl wichtigsten KI-Firma dieser Tage. Jetzt spricht er über die nächsten KI-Projekte wie GPT-4 und generelle Künstliche Intelligenz.
Das KI-Unternehmen OpenAI zeigte letztes Jahr das riesige Sprachmodell GPT-3 mit 175 Milliarden Parametern. Die Größe des neuronalen Netzes zahlt sich aus: GPT-3 generiert, übersetzt oder fasst Texte zusammen in einer bis dato nicht dagewesenen Qualität. Die neue Text-KI übertrifft die Leistung von GPT-1 (2018) und GPT-2 (2019) bei weitem. Zugänglich ist GPT-3 über eine von OpenAI bereitgestellte API für ausgewählte Partner und Unternehmen.
Die beeindruckende Leistung der Text-KI startete einen weltweiten Trend zu großen KI-Modellen, die GPT-3 erreichen oder übertreffen sollen. In Europa beispielsweise entsteht das große KI-Modell OpenGPT-X.
Anfang 2021 zeigte OpenAI dann die nächsten Fortschritte: Die multimodalen KI-Modelle DALL-E und CLIP sind mit Text- und Bilddaten trainiert und bieten daher zusätzliche Fähigkeiten. Im Juni zeigte OpenAI die auf Code spezialisierte GPT-3-Variante Codex, eine Demonstration, dass große, generellere KI-Modelle im Nachgang auf einzelne Aufgaben spezialisiert werden können.
Altman führt informelles Gespräch über OpenAIs Zukunft – und lässt die Zusammenfassung entfernen
Im Rahmen eines Online-Meetup sprach OpenAI-CEO Sam Altman nun über die Zukunft von GPT, DALL-E und genereller Künstlicher Intelligenz.
Altman äußerte sich zu den Zukunftsthemen bei einer Veranstaltung mit rund 250 Teilnehmer:innen, die vorwiegend aus der Online-Community LessWrong stammen. LessWrong beschäftigt sich verstärkt mit Künstlicher Intelligenz und dem Alignment-Problem, also der Frage, wie eine mögliche generelle Künstliche Intelligenz sicher gestaltet werden kann.
Altmans Aussagen in diesem Text stammen aus einer Zusammenfassung der Veranstaltung, die von einem Nutzer auf LessWrong gepostet wurde. Es existiert keine Aufzeichnung der Veranstaltung und die Zusammenfassung wurde auf Wunsch von Altman entfernt, da er sich einen eher inoffiziellen Austausch wünschte.
Altmans Aussagen sind daher nicht als offizielle Ankündigung zu verstehen, geben aber wohl dennoch einen Einblick in die Zukunft von OpenAI.
GPT-4 kommt nach Codex-Verbesserungen
Vor wenigen Wochen erhielten erste Beta-Tester einen API-Zugang zur Code-KI Codex. Das Modell soll nun stetig durch Feedback der Benutzer:innen verbessert werden und man mache bereits Fortschritte, so Altman.
Der Fokus des Teams liege daher auf Codex. Die verfügbare Rechenleistung werde für die Weiterentwicklung des Codex-Modells eingesetzt. Codex sei weniger als ein Jahr davon entfernt, die Arbeit von Programmierer:innen nachhaltig zu verändern, beschreibt Altman.
Auf den finanziellen Erfolg der bisherigen Projekte angesprochen, sagt Altman, dass die API-Zugänge zu Codex und GPT-3 profitabel seien, aber noch nicht für die nächste Generation KI bezahlen könnten.
Altman bestätigt außerdem die Arbeit an GPT-4: Das KI-Modell werde wie GPT-3 ein reines Text-Modell statt eines multimodalen KI-Modells wie DALL-E.
GPT-4 werde wohl nicht viel größer als GPT-3, benötige aber deutlich mehr Rechenleistung, so Altman. Fortschritt solle primär durch hochwertigere Daten, bessere Algorithmen und genauere Feinabstimmung erzielt werden.
GPT-4 werde außerdem mehr Kontext verarbeiten können, so der OpenAI-Chef. Das aktuelle Limit von GPT-3 liegt bei 2.048 Token, das von Codex bei 4.096 Token.
OpenAI will kleinere KI-Modelle effizienter nutzen
Im August stellte Cerebras seinen neuen CS-2-Supercomputer vor, der das Training von KI-Modellen mit bis zu 120 Billionen Parametern ermöglichen soll. In einem begleitenden Interview mit WIRED sagte Cerebras-Chef Andrew Feldman, er habe in einer Unterhaltung mit OpenAI erfahren, dass GPT-4 100 Billionen Parameter groß werde und erst in einigen Jahren erscheine.
Beim LessWrong-Event betonte Altman jedoch, dass ein mögliches 100 Billionen Parameter KI-Modell noch lange auf sich warten lassen werde. OpenAI würde diese Marke außerdem nicht für GPT-4 anpeilen.
OpenAI verbessere derzeit die Effizienz kleinerer KI-Systeme, so Altman. Womöglich brauche es daher keine KI-Modelle mit noch gigantischeren Ausmaßen. Viele Menschen würden zukünftig überrascht sein, wie viel leistungsfähiger KI ohne Parameterwachstum noch werden könne, sagt Altman.
DALL-E und die Wette auf multimodale KI-Modelle
Auf multimodale Modelle und DALL-E angesprochen, bestätigt Altman, dass DALL-E bei der Verarbeitung natürlicher Sprache reine Text-Modelle noch nicht übertreffen kann. Er erwartet jedoch, dass multimodale Modelle in den nächsten Jahren reine Text-Modelle bei der Sprachgenerierung hinter sich lassen werden. Passiere dies nicht, würde das OpenAIs Wette auf die Leistungsfähigkeit multimodaler KI-Modelle infrage stellen.
Für die Zukunft erhofft sich Altman zahlreiche multimodale Modelle, die für bestimmte Bereiche wie Bildung, Recht, Biologie oder Therapie trainiert werden. Aufgrund der hohen Rechenanforderungen erwartet er diese Modelle von nur sehr wenigen Unternehmen.
DALL-E selbst soll ebenfalls veröffentlicht werden. Details über den geplanten Termin oder das Finanzierungsmodell verrät Altman nicht.
Rechenleistung ist kein Flaschenhals für generelle KI
Altman erwartet weitere Fortschritte in der KI-Forschung in den 2030er-Jahren. Der OpenAI-Chef sieht eine 50-prozentige Wahrscheinlichkeit, dass bis 2035 Künstliche Intelligenz (News) zahlreiche Aufgaben von Menschen übernehmen wird.
Eine generelle Künstliche Intelligenz sei dadurch aber noch nicht erreicht. Deren Entstehung sei wohl kein binärer Moment, mutmaßt Altman. Stattdessen erwartet er eine graduelle Entwicklung. Als kritischen Moment sieht Altman KI-Systeme, die sich selbst verbessern – dann sei der Moment gekommen, sehr aufmerksam zu sein. Sollte diese Fähigkeit unerwartet schnell entstehen, würde er seine Meinung ändern. Dann sei eine explosionsartige KI-Entwicklung möglich.
Rechenleistung sieht Altman nicht als möglichen Flaschenhals für die Entwicklung genereller Künstlicher Intelligenz: Mit ausreichend Investitionen sei die notwendige Hardware für eine generelle KI wohl bereits verfügbar. Stattdessen benötige es neben größeren KI-Modellen vor allem wissenschaftliche Durchbrüche bei den Algorithmen. Dabei sei auch relevant, ob Bewusstsein und Intelligenz trennbar sind. Diese Frage beschreibt Altman als zentralen ethischen Aspekt der KI-Forschung.
