Inhalt
summary Zusammenfassung

Der Erfolg großer Sprachmodelle wie GPT-3 hat viele Debatten in der KI-Forschung angeregt. Denn trotz der Fortschritte herrscht Uneinigkeit über die Zukunft von KI. Eine Befragung vieler Forschender in diesem Feld zeigt, wie uneins die Wissenschaft ist.

Anzeige

Große Sprachmodelle wie OpenAIs GPT-3 lieferten bis dato ungesehen Fähigkeiten im Umgang mit Text. Sie boten zugleich die Blaupause für das Training weiterer große KI-Modelle, etwa für Code oder generative Bild-Modelle wie DALL-E 2.

Zwar gibt es Unterschiede in der konkreten Architektur. Doch nahezu alle aktuellen großen KI-Modelle setzen auf eine Form von Transformer sowie große Datenmengen und viel Rechenleistung.

Die Rolle der Skalierung auf dem Weg zu genereller KI ist umstritten

Solche Modelle sind für manche Forschende stochastische Papageien. Andere sehen in ihnen fundamentale Modelle, die spezialisiert werden können. Wieder andere denken, dass es nur noch mehr Skalierung der Modelle benötigt für das große Ziel: generelle Künstliche Intelligenz.

Anzeige
Anzeige
Ein Comic-Bild eines Papageis, der einen Motor im Bauchraum trägt.
Ein stochastischer Papagei kann einem Menschen nachplappern, aber er versteht nicht, was er nachplappert. Oder doch? | Bild: DALL-E 2 prompted by THE DECODER

Die Debatte über das Potenzial großer KI-Modelle wird prominent auf Twitter geführt. Vor wenigen Monaten wurde sie besonders stark angeheizt durch Deepminds GATO, ein KI-System, das viele unterschiedliche Aufgaben in mittlerer Qualität lösen kann.

Ebnet Gato nun der Weg zu genereller KI bei entsprechender Skalierung - oder schummelt das System schlicht durch den Parallelbetrieb vieler mittelmäßiger Spezialisten-Modelle?

Zu dieser Frage gibt es viele Meinungen. Kognitionsforscher und Deep-Learning-Kritiker Gary Marcus kritisierte Deepminds "Scaling-Über-Alles"-Ansatz als kurzsichtig. Auch Metas KI-Chef Yann LeCun sieht Skalierung allein nicht als den richtigen Weg.

Studie gibt Einblick in die Meinung der NLP-Community

Eine neue Studie gibt jetzt einen tieferen Einblick in die Meinungen von KI-Forschenden im Natural Language Processing (natürliche Sprachverarbeitung). Insgesamt nahmen 480 Forschende an der Umfrage teil.

Die Autor:innen der Studie schätzen, dass sie damit etwa fünf Prozent aller Forschenden erreicht haben, die zwischen 2019 und 2022 mindestens zwei Publikationen auf der Konferenz der Association for Computational Linguistics hatten.

Empfehlung

Die Umfrage umfasst detaillierte Fragen zu den Themen Ressourcenverbrauch, Sprachverständnis, generelle KI, Ethik, zur Rolle von Benchmarks, der Forschung und der Industrie. Ein Großteil der Teilnehmenden kam aus den USA (58 Prozent) und Europa (23 Prozent). Ein kleinerer Teil kam aus anderen Regionen der Welt. 67 Prozent gaben an, Männer zu sein, 25 Prozent Frauen.

Skalierung-Über-Alles funktioniert nicht, kein klares Urteil zu Sprachverständnis

Lediglich 17 Prozent der Befragten denken, dass Skalierung nahezu jedes wichtige Problem in der NLP-Forschung lösen kann. 72 Prozent denken, dass ihr Feld einen zu starken Fokus auf Skalierung legt. Mit Skalierung geht zudem ein höherer Energiebedarf einher: 60 Prozent halten den CO₂-Fußabdruck für das KI-Training großer Modelle für problematisch.

Unentschieden sind die Befragten dagegen in einer zentralen Frage: Könnten Modelle wie GPT-3 mit genug Daten und Rechenpower Sprache in einem nicht-trivialen Sinne verstehen? 51 Prozent der Befragten halten das für möglich. 49 Prozent sehen dafür keine Anzeichen.

58 Prozent halten derweil generelle Künstliche Intelligenz für eine Priorität in der NLP-Forschung. 57 Prozent denken, dass die Entwicklung großer Sprachmodelle ein wichtiger Schritt ist auf dem Weg zur GKI.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Die durch KI ermöglichte Textautomatisierung halten 73 Prozent für potenziell problematisch für die Gesellschaft. Das könnte damit zusammenhängen, dass 82 Prozent der Teilnehmenden glauben, dass Industrieunternehmen in den nächsten zehn Jahren die meistzitierten Paper verantworten werden. 74 Prozent finden, dass diese bereits zu viel Einfluss auf das Forschungsfeld haben.

Die Autor:innen der Studie hoffen, dass die Umfrage hilft, die NLP-Community über ihre eigenen Überzeugungen aufzuklären und so zu einem produktiven Diskurs beiträgt. Alle Ergebnisse sind auf der Webseite der NLP-Survey einzusehen.

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Eine Studie befragte 480 Expert:innen zum Zukunftspotenzial großer Sprachmodelle.
  • Ein Großteil glaubt, dass Skalierung allein keinen Durchbruch bringt.
  • Mehr als die Hälfte glaubt, dass große Sprachmodelle einen Fortschritt auf dem Weg zu genereller KI darstellen.
  • Rund die Hälfte geht davon aus, dass Sprachmodelle ein echtes Sprachverständnis entwickeln können - die andere Hälfte glaubt das Gegenteil.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!