Mit ChatGPT erprobt OpenAI derzeit ein dialogbasiertes Allzweck-Sprachmodell. Laut des Kognitionswissenschaftlers Gary Marcus ist ChatGPT nur ein Vorgeschmack auf GPT-4.
Seit Wochen schwirren Gerüchte über GPT-4 durchs Netz, die zwei Dinge gemein haben: GPT-4 soll GPT-3 und ChatGPT deutlich übertreffen und relativ zeitnah im Frühjahr erscheinen.
Bei OpenAI läuft derzeit ein gemeinsam mit Microsoft aufgelegtes Förderprogramm, dessen Teilnehmende wohl schon Zugriff auf GPT-4 haben. Microsoft-CTO Scott Stein sagte kürzlich ein noch signifikanteres KI-Jahr 2023 vorher.
"GPT-4 wird euch Staunen lassen"
Jetzt beteiligt sich der Psychologe und Kognitionswissenschaftler Gary Marcus am GPT-4-Wirbel: Er kenne einige Personen, die GPT-4 bereits getestet hätten. "Ich garantiere euch, dass ihr erstaunt sein werdet", schreibt Marcus, der als Kritiker von großen Sprachmodellen bekannt ist, oder genauer, mit deren Umgang im Alltag.
GPT-4 werde ChatGPT "völlig in den Schatten stellen" und noch mehr Aufsehen erzeugen als ChatGPT. Technisch werde GPT-4 mehr Parameter bieten und mit mehr Daten trainiert sein, "nämlich auf einem erheblichen Teil des gesamten Internets." GPT-4 werde "ein Monster", schreibt Marcus.
Bei der Architektur erwartet Marcus keine signifikanten Unterschiede und geht daher davon aus, dass GPT-4 die gleichen Schwachstellen haben wird wie GPT-3 oder ChatGPT: Dem KI-Modell fehlt ein grundlegendes Verständnis für die Welt, was zu teils hanebüchenen - oder gefährlicher, subtilen - Fehlaussagen führt. Wegen dieser fehlenden Verlässlichkeit riet OpenAI-Mitgründer Sam Altman kürzlich davon ab, ChatGPT für wichtige Aufgaben einzusetzen.
Obwohl GPT-4 definitiv intelligenter als seine Vorgänger erscheinen wird, bleibt seine interne Architektur problematisch. Ich vermute, dass wir ein vertrautes Muster sehen werden: ein immenser anfänglicher Rummel, gefolgt von einer sorgfältigeren wissenschaftlichen Untersuchung, gefolgt von der Erkenntnis, dass es noch viele Probleme gibt.
Gary Marcus
Marcus gilt als Verfechter von hybriden KI-Systemen, die Deep-Learning-Ansätze mit vorprogrammierten Regeln verknüpfen. Die Skalierung großer Sprachmodelle sei nur ein Teil der Lösung hin zu einer generellen Künstlichen Intelligenz. Er erwartet, dass die KI-Branche in den kommenden Jahren immer stärker zu diesem hybriden Ansatz wechselt und nennt Metas Diplomacy-KI als positives Beispiel.
ChatGPT als Google-Killer - ein weiteres Gegenargument
Derweil zeigt sich bei Twitter eine weitere Herausforderung beim Einsatz großer Sprachmodelle, etwa im Sinne einer Suchmaschine: Wer hat die Verantwortung für die Ergebnisse? Wenn eine Suchmaschine eine Liste mit Webseiten ausgibt, sind weitgehend die Betreiber:innen der Webseiten für die Inhalte verantwortlich. Was aber, wenn ChatGPT, also ein Produkt von OpenAI, die Inhalte für Such- und Wissensfragen generiert?
Woker-than-thou pic.twitter.com/Vyy4lsQtR1
— Gary Marcus (@GaryMarcus) December 25, 2022
Unklar ist, wie stark OpenAI bei kritischen Fragen bei ChatGPT tatsächlich regulierend eingreift, von GPT-3 und DALL-E 2 sind Content-Richtlinien bekannt, oder ob das menschliche Feedback das Sprachmodell in bestimmte politische Richtungen oder zu gesellschaftlichen Haltungen bringt. Wahrscheinlich ist eine Mischung aus beidem.
Das Training mit menschlichem Feedback (RLHF) ist ein wesentlicher Erfolgsfaktor von ChatGPT. OpenAI incentiviert in der aktuellsten ChatGPT-Version den Feedback-Prozess, um so an noch mehr Feedback-Daten zu gelangen, und sieht RLHF als grundlegend für Künstliche Intelligenz, die menschliche Bedürfnisse berücksichtigt und damit für die Entwicklung weiterer KI-Systeme.
Unabhängig von der Entstehung eines Regelwerks für das KI-Modell dürfte sich der Anbieter des Modells, in diesem Fall ChatGPT, Kritik ausgesetzt sehen: Je nach Haltung und Thema zensiert OpenAI zu viel oder zu wenig. Könnte sich OpenAI etwa dazu überwinden, ChatGPT Argumente gegen den Klimawandel generieren zu lassen?
Not so much against Climate Change pic.twitter.com/VuAikNB3Rl
— Karl Smith (@karlbykarlsmith) December 24, 2022
Suchmaschinenanbieter stehen vor ähnlichen moralischen und ethischen Fragen, etwa, welche Links sie in den Index aufnehmen und wie hoch sie in den Suchergebnissen angezeigt werden. Systeme wie ChatGPT machen dieses Dilemma, und die damit verbundene Macht, noch offensichtlicher und bündeln die Verantwortung für Zugang und Inhalt in einer Organisation.
Das macht mich skeptisch, dass ein System wie ChatGPT zeitnah die Google-Suche ablösen kann, auch wenn bei Google angeblich die Alarmglocken schrillen. Für wahrscheinlicher halte ich eine Ergänzung der bestehenden Suche durch verifizierte KI-Antworten, also ein Ausbau von Googles No-Click-Suche mit KI-Inhalten in Verbindung mit dem Google Assistant. In diesem Szenario wäre Google der Gewinner, Webseiten-Betreiber wären die Verlierer. Also alles wie gehabt.
