Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Forschende von Microsoft sehen in einer frühen Version von GPT-4 einen Funken von allgemeiner KI.

"Wir glauben, dass die Intelligenz von GPT-4 einen echten Paradigmenwechsel in der Informatik und darüber hinaus signalisiert", heißt es in dem von Microsoft veröffentlichten Papier.

GPT-4 zeige einen Funken allgemeiner künstlicher Intelligenz (AGI), sei aber nur der erste Schritt auf dem Weg zu immer allgemeineren intelligenten Systemen. Das Team orientiert sich an einer Definition von AGI, die ein solches KI-System als auf menschlichem Niveau stehend versteht.

Das Team verwendete für seine Untersuchungen eine frühe Version von GPT-4, die aber bereits deutlich besser sei als Modelle wie ChatGPT oder Googles PaLM.

Anzeige
Anzeige

Microsoft-Team sieht "Funken" allgemeiner KI

"Wir haben gezeigt, dass GPT-4 nicht nur Sprache beherrscht, sondern auch neuartige und schwierige Aufgaben aus den Bereichen Mathematik, Programmierung, Vision, Medizin, Recht, Psychologie und mehr lösen kann, ohne dass es dazu einer besonderen Aufforderung bedarf", heißt es in dem Artikel.

"Darüber hinaus kommt die Leistung von GPT-4 bei all diesen Aufgaben der menschlichen Leistung erstaunlich nahe."

Doch trotz dieser menschlichen und teilweise übermenschlichen Fähigkeiten habe das Modell immer noch Probleme wie Halluzinationen oder mit mathematischen Aufgaben. Außerdem seien die "Intelligenzmuster eindeutig nicht menschenähnlich". Angesichts der begrifflichen Unschärfe von Begriffen wie AGI oder Intelligenz stellt das Team klar:

"Unsere Behauptung, dass GPT-4 einen Fortschritt in Richtung AGI darstellt, bedeutet nicht, dass es perfekt in dem ist, was es tut, oder dass es annähernd alles tun kann, was ein Mensch tun kann (was eine der üblichen Definitionen von AGI ist), oder dass es eine innere Motivation und Ziele hat (ein weiterer Schlüsselaspekt in einigen Definitionen von AGI)."

Was vom "Funken" bleibt

Bleibt also die Frage, was das Team hier eigentlich behauptet. Die Kernaussage scheint zu sein: GPT-4 zeigt mehr allgemeine Intelligenz als ältere Modelle.  Ob dies als "Funke" für AGI verstanden werden kann, hängt von zwei Fragen ab: Wie viele der neuen Fähigkeiten von GPT-4 beruhen auf den zusätzlichen Trainingsdaten, deren genaue Zusammensetzung bislang ein Geheimnis von OpenAI ist? Und führt eine Skalierung des Ansatzes zu weiteren Fortschritten?

Empfehlung

Die erste Frage ist relevant, da ein Modell in Benchmarks immer deutlich besser abschneidet, wenn die darin enthaltenen Tests Teil der Trainingsdaten sind.

Die zweite Frage formulierte Gary Marcus 2012 so: "Um ein altes Gleichnis zu paraphrasieren: Hinton hat [mit Deep Learning] eine bessere Leiter gebaut, aber eine bessere Leiter bringt einen nicht notwendigerweise auf den Mond."

Ob selbstüberwacht trainierte Transformer Leitern oder Raketen sind, ist noch nicht entschieden. Forschungen mit kleinen Netzwerken und begrenzten Datensätzen zeigen zumindest, dass Transformer allgemeine und nützliche "Schaltkreise" lernen, um etwa Othello-Spielzeuge vorherzusagen - ein Indiz, dass sie mehr als nur oberflächliche Statistik aus dem Datenmaterial lernen.

Ob das auch für große Sprachmodelle gilt, ist noch unklar. "Insgesamt ist die Aufklärung der Natur und der Mechanismen von KI-Systemen wie GPT-4 eine riesige Herausforderung, die plötzlich wichtig und dringend geworden ist", schließen die Forschenden ihre GPT-4-Studie. So oder so: Die Arbeit ist gute Werbung für GPT-4.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Microsoft-Forschende sehen einen "Funken" allgemeiner KI in GPT-4. Das Team hat dafür eine frühe Version des KI-Systems ausführlich untersucht.
  • GPT-4 weise jedoch keine menschenähnlichen "Intelligenzmuster" auf, schreibt die Gruppe.
  • Die Aufklärung der Natur und Mechanismen von GPT-4 und ähnlichen Systemen sei eine große Herausforderung, "die plötzlich dringend und wichtig" geworden sei.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!