Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16
Update
  • Inzwischen liegen detailliertere Informationen über die Größe und Architektur von GPT-4 vor.
  • Demnach basiert das System auf acht Modellen mit jeweils 220 Milliarden Parametern, also insgesamt ca. 1,76 Billionen Parametern, die über eine Mixture of Experts (MoE) verbunden sind.

GPT-4 soll laut eines Medienberichts etwa sechsmal so groß sein wie GPT-3 und Elon Musk hat mit seinem Ausstieg bei OpenAI den Weg für Microsoft frei gemacht.

Die US-Website Semafor berichtet unter Berufung auf acht anonyme Quellen, die mit der Materie vertraut seien, dass das neue Sprachmodell GPT-4 von OpenAI eine Billion Parameter hat. Das Vorgängermodell GPT-3 kommt auf 175 Milliarden Parameter.

Semafor enthüllte im Januar und Februar auch Microsofts Mega-Investition in OpenAI über zehn Milliarden Dollar und die Integration von GPT-4 in Bing jeweils vor der offiziellen Ankündigung.

Die Anzahl der Parameter eines Sprachmodells ist ein Indikator für dessen Fähigkeit, komplexe Muster und Zusammenhänge in Daten zu erkennen und neue emergente Fähigkeiten zu entwickeln. Parameter bestimmen die Beziehung zwischen Input und Output durch Gewichte. Diese Gewichte werden während des Trainings festgelegt.

Anzeige
Anzeige

Neben der Größe des Modells sind die Datenqualität und der Umfang des Datentrainings entscheidende Faktoren für die Leistungsfähigkeit eines KI-Systems. Deepmind Chinchilla hat beispielsweise gezeigt, dass ein KI-System mit nur 70 Milliarden Parametern, aber umfangreicherem Datentraining, deutlich größere Systeme wie GPT-3 übertreffen kann.

Bei der Ankündigung von GPT-4 verzichtete OpenAI darauf, die Anzahl der Parameter und die verwendeten Trainingsdaten offenzulegen, was auf Kritik stieß. Als Grund für die Geheimhaltung nannte OpenAI das "kompetitive Umfeld".

Elon Musk machte den Weg für Microsoft frei

Semafor berichtet auch, dass Elon Musks Rückzug von OpenAI 2018 den Weg für Microsoft geebnet hat. Musk gehörte 2015 zu den Mitbegründern von OpenAI und war einer der Geldgeber. Er soll OpenAI-Chef Sam Altman, ebenfalls Mitgründer, 2018 gewarnt haben, dass OpenAI hinter Googles KI-Entwicklung zurückgefallen sei. Musk wollte OpenAI übernehmen und selbst führen, was Altman und die anderen Mitgründer von OpenAI jedoch ablehnten.

Musk zog sich daraufhin im Februar 2018 aus OpenAI zurück und sagte eine geplante Großspende ab. Offiziell teilte OpenAI damals mit, Musks Ausscheiden aus dem Vorstand habe mit der Vermeidung von Interessenskonflikten in seiner Rolle als CEO von Tesla zu tun, das ebenfalls an KI forscht. Andrej Karpathy, der Entwickler des autonomen Fahrsystems von Tesla, wechselte von OpenAI zu Tesla, ist aber inzwischen wieder zu OpenAI zurückgekehrt.

Musk soll seit seinem Ausstieg bei OpenAI keine weiteren Zahlungen geleistet haben. Insgesamt hat er 100 Millionen US-Dollar von einer geplanten Milliarde US-Dollar beigesteuert. Präsident von OpenAI wurde nach Musks Ausstieg Sam Altman, der angeblich keine Anteile an OpenAI hält.

Empfehlung

Googles Entdeckung der Transformer-Netzwerke 2017 schuf neue Möglichkeiten in der KI-Entwicklung, trieb aber auch die Kosten für das Training von KI weiter in die Höhe. Um Schritt zu halten, kündigte das ursprünglich gemeinnützige Start-up OpenAI im März 2019 eine neue, gewinnorientierte Struktur an. Sechs Monate später folgte die erste Investition von Microsoft in Höhe von einer Milliarde US-Dollar.

Nach dem großen Erfolg von ChatGPT soll Musk OpenAI verärgert den Zugang zu Twitter-Daten entzogen haben, den sich OpenAI vor Musks Einstieg bei Twitter vertraglich gesichert hatte. Musk kritisierte öffentlich die Entwicklung von OpenAI von einer geplanten Open-Source-"Non-Profit"-Organisation zu einem geschlossenen, angeblich von Microsoft kontrollierten und auf Gewinnmaximierung ausgerichteten Unternehmen.

Elon Musk soll mittlerweile an einer Alternative zu ChatGPT arbeiten. Er äußerte insbesondere Bedenken hinsichtlich möglicher einseitiger sozialer oder politischer Ansichten in ChatGPT, das von OpenAI stark reguliert wird. OpenAI kündigte an, dass in Zukunft individuell anpassbare ChatGPT-Modelle eine größere Vielfalt an Perspektiven darstellen könnten.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • GPT-4 soll mit einer Billion Parametern etwa sechsmal so groß sein wie GPT-3, heißt es in einem Bericht von Semafor, das GPT-4 in Bing bereits korrekt leakte.
  • Neben der Anzahl der Parameter sind auch die Datenqualität und der Umfang des Datentrainings entscheidend für die Qualität eines KI-Systems. Zu diesen Faktoren macht OpenAI offiziell keine Angaben.
  • Zudem soll Elon Musk 2018 nach einem Machtkampf mit den Mitgründern OpenAI verlassen und damit den Weg für Microsoft freigemacht haben. Offiziell hieß es damals, Musk sei wegen möglicher Interessenskonflikte mit seiner Rolle als CEO von Tesla zurückgetreten.
Quellen
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!