- Inzwischen liegen detailliertere Informationen über die Größe und Architektur von GPT-4 vor.
- Demnach basiert das System auf acht Modellen mit jeweils 220 Milliarden Parametern, also insgesamt ca. 1,76 Billionen Parametern, die über eine Mixture of Experts (MoE) verbunden sind.
GPT-4 soll laut eines Medienberichts etwa sechsmal so groß sein wie GPT-3 und Elon Musk hat mit seinem Ausstieg bei OpenAI den Weg für Microsoft frei gemacht.
Die US-Website Semafor berichtet unter Berufung auf acht anonyme Quellen, die mit der Materie vertraut seien, dass das neue Sprachmodell GPT-4 von OpenAI eine Billion Parameter hat. Das Vorgängermodell GPT-3 kommt auf 175 Milliarden Parameter.
Semafor enthüllte im Januar und Februar auch Microsofts Mega-Investition in OpenAI über zehn Milliarden Dollar und die Integration von GPT-4 in Bing jeweils vor der offiziellen Ankündigung.
Die Anzahl der Parameter eines Sprachmodells ist ein Indikator für dessen Fähigkeit, komplexe Muster und Zusammenhänge in Daten zu erkennen und neue emergente Fähigkeiten zu entwickeln. Parameter bestimmen die Beziehung zwischen Input und Output durch Gewichte. Diese Gewichte werden während des Trainings festgelegt.
Neben der Größe des Modells sind die Datenqualität und der Umfang des Datentrainings entscheidende Faktoren für die Leistungsfähigkeit eines KI-Systems. Deepmind Chinchilla hat beispielsweise gezeigt, dass ein KI-System mit nur 70 Milliarden Parametern, aber umfangreicherem Datentraining, deutlich größere Systeme wie GPT-3 übertreffen kann.
Bei der Ankündigung von GPT-4 verzichtete OpenAI darauf, die Anzahl der Parameter und die verwendeten Trainingsdaten offenzulegen, was auf Kritik stieß. Als Grund für die Geheimhaltung nannte OpenAI das "kompetitive Umfeld".
Elon Musk machte den Weg für Microsoft frei
Semafor berichtet auch, dass Elon Musks Rückzug von OpenAI 2018 den Weg für Microsoft geebnet hat. Musk gehörte 2015 zu den Mitbegründern von OpenAI und war einer der Geldgeber. Er soll OpenAI-Chef Sam Altman, ebenfalls Mitgründer, 2018 gewarnt haben, dass OpenAI hinter Googles KI-Entwicklung zurückgefallen sei. Musk wollte OpenAI übernehmen und selbst führen, was Altman und die anderen Mitgründer von OpenAI jedoch ablehnten.
Musk zog sich daraufhin im Februar 2018 aus OpenAI zurück und sagte eine geplante Großspende ab. Offiziell teilte OpenAI damals mit, Musks Ausscheiden aus dem Vorstand habe mit der Vermeidung von Interessenskonflikten in seiner Rolle als CEO von Tesla zu tun, das ebenfalls an KI forscht. Andrej Karpathy, der Entwickler des autonomen Fahrsystems von Tesla, wechselte von OpenAI zu Tesla, ist aber inzwischen wieder zu OpenAI zurückgekehrt.
Musk soll seit seinem Ausstieg bei OpenAI keine weiteren Zahlungen geleistet haben. Insgesamt hat er 100 Millionen US-Dollar von einer geplanten Milliarde US-Dollar beigesteuert. Präsident von OpenAI wurde nach Musks Ausstieg Sam Altman, der angeblich keine Anteile an OpenAI hält.
Googles Entdeckung der Transformer-Netzwerke 2017 schuf neue Möglichkeiten in der KI-Entwicklung, trieb aber auch die Kosten für das Training von KI weiter in die Höhe. Um Schritt zu halten, kündigte das ursprünglich gemeinnützige Start-up OpenAI im März 2019 eine neue, gewinnorientierte Struktur an. Sechs Monate später folgte die erste Investition von Microsoft in Höhe von einer Milliarde US-Dollar.
Nach dem großen Erfolg von ChatGPT soll Musk OpenAI verärgert den Zugang zu Twitter-Daten entzogen haben, den sich OpenAI vor Musks Einstieg bei Twitter vertraglich gesichert hatte. Musk kritisierte öffentlich die Entwicklung von OpenAI von einer geplanten Open-Source-"Non-Profit"-Organisation zu einem geschlossenen, angeblich von Microsoft kontrollierten und auf Gewinnmaximierung ausgerichteten Unternehmen.
I’m still confused as to how a non-profit to which I donated ~$100M somehow became a $30B market cap for-profit. If this is legal, why doesn’t everyone do it?
— Elon Musk (@elonmusk) March 15, 2023
Elon Musk soll mittlerweile an einer Alternative zu ChatGPT arbeiten. Er äußerte insbesondere Bedenken hinsichtlich möglicher einseitiger sozialer oder politischer Ansichten in ChatGPT, das von OpenAI stark reguliert wird. OpenAI kündigte an, dass in Zukunft individuell anpassbare ChatGPT-Modelle eine größere Vielfalt an Perspektiven darstellen könnten.
