Eine Gruppe KI-Forscher schließt sich auf Discord zusammen und entwickelt einen Klon von OpenAIs erfolgreicher Text-KI GPT-3.
OpenAIs GPT-3 ist aktuell die beste verfügbare Text-KI. Anders als die Vorgängerversionen GPT und GPT-2 stellt das Unternehmen die neue Version jedoch nicht mehr als Open-Source-Version zur Verfügung.
Stattdessen verkauft OpenAI Zugänge zur Text-KI. Dieser Schritt stößt auf Kritik von KI-Forschern und früheren Investoren wie Elon Musk, auch wenn es wohl gute Gründe für ihn gibt, die über reine Kommerzialisierung hinausgehen. Außerdem kaufte sich Microsoft Exklusivrechte am Code.
Eleuther AI, eine Gruppe lose organisierter KI-Forscher, möchte den Open-Source-Gedanken der KI-Forschung fortführen und arbeitet daher an einer frei verfügbaren Variante von GPT-3. Unterstützung erhält die Gruppe dabei von Google und anderen Unternehmen.
Die erste Version der offenen Text-KI trainierten die KI-Forscher auf von Google zur Verfügung gestellten TPU-Chips. Doch selbst der steinreiche Internet-Gigant mit Zugriff auf scheinbar unlimitierte Rechenleistung war nicht bereit, die für einen vollständigen GPT-3-Klon notwendigen Ressourcen kostenlos zur Verfügung zu stellen.
GPT-NeoX könnte im August fertig sein
Das GPT-Neo getaufte Projekt schaffte es auf 13 Milliarden Parameter – das sind zehnmal mehr Parameter als noch bei GPT-2, aber immer noch knapp 160 Milliarden Parameter weniger als bei GPT-3.
GPT-Neo wird weiterentwickelt, doch für die angestrebte größere Version schwenkten die KI-Forscher auf GPU-basiertes Training um. Diese neue Version trägt den Namen GPT-NeoX und soll auf tausenden GPUs trainiert werden.
Der Code für GPT-NeoX soll im Februar fertig sein und das KI-Training mit dem ebenfalls von Eleuther AI zusammengestellten Text-Datensatz „The Pile“ mit 800 Gigabyte Internettext könnte schon im August abgeschlossen sein.
Eleuther AI: Mehr als Text-KI
Die fertige Version soll 175 bis 200 Milliarden Parameter groß und als Open Source verfügbar sein. Sie könnte so von Unternehmen genutzt werden, um einen ähnlichen Service wie OpenAI mit der GPT-3-API anzubieten. Der beteiligte Forscher Connor Leahy erwartet dadurch sinkende Preise und zahlreiche neue Start-ups, die auf die GPT-Technologie aufbauen.
Die Gruppe will nach GPT-NeoX weitere Projekte entwickeln: Ein Mitglied forscht an einer eigenen Version von Deepminds AlphaFold und Leahy will mit menschlichem Feedback und bestärkendem Lernen experimentieren, um besser generalisierende KIs zu schaffen.
Den aktuellen Code zu GPT-NeoX gibt es auf GitHub. Wer der Gruppe beitreten möchte, findet sie auf Discord.
