EleutherAI veröffentlicht GPT-NeoX-20B, ein 20 Milliarden Parameter großes Open-Source-Sprachmodell, das in Benchmarks nahe an OpenAIs größte GPT-3-Variante herankommt.
EleutherAI ist ein im Juli 2020 von Connor Leahy, Leo Gao und Sid Black gegründetes unabhängiges Forschungskollektiv mit Fokus auf Alignment für Künstliche Intelligenz, Skalierung und Open-Source-KI-Forschung.
Die mittlerweile gewachsene Gruppe KI-Forschender, die über Discord und GitHub miteinander kooperieren, ist neben anderen KI-Projekten vor allem bekannt für ihre Arbeit mit Sprachmodellen. Die Gruppe arbeitet an Open-Source-Alternativen zu OpenAIs GPT-3, einem leistungsstarken Sprachmodell, das ausschließlich über OpenAIs API oder Microsoft verfügbar ist und dessen Einsatz stark reguliert wird.
Anfang 2021 verkündete das Kollektiv die Entwicklung von mehreren Sprachmodellen, einige davon trainiert auf Googles TPU-Chips und größere, auf GPU-Servern von CoreWeave trainierte Varianten.
Im März 2021 veröffentlicht EleutherAI zwei GPT-Neo-Varianten mit 1,3 Milliarden und 2,7 Milliarden Parametern. Im Juli 2021 veröffentlichte die Gruppe dann GPT-J, ein sechs Milliarden Parameter großes Modell, das mit EleutherAIs eigenem knapp 800 Gigabyte großem Sprachdatensatz "The Pile" trainiert wurde und die Leistung des ähnlich großen Curie-Modells von GPT-3 erreicht.
GPT-NeoX-20B nähert sich GPT-3 DaVinci an
Nun veröffentlicht EleutherAI GPT-NeoX-20B, das erste Modell, das mit dem intern entwickelten GPT-NeoX-Framework auf GPUs von CoreWeave trainiert wurde. Das 20 Milliarden Parameter große Modell wurde ebenfalls mit "The Pile" trainiert und übertrifft in von EleutherAI durchgeführten Benchmarks die Leistung des Curie-Modells von GPT-3. Es kommt bis auf wenige Prozentpunkte an die knapp 150 Milliarden Parameter größere DaVinci-Variante von GPT-3 heran.
GPT-NeoX-20B ist ab dem 9. Februar auf The Eye zum Download verfügbar. Interessenten können die Fähigkeiten des Modells bereits jetzt auf GooseAI testen, einer Plattform für Sprach-KI-Services, die zahlreiche GPT-3-Alternativen anbietet.
GPT-NeoX-20B ist Forschungsobjekt und kein Produkt
EleutherAI weist jedoch darauf hin, dass es sich bei GPT-NeoX-20B um ein Forschungsobjekt handelt, und rät davon ab, dieses oder andere Modelle ohne sorgfältige Prüfung in einer Produktionsumgebung einzusetzen.
Interessenten wird empfohlen, sich ausführlich mit dem verwendeten Trainingsdatensatz auseinanderzusetzen. Im Discord von EleutherAI gibt es außerdem einen eigenen Sub-Channel #20b, wo das Modell diskutiert werden kann.
Über die Chancen und Risiken großer Sprachmodelle, sowie ihr Potenzial für generelle Intelligenz, haben wir mit EleutherAI Mitgründer Connor Leahy in unserem DEEP MINDS Podcast Folge #4 gesprochen.
