Inhalt
newsletter Newsletter
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

EleutherAI veröffentlicht GPT-NeoX-20B, ein 20 Milliarden Parameter großes Open-Source-Sprachmodell, das in Benchmarks nahe an OpenAIs größte GPT-3-Variante herankommt.

EleutherAI ist ein im Juli 2020 von Connor Leahy, Leo Gao und Sid Black gegründetes unabhängiges Forschungskollektiv mit Fokus auf Alignment für Künstliche Intelligenz, Skalierung und Open-Source-KI-Forschung.

Die mittlerweile gewachsene Gruppe KI-Forschender, die über Discord und GitHub miteinander kooperieren, ist neben anderen KI-Projekten vor allem bekannt für ihre Arbeit mit Sprachmodellen. Die Gruppe arbeitet an Open-Source-Alternativen zu OpenAIs GPT-3, einem leistungsstarken Sprachmodell, das ausschließlich über OpenAIs API oder Microsoft verfügbar ist und dessen Einsatz stark reguliert wird.

Anfang 2021 verkündete das Kollektiv die Entwicklung von mehreren Sprachmodellen, einige davon trainiert auf Googles TPU-Chips und größere, auf GPU-Servern von CoreWeave trainierte Varianten.

Anzeige
Anzeige

Im März 2021 veröffentlicht EleutherAI zwei GPT-Neo-Varianten mit 1,3 Milliarden und 2,7 Milliarden Parametern. Im Juli 2021 veröffentlichte die Gruppe dann GPT-J, ein sechs Milliarden Parameter großes Modell, das mit EleutherAIs eigenem knapp 800 Gigabyte großem Sprachdatensatz "The Pile" trainiert wurde und die Leistung des ähnlich großen Curie-Modells von GPT-3 erreicht.

GPT-NeoX-20B nähert sich GPT-3 DaVinci an

Nun veröffentlicht EleutherAI GPT-NeoX-20B, das erste Modell, das mit dem intern entwickelten GPT-NeoX-Framework auf GPUs von CoreWeave trainiert wurde. Das 20 Milliarden Parameter große Modell wurde ebenfalls mit "The Pile" trainiert und übertrifft in von EleutherAI durchgeführten Benchmarks die Leistung des Curie-Modells von GPT-3. Es kommt bis auf wenige Prozentpunkte an die knapp 150 Milliarden Parameter größere DaVinci-Variante von GPT-3 heran.

Bild: EleutherAI

GPT-NeoX-20B ist ab dem 9. Februar auf The Eye zum Download verfügbar. Interessenten können die Fähigkeiten des Modells bereits jetzt auf GooseAI testen, einer Plattform für Sprach-KI-Services, die zahlreiche GPT-3-Alternativen anbietet.

GPT-NeoX-20B ist Forschungsobjekt und kein Produkt

EleutherAI weist jedoch darauf hin, dass es sich bei GPT-NeoX-20B um ein Forschungsobjekt handelt, und rät davon ab, dieses oder andere Modelle ohne sorgfältige Prüfung in einer Produktionsumgebung einzusetzen.

Interessenten wird empfohlen, sich ausführlich mit dem verwendeten Trainingsdatensatz auseinanderzusetzen. Im Discord von EleutherAI gibt es außerdem einen eigenen Sub-Channel #20b, wo das Modell diskutiert werden kann.

Empfehlung

Über die Chancen und Risiken großer Sprachmodelle, sowie ihr Potenzial für generelle Intelligenz, haben wir mit EleutherAI Mitgründer Connor Leahy in unserem DEEP MINDS Podcast Folge #4 gesprochen.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Weiterlesen über Künstliche Intelligenz:

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!