Mit LLMs zu besseren Chips: Nvidia sucht nach der "ImageNet-Revolution" für Hardware-Design
Nvidia hat zusammen mit Partnern einen Wettbewerb ausgeschrieben, um die Entwicklung von Hardware mit Hilfe von Large Language Models (LLMs) voranzutreiben.
Laut Nvidia haben aktuelle LLMs wie GPT-4 noch Schwierigkeiten, ohne menschliches Eingreifen praktisch nutzbare Hardwaredesigns zu erzeugen. Das liege vor allem daran, dass den Modellen während des Trainings nicht genügend hardwarespezifischer Code zur Verfügung stehe.
Ziel des Wettbewerbs ist es daher, einen umfangreichen, qualitativ hochwertigen Open-Source-Datensatz mit Verilog-Code zu erstellen, der für das Training von LLMs genutzt werden kann. Die Vision ist eine "ImageNet-ähnliche Revolution in der LLM-basierten Hardware-Code-Generierung", heißt es auf der Website des Wettbewerbs.
"Bessere GPUs führen zu mehr Intelligenz pro Trainingseinheit, was zu besseren LLMs für die Codegenerierung führt, die dann noch bessere GPUs entwerfen können", schreibt Nvidia-Forscher Jim Fan. Ziel sei es, eines Tages in den Urlaub fahren zu können, während Nvidia weiterhin neue Chips liefert.
Sammeln, skalieren, bereinigen
Der Wettbewerb besteht aus zwei Phasen. In der ersten Phase sollen die Teilnehmer Verilog Code Beispiele sammeln oder generieren, um den bestehenden MG Verilog Datensatz zu erweitern. Wichtig ist hierbei der Fokus auf skalierbare Methoden.
In der zweiten Phase soll die Qualität des Datensatzes durch Datenbereinigung und Labelgenerierung verbessert werden. Zu diesem Zweck erhalten die Teilnehmer einen vollständigen Datensatz mit allen in Phase I eingereichten Datenproben. Auch hier liegt der Schwerpunkt auf automatisierten Methoden.
Die Bewertung der Beiträge erfolgt anhand der Verbesserung, die die eingereichten Daten für ein feinabgestimmtes LLM bringen. Als Basis-LLM dient das CodeLlama-7B-Instruct-Modell. Nvidia stellt den Teilnehmern ein Startpaket zur Verfügung, das unter anderem einen Basis-Datensatz, Beispieldaten und Code zum Feinabstimmen des LLMs enthält.
Die Anmeldung für den Wettbewerb muss bis spätestens Ende Juli passieren. Die Ergebnisse werden Ende Oktober auf der International Conference on Computer-Aided Design vorgestellt.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den „KI Radar“‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
Jetzt abonnierenKI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.