Nvidia hat zusammen mit Partnern einen Wettbewerb ausgeschrieben, um die Entwicklung von Hardware mit Hilfe von Large Language Models (LLMs) voranzutreiben.
Laut Nvidia haben aktuelle LLMs wie GPT-4 noch Schwierigkeiten, ohne menschliches Eingreifen praktisch nutzbare Hardwaredesigns zu erzeugen. Das liege vor allem daran, dass den Modellen während des Trainings nicht genügend hardwarespezifischer Code zur Verfügung stehe.
Ziel des Wettbewerbs ist es daher, einen umfangreichen, qualitativ hochwertigen Open-Source-Datensatz mit Verilog-Code zu erstellen, der für das Training von LLMs genutzt werden kann. Die Vision ist eine "ImageNet-ähnliche Revolution in der LLM-basierten Hardware-Code-Generierung", heißt es auf der Website des Wettbewerbs.
"Bessere GPUs führen zu mehr Intelligenz pro Trainingseinheit, was zu besseren LLMs für die Codegenerierung führt, die dann noch bessere GPUs entwerfen können", schreibt Nvidia-Forscher Jim Fan. Ziel sei es, eines Tages in den Urlaub fahren zu können, während Nvidia weiterhin neue Chips liefert.
Sammeln, skalieren, bereinigen
Der Wettbewerb besteht aus zwei Phasen. In der ersten Phase sollen die Teilnehmer Verilog Code Beispiele sammeln oder generieren, um den bestehenden MG Verilog Datensatz zu erweitern. Wichtig ist hierbei der Fokus auf skalierbare Methoden.
In der zweiten Phase soll die Qualität des Datensatzes durch Datenbereinigung und Labelgenerierung verbessert werden. Zu diesem Zweck erhalten die Teilnehmer einen vollständigen Datensatz mit allen in Phase I eingereichten Datenproben. Auch hier liegt der Schwerpunkt auf automatisierten Methoden.
Die Bewertung der Beiträge erfolgt anhand der Verbesserung, die die eingereichten Daten für ein feinabgestimmtes LLM bringen. Als Basis-LLM dient das CodeLlama-7B-Instruct-Modell. Nvidia stellt den Teilnehmern ein Startpaket zur Verfügung, das unter anderem einen Basis-Datensatz, Beispieldaten und Code zum Feinabstimmen des LLMs enthält.
Die Anmeldung für den Wettbewerb muss bis spätestens Ende Juli passieren. Die Ergebnisse werden Ende Oktober auf der International Conference on Computer-Aided Design vorgestellt.
