Nvidia will mit NitroGen universelle KI-Agenten für alle Welten erschaffen
Nvidia hat ein neues Grundlagenmodell für Gaming-Agenten veröffentlicht. NitroGen ist ein offenes Vision-Action-Modell, das auf 40.000 Stunden Gameplay-Videos von mehr als 1.000 Spielen trainiert wurde. Die Forscher nutzten eine bisher kaum erschlossene Ressource: YouTube- und Twitch-Videos mit sichtbaren Controller-Overlays. Mit Template-Matching und einem feinabgestimmten SegFormer-Modell extrahierten sie daraus die Spieler-Eingaben.
NitroGen basiert auf dem Robotik-Modell GR00T N1.5 und ist laut den Forschern das erste Modell, das zeigt, dass Robotik-Grundlagenmodelle als universelle Agenten in virtuellen Umgebungen mit unterschiedlicher Physik und Grafik funktionieren können. Das Modell beherrscht verschiedene Genres: Action-RPGs, Plattformer, Roguelikes und mehr. Bei unbekannten Spielen erreicht es bis zu 52 Prozent bessere Erfolgsraten als Modelle, die von Grund auf trainiert werden.
Die Forscher von Nvidia, Stanford, Caltech und anderen Universitäten haben den Datensatz, die Modellgewichte, das Paper und den Code öffentlich zugänglich gemacht.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den „KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
Jetzt abonnieren