Nvidias Avatar Cloud Engine startete als KI-Service für die Serviceindustrie. Jetzt bringt Nvidia die generativen KI-Tools für Videospiele.
Seit dem Durchbruch der großen Sprachmodelle gibt es Versuche, solche KI-Systeme in Videospielen einzusetzen, um dynamische Dialoge mit Nicht-Spieler-Charakteren (NPCs) zu ermöglichen. Auf der Computex hat Nvidia nun angekündigt, Avatar Cloud Engine für Videospiele zu öffnen.
Das ACE von Nvidia besteht aus drei Komponenten: NeMo, Riva und Omniverse Audio2Face. NeMo liefert große Sprachmodelle, die Entwickler:innen anpassen können, etwa mit Hintergrundgeschichten und Dialogdaten. Riva kann Sprache erkennen und Text in Audio umwandeln, so dass Live-Sprachkonversationen mit NeMo möglich sind. Audio2Face wandelt den Audio-Output von Riva in Gesichtsanimationen um, die über Omniverse-Links etwa MetaHuman-Charaktere in Unreal Engine 5 steuern können.
In Zusammenarbeit mit dem KI-Startup Convai zeigt Nvidia, wie ein von ACE angetriebener MetaHuman in einem Videospiel aussehen könnte.
NPC Jin antwortet auf Anfragen des Spielers in natürlicher Sprache realistisch und "im Einklang mit der Hintergrundgeschichte", so Nvidia. Auffallend ist die geringe Latenz in der Demo, Details zum Sprachmodell und zur Hardware im Hintergrund gibt es nicht.
Unterschiedliche Modelle sollen niedrige Latenzen ermöglichen
"Mit Nvidia ACE erreichen die Tools von Convai die Latenz und Qualität, um nicht spielbare KI-Charaktere für nahezu jeden Entwickler kostengünstig verfügbar zu machen", so Purnendu Mukherjee, Gründer und CEO von Convai.
Laut Nvidia sind die KI-Modelle in ACE von unterschiedlicher Größe, Leistung und Qualität. "Der ACE for Games Foundry Service hilft Entwicklern bei der Feinabstimmung der Modelle für ihre Spiele, die dann über die Nvidia DGX Cloud, GeForce RTX PCs oder vor Ort für Echtzeit-Inferencing eingesetzt werden." Dabei werden die Modelle auf Latenz optimiert - eine wichtige Voraussetzung für immersive, reaktionsschnelle Interaktionen in Spielen.
Als eines der ersten Entwicklerstudios setzt GSC Game World zumindest ein Tool von ACE ein: Audio2Face soll in S.T.A.L.K.E.R. 2 Heart of Chernobyl zum Einsatz kommen. KI-generierte Geschichten werden die NPCs am Lagerfeuer aber vorerst nicht erzählen.
Nvidias DGX GH200 ist wie eine gigantische GPU
Neben ACE for Games kündigte Nvidia eine Reihe weiterer Kooperationen und Produkte an, darunter den KI-Supercomputer DGX GH200 mit 256 "Grace Hopper"-Chips mit insgesamt 144 Terabyte Speicher und einer KI-Leistung von Exaflop. Laut Nvidia trainiert der DGX GH200 GPT-3 2,2 Mal schneller als ein DGX H100 Cluster.
Laut Nvidia-CEO Jensen Huang gehören Google, Meta und Microsoft zu den ersten Unternehmen, die Zugang zu DGX GH200 erhalten und die Möglichkeiten der Plattform evaluieren werden.