Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Sprachmodelle können realistischere Dialoge und Interaktionen mit Nicht-Spieler-Charakteren (NPCs) in Videospielen ermöglichen.

LLMs können In-Game-Dialoge erzeugen, die den Kontext des Spiels und die Interaktionen des Spielers in Echzeit berücksichtigen. Sie können auch zur Erstellung von Dialogbäumen verwendet werden, um die NPCs abwechslungsreicher und interaktiver zu gestalten.

Auf der CES 2024 präsentierten Nvidia und das Start-up Convai, das sich auf generative Echtzeitkonversationen in virtuellen Welten spezialisiert hat, eine aktualisierte Version einer Demo, in der ein Spieler mit zwei Nichtspielercharakteren in einer Cyberpunk-Bar in Echtzeit sprechen kann.

Die neue Demo geht über die Interaktion zwischen den Charakteren hinaus, indem sie es den Spielcharakteren ermöglicht, Gegenstände zu sammeln und in ihrer Umgebung zu navigieren, und zwar auf der Grundlage von Gesprächen mit den Spielern.

Anzeige
Anzeige

LLM-Gespräche sind noch kein Ersatz für handgeschriebene Texte zu einer Szene, die im Kontext einer größeren Geschichte stehen.

Sie könnten aber die ohnehin meist oberflächlichen und belanglosen NPC-Dialoge in großen Spielwelten deutlich persönlicher und abwechslungsreicher gestalten und so die Immersion erhöhen. Insbesondere kleinere Teams könnten von dieser Technologie profitieren.

Allerdings gibt es bei der Implementierung von LLMs in Spielen noch Herausforderungen, wie die Latenz oder das Risiko, dass die KI falsche Aussagen trifft oder Inhalte generiert, die nicht zum Spiel passen. Die Entwickler haben jedoch die Möglichkeit, dem bis zu einem gewissen Grad entgegenzuwirken, etwa durch überlegtes Prompten und Richtlinien für die KI.

Nvidias Avatar Cloud Engine (ACE) für generative KI-Charaktere

Die Demo läuft auf der Avatar Cloud Engine (ACE) von Nvidia, einer Plattform für generative KI, die für realistischere Dialoge und Interaktionen in Videospielen eingesetzt wird. Sie enthält verschiedene Komponenten, darunter NeMo für große Sprachmodelle, Riva für Spracherkennung und Text-zu-Audio-Konvertierung sowie Audio2Face für Gesichtsanimationen.

Die Tools von Convai können in Kombination mit Nvidias ACE dazu beitragen, die Latenz und Qualität von nicht spielbaren KI-Charakteren in Videospielen zu verbessern.

Empfehlung

Das Start-up Replica hat ein "AI Voice Plugin" für die Spieleentwicklungsplattformen Unity und Unreal entwickelt, das verschiedene LLMs unterstützt. Das Plugin kann von LLMs generierte Sätze durch KI-Stimmen von NPCs lippensynchron und mit entsprechender Körpersprache darzustellen. Das Plugin kann man in dieser Matrix-Demo im Einsatz sehen.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Sprachmodelle können für realistischere Dialoge und Interaktionen mit Nicht-Spieler-Charakteren (NPCs) in Videospielen eingesetzt werden, indem sie In-Game-Dialoge und Dialogbäume generieren, die den Spielkontext und die Interaktionen des Spielers berücksichtigen.
  • Nvidia und das Start-up Convai haben auf der CES 2024 eine Demo vorgestellt, die auf Nvidias Avatar Cloud Engine (ACE) läuft, einer Plattform für generative KI, die für realistischere Dialoge und Interaktionen in Spielen eingesetzt wird.
  • Allerdings gibt es bei der Implementierung von Sprachmodellen in Spielen immer noch Herausforderungen wie Latenz und das Risiko falscher Aussagen, aber Entwickler können diese Probleme beispielsweise durch Eingabeaufforderungen und Richtlinien lösen.
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!