Nvidia stellt mit G-Assist und einem Plug-in-Builder neue Werkzeuge zur KI-gestützten PC-Steuerung vor. Entwickler können eigene Sprachbefehle und Automatisierungen programmieren.
G-Assist war bisher ein experimenteller Assistent zur Steuerung, Überwachung und Optimierung von Systemfunktionen. Mit dem Plug-in-Builder können Nutzer nun eigene Befehle und Automationen erstellen – per Sprache oder Texteingabe.
Lokales Sprachmodell steuert PC-Funktionen
Erweiterungen für G-Assist basieren auf einfachen Konfigurationsdateien im JSON-Format. Die Logik wird in Python geschrieben. Die Dateien werden lokal abgelegt und automatisch von G-Assist erkannt. Der Zugriff erfolgt direkt über das Nvidia-Overlay, ohne dass Anwendungen verlassen werden müssen.
Das System nutzt ein kleines Sprachmodell, das lokal auf RTX-GPUs läuft. Die Inferenz erfolgt daher ohne Cloudverbindung. Zudem lässt sich G-Assist in agentenbasierte Systeme wie Langflow einbinden und als Teil größerer Automatisierungspipelines verwenden.
Nvidia liefert mehrere Beispiel-Plug-ins mit, etwa für die Steuerung von Musikwiedergabe und Lautstärke über Spotify, den Zugriff auf Googles Cloud-KI Gemini für Konversations- und Websuche, die Abfrage von Twitch-Streams oder die Ausgabe von Wetterdaten und Börsenkursen.
Auch die Steuerung unterstützter Peripheriegeräte wird ermöglicht, etwa zur Anpassung von Lüfterprofilen, RGB-Beleuchtung oder Benchmark-Aufrufen bei Geräten von Logitech G, Corsair, MSI oder Nanoleaf.
Die notwendigen Dateien, Anleitungen und Beispielerweiterungen stellt Nvidia über ein öffentlich zugängliches GitHub-Repository bereit. Für die Entwicklung verweist Nvidia auf frei zugängliche API-Sammlungen, die sich für eigene Erweiterungen nutzen lassen, etwa publicapis.dev, free-apis.github.io, apilist.fun und APILayer.
Vor der Einführung des Plug-in-Systems war G-Assist ein geschlossenes Werkzeug zur Systemsteuerung auf RTX-PCs. Mit der nun möglichen Erweiterung durch Nutzer verlagert Nvidia die Gestaltungsmöglichkeiten stärker an die Community. Die Zielgruppe bleibt jedoch technisch versiert und auf aktuelle Nvidia-Hardware beschränkt.
