Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Update vom 13. Februar 2024:

"Chat with RTX" von Nvidia steht ab sofort als kostenloser Download zur Verfügung. Der Chiphersteller empfiehlt mindestens eine Geforce-Grafikkarte der RTX 30-Serie mit 8 GB VRAM und 16 GB Arbeitsspeicher sowie Windows 11 als Betriebssystem. Der Download ist rund 35 GB groß. Über die Sprachmodelle Llama 2 und Mistral kann man dann eigene Dateien sowie YouTube-Video-Transkripte lokal "chatbar" machen.

Ursprünglicher Artikel vom 11. Januar 2024:

Nvidia hat eine neue Demo-Anwendung namens Chat with RTX angekündigt, mit der Benutzer ein LLM mit eigenen Inhalten wie Dokumenten, Notizen, Videos oder anderen Daten zu personalisieren.

Anzeige
Anzeige

Die Anwendung nutzt Retrieval-Augmented Generation (RAG), TensorRT-LLM und RTX-Beschleunigung, um Nutzern die Möglichkeit zu geben, einen benutzerdefinierten Chatbot zu befragen und schnell und sicher kontextbezogene Antworten zu erhalten.

Der Chatbot läuft lokal auf einem Windows RTX PC oder einer Workstation und bietet somit zusätzlichen Datenschutz im Vergleich zur Cloud-Variante.

Chat with RTX unterstützt eine Vielzahl von Dateiformaten, darunter Text, pdf, doc/docx und xml. Die Benutzer können einfach die entsprechenden Ordner an die Anwendung anhängen, die dann die Dateien in die Bibliothek lädt.

Darüber hinaus können Nutzer die URL einer YouTube-Playlist angeben, und die Anwendung lädt die Transkripte der Videos in der Playlist und macht sie chatfähig. Google Bard bietet eine ähnliche Funktion, aber nur mit einem Google-Konto in der Google Cloud. Chat with RTX verarbeitet das Transkript lokal.

Video: Nvidia

Empfehlung

Nvidia bietet hier eine Registrierung an, um benachrichtigt zu werden, sobald die Software verfügbar ist.

Entwickler können sofort loslegen

Entwickler können sofort loslegen, denn die Chat with RTX Tech Demo basiert auf dem TensorRT-LLM RAG Developer Reference Project, das auf GitHub verfügbar ist. Entwickler können diese Referenz laut Nvidia verwenden, um ihre eigenen RAG-basierten Anwendungen für RTX zu entwickeln und bereitzustellen, die durch TensorRT-LLM beschleunigt werden.

Neben Chat with RTX stellte Nvidia auf der CES auch RTX Remix vor, eine Plattform zur Erstellung von RTX-Remastern von Spieleklassikern, die im Januar als Beta-Version verfügbar sein soll.

Außerdem wurden die Nvidia ACE Microservices angekündigt, die Spiele mit intelligenten und dynamischen digitalen Avataren ausstatten, die auf generativer KI basieren.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Darüber hinaus wurde die TensorRT Beschleunigung für Stable Diffusion XL (SDXL) Turbo und Latent Consistency Modelle veröffentlicht, die eine Leistungssteigerung von bis zu 60 Prozent bringen soll.

Eine aktualisierte Version der Stable Diffusion WebUI TensorRT Erweiterung mit verbesserter Unterstützung für SDXL, SDXL Turbo, LCM - Low-Rank Adaptation (LoRA) ist jetzt verfügbar.

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Nvidia kündigt Chat with RTX an, eine Demo-Anwendung, die es Benutzern ermöglicht, einen LLM-Chatbot mit eigenen Inhalten zu personalisieren und lokal auf einem Windows RTX PC oder einer Workstation zu betreiben.
  • Die Anwendung unterstützt verschiedene Dateiformate und ermöglicht es, YouTube-Playlist-Transkripte in den Chatbot zu integrieren.
  • Entwickler können das TensorRT-LLM RAG Developer Reference Project auf GitHub verwenden, um eigene RAG-basierte Anwendungen für RTX zu entwickeln und bereitzustellen.
Quellen
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!