Nvidias NIM verpackt wichtige Bausteine einer KI-Anwendung, wie KI-Modelle, APIs oder Libaries in einem Container.
Nvidia kündigt auf der GTC NIM-Microservices an. NIM verpackt optimierte Inferenz-Engines, branchenübliche APIs und KI-Modelle in Containern für eine einfache Bereitstellung. Große Softwareanbieter wie SAP, Adobe, Cadence, CrowdStrike, Getty Images, ServiceNow und Shutterstock sowie Datenplattformanbieter wie BOX, Cohesity, Cloudera, Databricks, Datastax, Dropbox, NetApp und Snowflake unterstützen NIM. NIM ist auch Teil der Nvidia Enterprise AI Software Suite, die heute auf der GTC ihre 5.0-Version erhält.
Konkret ist ein NIM ein Container voller Microservices, der offene oder proprietäre Modelle enthalten kann, die auf Nvidia-GPUs laufen. Der Container kann überall dort bereitgestellt werden, wo ein Container laufen kann, wie zum Beispiel in einer Kubernetes-Bereitstellung in der Cloud, einem Linux-Server oder einem serverlosen Function-as-a-Service-Modell. NIMs werden auch etwa Retrieval Augmented Generation (RAG)-Fähigkeiten für Unternehmen unterstützen. Vektor-Datenbankanbieter wie Apache Lucene, Datastax, Faiss, Kinetica, Milvus, Redis und Weaviate unterstützen NIMs.
Die NIMs sollen die Bereitstellungszeit von KI-Anwendungen von Wochen auf Minuten verkürzen. Anwender sollen damit ihre datengesteuerten Anwendungen sicher auf ihrer eigenen Infrastruktur hosten und bei Bedarf skalieren können.
Entwickler können mit den neuen Microservices auf der neuen Plattform ai.nvidia.com kostenlos experimentieren. Die kommerzielle Nutzung der NIM-Microservices ist mit Nvidia AI Enterprise 5.0 auf Nvidia-zertifizierten Systemen und Cloud-Anbietern möglich. Das Unternehmen plant, die NIM-Microservices kontinuierlich zu verbessern, indem beispielsweise die verwendeten KI-Modelle für Nvidia-Hardware optimiert werden.
NIM-Microservices für SAP und Biotech
Eines der ersten großen Unternehmen ist SAP, das die neuen NIM-Microservices nutzt wird, um den Einsatz von generativer KI in Unternehmensanwendungen zu beschleunigen. Ziel ist es, Kunden in die Lage zu versetzen, ihre Geschäftsdaten in SAP-Cloud-Lösungen mit generativer KI zu nutzen.
Die Zusammenarbeit konzentriert sich auf die Entwicklung und Bereitstellung von SAP Business AI, einschließlich skalierbarer, geschäftsspezifischer generativer KI-Funktionen innerhalb von SAPs Joule Copilot und im gesamten Cloud-Lösungs- und Anwendungsportfolio von SAP.
Nvidia stellte außerdem eine breite Palette von Mikroservices vor, mit denen die Arzneimittelforschung und die Medizintechnik vorangebracht werden sollen. Die mehr als zwei Dutzend Services sind über die Cloud verfügbar und basieren auf KI-Modellen und -Tools, die speziell für das Gesundheitswesen optimiert wurden. Sie bieten beispielsweise fortschrittliche Bildgebung, Spracherkennung und generative biologische und chemische Vorhersage und Simulation.
Auch Nvidias BioNeMo erhält ein Update mit neuen Modellen unter anderem für die Analyse von DNA-Sequenzen, die Vorhersage von Veränderungen der Proteinstruktur durch Medikamente und die Bestimmung der Zellfunktion auf der Grundlage von RNA. Die Modelle sind nun auch als Microservices über Nvidias NIM verfügbar.
In Kürze werden die BioNeMo-Modelle auch über AWS HealthOmics, einem speziell für das Gesundheitswesen und die Lebenswissenschaften entwickelten Dienst, verfügbar sein.