Tencent Cloud führt ein "Model as a Service" (MaaS) für große Sprachmodelle ein. Der Service wird von einer neuen GPU von Nvidia unterstützt.
Tencent Cloud MaaS bietet mehrere integrierte Sprachmodelle, die verschiedene Branchen wie Finanzen, Medien, Tourismus oder Fertigung abdecken und von Unternehmen für ihre Zwecke weiter spezialisiert werden können. Alternativ können eigene Modelle über den Cloud-Service trainiert werden.
Zu diesem Zweck bietet das Unternehmen eine Reihe von Werkzeugen an, darunter Werkzeuge für Datenbeschriftung, Training, Auswertung, Tests und Modellbereitstellung.
Tencent setzt als erstes Unternehmen in China auf Nvidias neue GPUs
Das Unternehmen arbeitet für den Ausbau eines chinesischen Sprachmodell-Ökosystems mit zahlreichen Partnern zusammen und hat laut Tang Daosheng, Senior Executive Vice President von Tencent und Leiter der Cloud and Smart Industries Group, bereits mehr als 50 auf Sprachmodellen basierende Industrielösungen in über zehn Branchen eingeführt.
Ähnliche Dienste werden in China auch von Baidu angeboten. Tencent ist jedoch das erste chinesische Unternehmen, das im April ein High Performance Computing Cluster mit Nvidia H800 GPU eröffnet hat. Neben der Nvidia-GPU setzt Tencent für das Rechenzentrum auf selbst entwickelte StarLake-Server.
Exportbeschränkungen treffen chinesische KI-Industrie
In China ist Nvidias H800 der schnellste derzeit verfügbare KI-Beschleuniger. Doch die H800 ist eine abgespeckte Version von Nvidias Spitzenmodell H100, das aufgrund der US-Exportbeschränkungen des CHIPS Act nicht in China verkauft werden darf. Die Regulierungen betreffen Nvidias A100 und H100 GPUs, die in den meisten Rechenzentren weltweit für KI-Training genutzt werden.
Das Unternehmen beschränkte für die A100 die Chip-zu-Chip Datentransferrate von 600 GBps auf 400 GBps und verkauft die Karte als A800. Laut Insidern aus China soll die Transferrate der H800 dagegen sogar von 600 GBps auf 300 GBps halbiert worden sein. Im KI-Training können diese Geschwindigkeiten große Unterschiede machen und Unternehmen, die Zugriff auf H100-Karten haben, könnten daher einen Vorteil gegenüber chinesischen Unternehmen haben.
In China setzten die Alibaba Group, Baidu und Tencent auf Nvidias H800-Karten.
