Das KI-Startup Groq hat in einer aktuellen Finanzierungsrunde 640 Millionen Dollar eingesammelt. Das Unternehmen entwickelt spezialisierte Chips für KI-Anwendungen wie Sprachmodelle.
Groq Inc., ein 2016 von Jonathan Ross gegründetes Startup für KI-Chips und -Software, hat in einer aktuellen Finanzierungsrunde 640 Millionen Dollar eingesammelt. Die Runde wurde von Fonds von BlackRock Inc. angeführt und von den Investmentbereichen von Cisco Systems Inc. und Samsung Electronics Co. unterstützt. Das Unternehmen wird nun mit 2,8 Milliarden Dollar bewertet.
Ross, der zuvor bei Google an den TPU-Chips mitarbeitete, entwickelt mit Groq spezielle Hardware für KI-Anwendungen, insbesondere solche, die aktuelle Foundation-Modelle wie Sprachmodelle beschleunigt. Das Unternehmen hat dafür sogenannte LPUs (Language Processing Units) entwickelt, die für die Ausführung von Sprachmodellen optimiert sind. Diese können eine Geschwindigkeit von hunderten Token pro Sekunde auch bei größeren Modellen wie Metas Llama 2 70B erreichen - das entspricht hunderten Wörtern pro Sekunde. Diese Geschwindigkeit macht die Hardware für Echtzeit-Anwendungen interessant, wird aber mittlerweile auch von Nvidias Hardware erreicht - wenn auch zu deutlich höheren Preisen.
Groq baut Chips für Inferenz, nicht für Training
Laut Groq sind LPUs energieeffizienter als herkömmliche Grafikchips (GPUs), da sie den Aufwand für die Verwaltung mehrerer Threads reduzieren und die Unterauslastung von Kernen vermeiden. Das Chip-Design von Groq ermöglicht zudem die Verbindung mehrerer spezialisierter Kerne ohne die traditionellen Engpässe, die bei GPU-Clustern auftreten.
Die Hardware könnte somit eine Alternative zu den derzeit stark nachgefragten Chips von Nvidia darstellen, allerdings nur für die Inferenz, also die Ausführung von KI-Modellen. Für das Training der Modelle benötigen Unternehmen weiterhin die gängige Hardware von Nvidia oder ähnliche Chips. Meta will beispielsweise Llama 4 mit der zehnfachen Rechenleistung trainieren, die das Unternehmen für Llama 3 aufgewendet hat.
