Perplexity AI hat sein hauseigenes KI-Suchmodell Sonar vorgestellt. Es basiert auf Llama 3.3 70B und soll durch Optimierungen und schnellere Hardware bessere Ergebnisse liefern als Konkurrenzmodelle.
Perplexity AI hat die neueste Version seines KI-Suchmodells Sonar veröffentlicht. Nach Angaben des Unternehmens übertrifft es in internen Tests Modelle wie GPT-4o mini und Claude 3.5 Haiku deutlich in der Nutzerzufriedenheit. Sonar soll auch an die teureren Spitzenmodelle wie GPT-4o und Claude 3.5 Sonnet heranreichen und diese in einigen für die Suche wichtigen Bereichen sogar übertreffen.
Sonar baut auf dem Llama 3.3 70B Modell von Meta auf. Perplexity hat es nach eigenen Angaben durch zusätzliches Training weiter optimiert, um in der hauseigenen Suchfunktion bessere Ergebnisse zu liefern. Insbesondere die Faktentreue und Lesbarkeit der generierten Antworten sollen dadurch verbessert worden sein. Das Unternehmen hatte bereits früher eine eigene Version von Llama 3.1 mit Sonar-Namensgebung im Einsatz.
Cerebras-Hardware beschleunigt Sonar auf 1.200 Token pro Sekunde
Um die Antwortgeschwindigkeit zu erhöhen, setzt Perplexity auf spezialisierte Hardware von Cerebras Systems. Das Unternehmen verfolgt einen anderen Ansatz bei der Herstellung von Computerchips, indem es einen gesamten Wafer in einen einzigen, riesigen Chip namens "Wafer Scale Engine" (WSE) verwandelt. Auf dieser Inferenz-Infrastruktur erreicht Sonar laut Perplexity eine Geschwindigkeit von 1.200 Token pro Sekunde. Dadurch sollen Antworten nahezu in Echtzeit generiert werden können. Das französische KI-Startup Mistral hatte kürzlich mit "Flash Answers" ebenfalls eine vergleichbare Antwortgeschwindigkeit vorgestellt, allerdings nicht für die Suche.
Vorerst soll Sonar nur zahlenden Pro-Nutzern zur Verfügung stehen, eine breitere Verfügbarkeit ist aber geplant. Zu den finanziellen Details der Kooperation mit Cerebras macht Perplexity keine Angaben.
