- Informationen zu Haiku ergänzt
- Informationen über Trainingsdaten hinzugefügt
- Video über die visuellen Fähigkeiten von Claude 3 hinzugefügt
Update vom 4. März 2024:
Anthropics kleinstes und schnellstes KI-Modell "Haiku" ist ab sofort direkt über die Anthropic API verfügbar. Es soll in zahlreichen Benchmarks die konkurrierenden Modelle von OpenAI (GPT-3.5) und Google (Gemini Pro 1.0) übertreffen und bei vielen Aufgaben etwa dreimal schneller sein, bei deutlich geringeren Kosten.
Als Anwendungsbeispiele nennt Anthropic Kundenbetreuung nahezu in Echtzeit oder die kostengünstige Analyse von Quartalsberichten und Verträgen. Claude 3 Haiku kann laut Anthropic 400 Fälle des Obersten Gerichtshofs oder 2.500 Bilder für nur einen US-Dollar verarbeiten und analysieren.
Video: Anthropic
Update:
Amazon, das alle drei neuen Claude 3-Modelle in seinem KI-Cloud-Dienst Bedrock anbietet, zeigt in einem Video die visuellen Fähigkeiten von Claude 3 in Aktion. "Pharmaunternehmen können Forschungspapiere zusammen mit Proteinstrukturdiagrammen abfragen, um die Forschung zu beschleunigen. Medienunternehmen können automatisch Untertitel oder Videoskripte generieren", heißt es im Begleittext. Das im Video demonstrierte Modell ist das größte, Opus.
Video: AWS
Originalartikel vom 4. März 2024
Anthropic stellt mit Claude 3 ein neues großes Sprachmodell in drei Größen vor, das jetzt auch sehen kann. Die leistungsstärkste Version soll GPT-4 mindestens ebenbürtig sein. GPT-4 signifikant zu übertreffen, scheint der KI-Industrie nach wie vor nicht möglich zu sein.
Das aus OpenAI hervorgegangene KI-Start-up Anthropic hat mit der Modellfamilie Claude 3 eine neue Reihe von KI-Systemen vorgestellt, die in verschiedenen kognitiven Aufgabenbereichen Maßstäbe setzen soll.
Die Familie besteht aus drei Modellen: Claude 3 Haiku, Claude 3 Sonnet und Claude 3 Opus, die den Nutzern die Wahl zwischen Intelligenz, Geschwindigkeit und Kosten für ihre spezifischen Anwendungen bieten. Opus ist so schnell wie Claude 2.1, soll aber wesentlich "intelligenter" sein, während Haiku nahezu in Echtzeit antworten kann.
Alle Claude 3-Modelle bieten laut Anthropic verbesserte Analyse- und Prognosefähigkeiten, nuancierte Inhaltserstellung, Codegenerierung und Konversation in nicht-englischen Sprachen wie Spanisch, Japanisch und Französisch. Darüber hinaus können sie eine Vielzahl visueller Formate verarbeiten, darunter Fotos, Diagramme, Grafiken und technische Zeichnungen.
Opus und Sonnet sind derzeit über claude.ai und die Claude API verfügbar, Haiku wird in Kürze folgen. Opus steht nur zahlenden Claude-Kunden zur Verfügung, Sonnet ist kostenlos.
Claude-3-Modelle sollen jeweiliges Konkurrenz-Modell übertreffen
Der Mitteilung zufolge übertreffen die Claude 3-Modelle ihre Konkurrenten in den üblichen Bewertungskriterien für KI-Systeme wie Expertenwissen auf dem Niveau des Grundstudiums (MMLU), logisches Denken auf dem Niveau des Hauptstudiums (GPQA) und grundlegende Mathematik (GSM8K). Laut Anthropic zeigen sie auch ein fast menschliches Verständnis und eine flüssige Bearbeitung komplexer Aufgaben.
Laut Anthropic können Claude 3-Modelle komplexe Anweisungen befolgen und strukturierte Ausgaben in Formaten wie JSON erzeugen, was sie für die Klassifikation natürlicher Sprache und die Analyse von Stimmungen geeignet macht.
Auch wenn es für Anthropic ein Erfolg sein mag, in Benchmarks zu GPT-4 aufschließen zu können, sollte man zwei Dinge bedenken: Zum einen sind Benchmarks eben nur das. Wie gut sich die Modelle in der Praxis schlagen, bleibt abzuwarten.
Zum anderen ist GPT-4 seit rund einem Jahr verfügbar, und noch immer ist es keinem Unternehmen gelungen, einen signifikanten Fortschritt zu erzielen - trotz aller Milliardeninvestitionen.
Claude 3 kann jetzt auch sehen
Die neuen Modelle verfügen über visuelle Fähigkeiten, dank derer sie verschiedene Bildformate wie Fotos, Diagramme und technische Zeichnungen verarbeiten können. Davon sollen insbesondere Unternehmenskunden profitieren, deren Wissensdatenbanken in unterschiedlichen Formaten kodiert sind.
Bei den Claude-3-Modellen will Anthropic zudem erhebliche Fortschritte bei der Reduzierung unnötiger Ablehnungen und der Verbesserung des Verständnisses von Prompts erzielt haben. Im Vergleich zu Claude 2.1 sollen die Modelle eine Verdoppelung der Genauigkeit bei anspruchsvollen offenen Fragen und eine Verringerung der Anzahl falscher Antworten erreichen.
Kontextfenster mit bis zu einer Million Token
Ähnlich wie bei Google Gemini 1.5 erweitert Anthropic bei Claude das Kontextfenster erheblich. Das Kontextfenster beschreibt die Menge an Informationen, die das KI-Modell auf einmal verarbeiten kann. Eingaben von bis zu einer Million Token sollen möglich sein, auch wenn die Modelle zunächst nur mit 200K veröffentlicht werden. Zum Vergleich: Das ursprüngliche GPT-4 hat nur 8K-Token, das aktuellste Turbo-Modell hat 128K.
Die "Needle In A Haystack"-Evaluierung (NIAH), die die Fähigkeit eines Modells misst, Informationen präzise zu extrahieren, zeigt, dass Claude 3 Opus eine nahezu perfekte Extraktion einzelner Informationen aus langen Dokumenten mit einer Genauigkeit von über 99 Prozent erreicht.
Auch Google hat den NIAH-Test als Benchmark verwendet, um die Leistungsfähigkeit seines eigenen Kontextfensters hervorzuheben. Allerdings sagt diese Form der LLM-Suche wenig darüber aus, ob das Modell auch Zusammenhänge versteht und große Texte sinnvoll zusammenfassen oder analysieren kann. Das müssen Praxistests zeigen. Je nach Anwendungsfall gibt es effektivere Suchfunktionen in großen Textdaten - etwa "Strg + F".
Die Input- und Output-Kosten für eine Million Token liegen für das intelligenteste Modell Opus bei $15 bzw. $75, für Sonnet bei $3 bzw. $15 und für das schnelle und kompakte Hakiu bei $0,25 bzw. $1,25. OpenAIs neuestes GPT-4-Turbo-Modell mit 128K kostet $10 für eine Million Input-Token und $30 für eine Million Output-Token.
Anthropic verspricht Updates
Laut Anthropic ist die Entwicklung der "Modellintelligenz" von Claude 3 noch lange nicht abgeschlossen, und das Unternehmen will in den kommenden Monaten regelmäßige Updates veröffentlichen Ebenso will das Unternehmen eigene Services und Fähigkeiten für große Unternehmenskunden anbieten, zum Beispiel für Coding.
Anthropic äußert sich in der Ankündigung nicht zu den verwendeten Trainingsdaten. Gegen den Konkurrenten OpenAI läuft unter anderem ein großer Rechtsstreit mit der New York Times, da OpenAI ohne deren Zustimmung mit urheberrechtlich geschützten Daten der Zeitung trainiert haben soll.
Aus dem technischen Bericht für Claude 3 geht hervor, dass Anthropic zusätzlich zu den üblichen Internetdaten synthetische ("intern generierte") Daten mit einem Stichtag im August 2023 verwendet hat.
"Die Claude 3-Modelle werden auf einer proprietären Mischung aus öffentlich zugänglichen Informationen aus dem Internet ab August 2023, nicht-öffentlichen Daten von Dritten, Daten, die von Data Tagging Services und bezahlten Auftragnehmern zur Verfügung gestellt werden, sowie intern generierten Daten trainiert."
