Inhalt
summary Zusammenfassung

Ähnlich wie OpenAI mit GPT-4 Turbo wirbt Anthropic mit seinem neuen Chatbot Claude 2.1 damit, besonders viel Text gleichzeitig verarbeiten zu können. Doch wie bei Turbo funktioniert das mehr schlecht als recht.

Anzeige

Die großen Kontextfenster von OpenAIs GPT-4 Turbo und Anthropics neu vorgestelltem Modell Claude 2.1 können eine große Anzahl von Sätzen und Wörtern gleichzeitig verarbeiten und analysieren. GPT-4 Turbo kann bis zu 128.000 Tokens (circa100.000 Wörter) verarbeiten, Claude 2.1 bis zu 200.000 Tokens (circa 150.000 Wörter).

Beide Modelle leiden jedoch unter dem "lost in the middle"-Phänomen: Informationen in der Mitte und am oberen und unteren Rand eines Dokuments werden vom Modell häufig ignoriert.

Zuverlässige Informationsextraktion nur am Anfang und Ende des Kontextfensters

Greg Kamradt führte, wie zuvor mit GPT-4 Turbo, Tests mit Claude 2.1 Kontextfenster durch, indem er Aufsätze von Paul Graham in das System lud und Aussagen an verschiedenen Stellen im Dokument platzierte. Er versuchte dann, diese Aussagen zu extrahieren und bewertete die Leistung des Modells.

Anzeige
Anzeige

Die Ergebnisse zeigen, dass Claude 2.1 bei 35 Anfragen in der Lage war, Fakten am Anfang und am Ende eines Dokuments mit einer Genauigkeit von fast 100 Prozent zu extrahieren.

Die Leistung des Modells nimmt jedoch ab ca. 90.000 Tokens stark ab, insbesondere bei Informationen in der Mitte und am unteren Rand des Dokuments. In diesem Fall ist das Modell für größere Kontextfenster so unzuverlässig, dass es in allen Fällen, in denen Zuverlässigkeit wichtig ist, unbrauchbar ist. Der Leistungsabfall bei der Informationsextraktion beginnt sehr früh, bei etwa 24K von 200K Token.

Bild: Greg Kamradt via Twitter.com

Große Kontextfenster bei Sprachmodellen sind nicht ausgereift

Die Performance von Claude 2.1 ähnelt der von OpenAIs GPT-4 Turbo, die Kamradt und andere schon früher untersucht hatten. Allerdings schnitt GPT-4 Turbo im gleichen Testverfahren besser ab als Claude 2.1, hat aber auch ein kleineres Kontextfenster.

Bild: Greg Kamradt

Das Fazit ist letztlich dasselbe: Fakten in großen Dokumenten sind in großen Kontextfenstern nicht garantiert auffindbar und die Position am Anfang oder Ende spielt eine große Rolle.

Große Kontextfenster sind daher kein Ersatz für kostengünstigere und genauere Vektordatenbanken, und die Verkleinerung des Kontextfensters erhöht die Genauigkeit.

Empfehlung

Wenn möglich, und wenn die Genauigkeit wichtig ist, ist es daher besser, Informationen mit Sprachmodellen in kleineren Einheiten von 8k bis 16K zu verarbeiten.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Ähnlich wie OpenAIs GPT-4 Turbo kann Anthropics neuer Chatbot Claude 2.1 eine große Menge an Text gleichzeitig verarbeiten, jedoch mit einer eingeschränkten Leistung.
  • Beide Modelle leiden unter dem "lost in the middle"-Phänomen, bei dem Informationen in der Mitte und an den Rändern eines Dokuments häufig ignoriert werden.
  • Große Kontextfenster bei Sprachmodellen sind bisher nicht ausgereift und können nicht als Ersatz für kostengünstigere und genauere Vektordatenbanken dienen. Die Verkleinerung des Kontextfensters erhöht die Genauigkeit.
Quellen
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!