Baidus "Unlimited OCR" transkribiert ganze Bücher in einem Durchgang

Weil aktuelle Ende-zu-Ende-Systeme ein solches Sprachmodell als Decoder nutzen, wächst dieser Speicher mit jeder zusätzlich erzeugten Textzeile. Das erhöht den Speicherbedarf und verlangsamt die Generierung fortlaufend. In der Praxis behelfen sich die Systeme deshalb mit einer Schleifenlösung, die jedes Dokument Seite für Seite abarbeitet und den Speicher bei jedem Schritt zurücksetzt.

Baidu beschreibt das Problem am Beispiel des Menschen: Wer ein Buch abschreibt, überfliegt nicht den gesamten bereits notierten Text, sondern behält nur die Vorlage, die zuletzt geschriebenen Zeichen und das nächste zu schreibende Zeichen im Blick. Ältere Passagen verblassen dabei in einer Form von weichem Vergessen. Dieses Muster wollen die Forscher mit ihrem Modell Unlimited OCR nachbilden.

Konstantes Fenster deckelt den Speicher

Umgesetzt wird das über die sogenannte Reference Sliding Window Attention (R-SWA). Jedes erzeugte Token beachtet dabei weiterhin alle Referenztokens, also die visuellen Bildtokens und den Prompt. Bei den bereits generierten Ausgabetokens greift es jedoch nur auf die vorangegangenen 128 zu. So bleibt der KV-Cache über den gesamten Vorgang konstant, statt linear mit der Ausgabelänge zu wachsen.

Der Unterschied zur klassischen Sliding-Window-Attention ist entscheidend: Dort würden auch die visuellen Tokens fortlaufenden Zustandsänderungen unterliegen, was die Bildmerkmale allmählich verwischt und die Erkennung verschlechtert.

R-SWA nimmt die visuellen Tokens von diesen Zustandsübergängen aus, sie werden einmal codiert und bleiben unverändert. Der KV-Cache ist als Warteschlange organisiert, aus der mit jedem neuen Token das älteste herausfällt. Während der Speicherbedarf bei herkömmlicher Multi-Head-Attention also unbegrenzt mit der Tokenzahl steigt, ist er bei R-SWA auf die feste Summe aus Prefix-Länge und Fensterbreite begrenzt.

Aufbau auf Deepseek OCR

Als Grundlage dient das quelloffene Modell Deepseek OCR. Baidu übernimmt dessen DeepEncoder und kombiniert ihn mit einer Mixture-of-Experts-Architektur aus drei Milliarden Parametern, von denen bei der Inferenz nur rund 500 Millionen aktiv sind. Der DeepEncoder komprimiert ein PDF-Bild mit 1024 mal 1024 Pixeln auf 256 Tokens.

Zwei Auflösungsmodi bleiben erhalten: der "Base"-Modus für mehrseitige Dokumente und der "Gundam"-Modus mit dynamischer Auflösung für Einzelseiten. Sämtliche Standard-Attention-Schichten im Decoder wurden durch R-SWA ersetzt.

Trainiert wurde das Modell auf rund zwei Millionen Dokument-Samples, aufgeteilt im Verhältnis 9 zu 1 zwischen Einzel- und Mehrseiten-Daten. Für die Einzelseiten übernahm Paddle OCR die Annotation, die Mehrseiten-Daten entstanden synthetisch durch Aneinanderreihung von Einzelseiten zu Dokumenten mit zwei bis 50 Seiten.

Alle Daten wurden in Sequenzen von 32.000 Tokens gepackt. Das Training lief über 4000 Schritte auf 8 mal 16 Nvidia-A800-GPUs, wobei der DeepEncoder eingefroren blieb und nur die Sprachmodell-Parameter angepasst wurden.

Bessere Werte trotz reduzierter Aufmerksamkeit

Auf dem Dokumenten-Benchmark OmniDocBench v1.5 erreicht Unlimited OCR laut den Autoren eine Gesamtbewertung von 93 Prozent und liegt damit sechs Prozentpunkte über der Deepseek-OCR-Baseline. Der Benchmark misst mehrere Teildisziplinen: Bei der reinen Texterkennung sinkt die Fehlerquote (gemessen als Edit-Distanz, also die Anzahl nötiger Korrekturen pro Zeichen) leicht, deutlich stärker verbessert sich die Erkennung von Tabellenstrukturen um knapp sechs Prozentpunkte. Auf der neueren Version v1.6 kommt das Modell auf 93,92 Prozent und ist damit das derzeit beste End-to-End-System im Ranking.

Beim Long-Horizon-Test, in dem das Modell viele Seiten in einem Durchgang verarbeitet, bleibt die Fehlerquote auch bei mehr als 40 Seiten unter 0,11. Die Autoren führen die verbleibenden Fehler nicht auf verlorenen Kontext zurück, sondern auf die Auflösungsgrenze des DeepEncoders im Base-Modus bei sehr kleinem Text.

Auffällig ist, dass die Beschränkung auf ein Fenster von 128 Tokens bei Einzelseiten nicht zu Genauigkeitsverlusten führt, sondern zu leichten Verbesserungen. Die Forscher vermuten, dass R-SWA das Modell stärker auf die dichte OCR-Aufgabe fokussiert, während volle Aufmerksamkeit bei wachsender Ausgabelänge eher zu Divergenz neige.

Beim Tempo zeigt sich der Nutzen des konstanten Caches. Im "Base"-Modus erreicht Unlimited OCR 5580 Tokens pro Sekunde gegenüber 4951 bei Deepseek OCR, ein Plus von 12,7 Prozent. In einem theoretischen Vergleich der Obergrenzen bei idealer Nebenläufigkeit liegt das Modell bei rund 6000 ausgegebenen Tokens 35 Prozent vor der Baseline, deren Durchsatz mit steigender Länge kontinuierlich abfällt.

Bei der eigentlichen Kernfähigkeit, dem Parsen langer Dokumente, hält das Modell laut Baidu auch bei 40 und mehr Seiten eine Edit-Distanz unter 0,11 und einen Distinct-35-Wert von 97 Prozent. Fehler traten primär bei sehr kleinem Text auf, was die Forscher auf die begrenzte Auflösung des Base-Modus zurückführen, nicht auf ein Orientierungsproblem von R-SWA.

Noch nicht wirklich unbegrenzt

Trotz des Namens ist das Modell nicht grenzenlos. Bei einer festen Kontextlänge von 32.000 Tokens bleibt es durch die Prefill-Länge beschränkt, da sich die visuellen Tokens mit steigender Seitenzahl summieren. Baidu will kurzfristig Modelle mit 128.000 Tokens Kontext trainieren und langfristig einen Prefill-Pool aufbauen, aus dem das Modell selbstständig passende KV-Blöcke abruft, vergleichbar mit dem Durchblättern eines Buchs durch einen Menschen. Ansonsten sehen die Autoren R-SWA als allgemeinen Mechanismus, der sich auch auf andere referenzbasierte Aufgaben wie automatische Spracherkennung und Übersetzung übertragen lasse.

Code und Modellgewichte stehen auf GitHub und Hugging Face bereit, das Modell ist zudem über ModelScope sowie die Inferenz-Engines vLLM und SGLang nutzbar. Ausprobieren lässt es sich in einer Demo auf Hugging Face Spaces.

Vor kurzem hat sich OCR zu einem der aktiven Wettbewerbsfelder der KI-Branche entwickelt, in dem sich die Modelle vor allem über Token-Effizienz voneinander abgrenzen. Hinter dem Interesse steht dabei mehr als reine Dokumentenerkennung: Weil Text als Bild deutlich weniger Rechenkapazität benötigt als seine digitale Verarbeitung, gilt der Ansatz als möglicher Weg, das Gedächtnis von Sprachmodellen auszubauen, etwa für lange Chatverläufe oder umfangreiche Dokumente. Entwickler nutzen das etwa, um bei Anthropics neuem Sprachmodell Fable 5 Token-Kosten zu senken.

Zugleich sind schnell verarbeitbare Buchscans auch als Trainingsmaterial für neue Sprachmodelle interessant – ein Feld, um das derzeit heftig gestritten wird. Forscher konnten zeigen, dass große Sprachmodelle ganze Passagen aus urheberrechtlich geschützten Büchern wie "Harry Potter" oder "Der Hobbit" nahezu wörtlich reproduzieren können.

Deepseek legte in dieser Richtung Anfang des Jahres mit Deepseek OCR 2 einen Encoder vor, der Bildinformationen semantisch neu anordnet, statt sie starr von oben links nach unten rechts zu lesen, und kommt damit auf OmniDocBench v1.5 auf 91,09 Prozent.

Auch Mistral AI baut mit Mistral OCR 3 seine Position aus und wirbt mit besserer Erkennung von Handschriften, Formularen und komplexen Tabellen. Für Baidu selbst ist die Arbeit Teil einer breiteren KI-Offensive: Zuletzt brachte das Unternehmen mit Ernie 5.0 ein multimodales Modell mit 2,4 Billionen Parametern heraus, das in der LMArena als bestplatziertes chinesisches Modell geführt wurde.