Metas Nougat ist ein KI-Model für die Texterkennung und soll wissenschaftliche PDFs zuverlässig in Text umwandeln können.
Forschende von Meta haben Nougat (Neural Optical Understanding for Academic Documents) vorgestellt, ein KI-Modell, das PDF-Bilder wissenschaftlicher Artikel in strukturierten, maschinenlesbaren Text umwandelt. Nougat soll die Lücke zwischen menschenlesbaren PDF-Dokumenten und maschinenlesbarem Text schließen und so den Zugang zu wissenschaftlichem Wissen verbessern.
Nougat basiert auf einer Variante des Vision Transformers zur Bildanalyse und führt eine optische Zeichenerkennung durch, die auf die Verarbeitung wissenschaftlicher Dokumente zugeschnitten ist. Im Gegensatz zu herkömmlichen OCR-Engines, die zeilenweise arbeiten, verarbeitet Nougat die gesamte Seite. Dadurch lassen sich nach Angaben des Teams Merkmale wie Hoch- und Tiefstellungen in mathematischen Formeln, die bisher oft falsch transkribiert wurden, besser handhaben.
Für das Training nutzte das Team einen Datensatz von PDFs wissenschaftlicher Artikel aus Quellen wie arXiv und PubMed Central mit dem entsprechenden LaTeX-Quellcode der Autor:innen. Der Datensatz umfasst mehr als 8 Millionen Seiten.
Metas Nougat übertrifft bestehende Alternativen deutlich
In Tests erzielte Nougat eine hohe Genauigkeit bei der Extraktion von Text, Formeln und Tabellen aus Seiten wissenschaftlicher Artikel. Für Fließtext erreichte es einen BLEU-Wert von über 91 % und eine Genauigkeit von über 96 %. Die Leistung bei Formeln und Tabellen war mit etwas über 75 Prozent geringer, aber immer noch deutlich zuverlässiger als Alternativen wie GROBID, dessen Genauigkeit bei mathematischen Formeln bei knapp 11 Prozent liegt.
Laut Meta stellt Nougat eine vielversprechende Lösung dar, um den Zugang zu wissenschaftlichem Wissen durch die Umwandlung von PDF-Forschungsarbeiten in strukturierten, maschinenlesbaren Text zu verbessern. Dadurch könnten Millionen von wissenschaftlichen Artikeln besser zugänglich gemacht werden, indem die Lücke zwischen PDF und Text geschlossen wird.
Herausforderungen bleiben jedoch das Management der dokumentübergreifenden Konsistenz und die Vermeidung von wiederholten Textschleifen während der Generierung, sagt das Team.
Der Code und die Modelle sind auf GitHub verfügbar und sollen zukünftige Arbeiten zur Verarbeitung wissenschaftlicher Dokumente beschleunigen. Mehr Informationen und Beispiele gibt es auf der Projektseite von Nougat.