Nougat: Metas neuestes KI-Modell macht wissenschaftliche PDFs maschinenlesbar
Kurz & Knapp
- Meta Forschende entwickeln Nougat, ein KI-Modell, das wissenschaftliche PDFs zuverlässig in maschinenlesbaren Text umwandelt und damit den Zugang zu wissenschaftlichem Wissen verbessert.
- Nougat basiert auf Vision Transformers zur Bildanalyse und erreicht eine hohe Genauigkeit bei der Extraktion von Text, Formeln und Tabellen aus wissenschaftlichen Artikeln. Es übertrifft bestehende Alternativen deutlich.
- Code und die Modelle sind auf GitHub verfügbar.
Metas Nougat ist ein KI-Model für die Texterkennung und soll wissenschaftliche PDFs zuverlässig in Text umwandeln können.
Forschende von Meta haben Nougat (Neural Optical Understanding for Academic Documents) vorgestellt, ein KI-Modell, das PDF-Bilder wissenschaftlicher Artikel in strukturierten, maschinenlesbaren Text umwandelt. Nougat soll die Lücke zwischen menschenlesbaren PDF-Dokumenten und maschinenlesbarem Text schließen und so den Zugang zu wissenschaftlichem Wissen verbessern.
Nougat basiert auf einer Variante des Vision Transformers zur Bildanalyse und führt eine optische Zeichenerkennung durch, die auf die Verarbeitung wissenschaftlicher Dokumente zugeschnitten ist. Im Gegensatz zu herkömmlichen OCR-Engines, die zeilenweise arbeiten, verarbeitet Nougat die gesamte Seite. Dadurch lassen sich nach Angaben des Teams Merkmale wie Hoch- und Tiefstellungen in mathematischen Formeln, die bisher oft falsch transkribiert wurden, besser handhaben.
Für das Training nutzte das Team einen Datensatz von PDFs wissenschaftlicher Artikel aus Quellen wie arXiv und PubMed Central mit dem entsprechenden LaTeX-Quellcode der Autor:innen. Der Datensatz umfasst mehr als 8 Millionen Seiten.
Metas Nougat übertrifft bestehende Alternativen deutlich
In Tests erzielte Nougat eine hohe Genauigkeit bei der Extraktion von Text, Formeln und Tabellen aus Seiten wissenschaftlicher Artikel. Für Fließtext erreichte es einen BLEU-Wert von über 91 % und eine Genauigkeit von über 96 %. Die Leistung bei Formeln und Tabellen war mit etwas über 75 Prozent geringer, aber immer noch deutlich zuverlässiger als Alternativen wie GROBID, dessen Genauigkeit bei mathematischen Formeln bei knapp 11 Prozent liegt.
Laut Meta stellt Nougat eine vielversprechende Lösung dar, um den Zugang zu wissenschaftlichem Wissen durch die Umwandlung von PDF-Forschungsarbeiten in strukturierten, maschinenlesbaren Text zu verbessern. Dadurch könnten Millionen von wissenschaftlichen Artikeln besser zugänglich gemacht werden, indem die Lücke zwischen PDF und Text geschlossen wird.
Herausforderungen bleiben jedoch das Management der dokumentübergreifenden Konsistenz und die Vermeidung von wiederholten Textschleifen während der Generierung, sagt das Team.
Der Code und die Modelle sind auf GitHub verfügbar und sollen zukünftige Arbeiten zur Verarbeitung wissenschaftlicher Dokumente beschleunigen. Mehr Informationen und Beispiele gibt es auf der Projektseite von Nougat.
Verpassen Sie keine
aktuellen KI‑Einblicke.
- Unabhängiger Journalismus, der Sie auf dem Laufenden hält.
- Zugang zum Magazinarchiv und zu den Community‑Kommentaren.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.