Inhalt
summary Zusammenfassung

Metas Nougat ist ein KI-Model für die Texterkennung und soll wissenschaftliche PDFs zuverlässig in Text umwandeln können.

Anzeige

Forschende von Meta haben Nougat (Neural Optical Understanding for Academic Documents) vorgestellt, ein KI-Modell, das PDF-Bilder wissenschaftlicher Artikel in strukturierten, maschinenlesbaren Text umwandelt. Nougat soll die Lücke zwischen menschenlesbaren PDF-Dokumenten und maschinenlesbarem Text schließen und so den Zugang zu wissenschaftlichem Wissen verbessern.

Nougat basiert auf einer Variante des Vision Transformers zur Bildanalyse und führt eine optische Zeichenerkennung durch, die auf die Verarbeitung wissenschaftlicher Dokumente zugeschnitten ist. Im Gegensatz zu herkömmlichen OCR-Engines, die zeilenweise arbeiten, verarbeitet Nougat die gesamte Seite. Dadurch lassen sich nach Angaben des Teams Merkmale wie Hoch- und Tiefstellungen in mathematischen Formeln, die bisher oft falsch transkribiert wurden, besser handhaben.

Für das Training nutzte das Team einen Datensatz von PDFs wissenschaftlicher Artikel aus Quellen wie arXiv und PubMed Central mit dem entsprechenden LaTeX-Quellcode der Autor:innen. Der Datensatz umfasst mehr als 8 Millionen Seiten.

Anzeige
Anzeige

Metas Nougat übertrifft bestehende Alternativen deutlich

In Tests erzielte Nougat eine hohe Genauigkeit bei der Extraktion von Text, Formeln und Tabellen aus Seiten wissenschaftlicher Artikel. Für Fließtext erreichte es einen BLEU-Wert von über 91 % und eine Genauigkeit von über 96 %. Die Leistung bei Formeln und Tabellen war mit etwas über 75 Prozent geringer, aber immer noch deutlich zuverlässiger als Alternativen wie GROBID, dessen Genauigkeit bei mathematischen Formeln bei knapp 11 Prozent liegt.

Laut Meta stellt Nougat eine vielversprechende Lösung dar, um den Zugang zu wissenschaftlichem Wissen durch die Umwandlung von PDF-Forschungsarbeiten in strukturierten, maschinenlesbaren Text zu verbessern. Dadurch könnten Millionen von wissenschaftlichen Artikeln besser zugänglich gemacht werden, indem die Lücke zwischen PDF und Text geschlossen wird.

Herausforderungen bleiben jedoch das Management der dokumentübergreifenden Konsistenz und die Vermeidung von wiederholten Textschleifen während der Generierung, sagt das Team.

Der Code und die Modelle sind auf GitHub verfügbar und sollen zukünftige Arbeiten zur Verarbeitung wissenschaftlicher Dokumente beschleunigen. Mehr Informationen und Beispiele gibt es auf der Projektseite von Nougat.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Meta Forschende entwickeln Nougat, ein KI-Modell, das wissenschaftliche PDFs zuverlässig in maschinenlesbaren Text umwandelt und damit den Zugang zu wissenschaftlichem Wissen verbessert.
  • Nougat basiert auf Vision Transformers zur Bildanalyse und erreicht eine hohe Genauigkeit bei der Extraktion von Text, Formeln und Tabellen aus wissenschaftlichen Artikeln. Es übertrifft bestehende Alternativen deutlich.
  • Code und die Modelle sind auf GitHub verfügbar.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!