Inhalt
summary Zusammenfassung

BioGPT ist ein von Microsoft-Forschenden entwickeltes Transformer-Sprachmodell, das für die Beantwortung biomedizinischer Fragen optimiert wurde. Laut Microsoft Research liegt das Niveau des Modells auf Augenhöhe mit menschlichen Expert:innen.

Anzeige

Das Forschungsteam hat BioGPT ausschließlich mit domänenspezifischen Daten trainiert. Dazu sammelten sie vor 2021 aktualisierte Fachartikel aus PubMed, einer englischsprachigen textbasierten Metadatenbank für biomedizinische Fachartikel. Insgesamt kamen so 15 Millionen Inhalte mit Titel und Abstract zusammen, die das Team für das Training von BioGPT verwendete.

Die Finetuning-Architektur von BioGPT für Sprachaufgaben. | Bild: Microsoft research

Für das Pre-Training verwendete das Forschungsteam acht Nvidia V100 GPUs für 200.000 Schritte, während die Feinabstimmung mit einer einzigen Nvidia V100 GPU für 32 Schritte durchgeführt wurde.

Das vortrainierte GPT-2-basierte Modell mit 357 Millionen Parametern verfeinerte das Team dann für nachgelagerte Aufgaben: Extraktion von Beziehungen, Beantwortung von Fragen und Klassifizierung von Dokumenten.

Anzeige
Anzeige

BioGPT schlägt größere, generellere Sprachmodelle in biomedizinischen Sprach-Benchmarks

Nach Angaben des Forschungsteams schlägt BioGPT vergleichbare Modelle, die auf Google BERT basieren, in Benchmarks bei der Beantwortung biomedizinischer Fragen und bei End-to-End-Extraktionsaufgaben. Im Vergleich zu einem allgemein trainierten GPT-2 zeigt BioGPT auch bessere Fähigkeiten bei der Textgenerierung für biomedizinische Inhalte.

Input:
The treatment of COVID-19

Output GPT-2:
The treatment of COVID-19 is similar to that of COVID-20 and COVID-22, in which COVID-19 is treated
with a variety of ionic, dopaminergic and serotonergic agents. In addition to its effects on COVID-19, the
use of COVID-19 has been suggested to exert effects on the function of other dopamine neurons, including dopamine D2 receptors, D3 receptors and serotonin transporters. These effects include attenuation of the increase in dopamine release induced by the central nervous system stimulant drug amphetamine and its metabolites

Output BioGPT:
The treatment of COVID-19 with remdesivir (remdesivir for COVID-19) has been approved by the US Food and Drug Administration (FDA) for the treatment of severe acute respiratory syndrome coronavirus 2 (SARS-CoV-2) infection in patients with confirmed SARS-CoV-2 infection and is currently being evaluated in clinical trials for the treatment of COVID-19 in patients with confirmed SARS-CoV-2 infection, as well as in patients with suspected or confirmed SARS-CoV-2 infection

Beispiel-Prompt

Die Forscherinnen und Forscher skalierten zudem ihr auf GPT-2 medium basierendes Modell auf die größte verfügbare GPT-2 XL-Architektur. Das fein abgestimmte BioGPTLarge mit (vergleichsweise immer noch wenigen) 1,5 Milliarden Parametern erreichte im PubMedQA-Benchmark eine Genauigkeit von 81 Prozent (BioGPT: 78,2) und übertrifft damit deutlich größere generische Sprachmodelle wie Flan-PaLM (540 Milliarden Parameter, 79,0) und Metas Galactica (120 Milliarden, 77,6).

Das vergleichsweise kompakte GPT-2 basierte BioGPT Large schlägt deutlich größere, generellere Sprachmodelle bei der Beantwortung biomedizinischer Fachfragen. | Bild: Microsoft Research

BioGPT zeigt, dass kleine, aber auf Domänen spezialisierte Sprachmodelle mit wesentlich größeren, allgemeinen Sprachmodellen innerhalb ihrer Domäne konkurrieren können. Ein Vorteil kleinerer Modelle ist der geringere Daten- und Trainingsaufwand.

Der umgekehrte Weg ist das Feintuning sehr großer Sprachmodelle wie PaLM auf spezifische Domänen. Google hat kürzlich mit Med-PaLM gezeigt, dass auch ein großes Sprachmodell mit speziellen Prompts und qualitativ hochwertigen Daten effizient für spezifische Domänen optimiert werden kann. Med-PaLM soll medizinische Laienfragen auf dem Niveau menschlicher Expert:innen beantworten können.

BioGPT soll biomedizinische Inhalte auf dem Niveau menschlicher Experten generieren können

Laut Microsoft Research erreicht BioGPT bei den in den Benchmarks getesteten Aufgaben das Niveau menschlicher Expert:innen und schlägt andere allgemeine und wissenschaftliche Sprachmodelle. BioGPT könne Forschenden helfen, neue Erkenntnisse zu gewinnen, etwa in der Medikamentenentwicklung oder für klinische Therapien.

Empfehlung

In Zukunft will das Team mit mehr Skalierung experimentieren und eine noch größere Variante von BioGPT trainieren, die mit noch mehr biomedizinischen Daten und für noch mehr Aufgaben optimiert ist. Der Code des aktuellen BioGPT-Modells ist auf Github verfügbar.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • BioGPT ist ein mit biomedizinischer Literatur trainiertes Transformer-Sprachmodell mit 349 Millionen Parametern. Die Basis ist GPT-2 medium.
  • In Test zeigt das kleine domänenspezifische Sprachmodell im Bereich Biomedizin mehr Kompetenz bei Fachfragen als viel größere, generell trainierte Sprachmodelle.
  • Laut Microsoft Research liegt BioGPT in den getesteten Aufgaben auf Augenhöhe mit menschlichen Expert:innen.
Quellen
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!