Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
Künstliche Intelligenz und Robotik | DEEP MINDS #15

Bloomberg hat ein Sprachmodell speziell für den Finanzsektor entwickelt. Für das KI-Training verwendete das Unternehmen seine eigenen Finanzdaten und mischte sie mit Online-Textdaten. Das Beispiel zeigt, wie Unternehmen domänenspezifische Sprachmodelle entwickeln können, die für ihre Branche nützlicher sind als generische Modelle.

Die KI-Teams von Bloomberg stellten zunächst einen Datensatz englischsprachiger Finanzdokumente zusammen: 363 Milliarden finanzspezifische Token stammen aus dem eigenen Bestand und weitere 345 Milliarden generische Token aus den Online-Datensätzen The Pile, C4 und Wikipedia.

Mit 569 Milliarden Tokens aus diesem Datensatz trainierte das Team das domänenspezifische „BloombergGPT“, ein 50 Milliarden arameter großes Decoder-only Sprachmodell, das für Finanzthemen optimiert ist. Als Basisarchitektur verwendete das Bloomberg-Team das Open-Source-Sprachmodell Bloom.

In finanzspezifischen Aufgaben übertrifft BloombergGPT gängige Open-Source-Sprachmodelle wie GPT-NeoX, OPT und Bloom. Aber auch bei generischen Sprachaufgaben wie Zusammenfassungen ist es diesen Modellen zum Teil deutlich überlegen und liegt nach den Benchmarks von Bloomberg fast auf dem Niveau von GPT-3.

Anzeige
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Bild: Bloomberg

„Die Qualität von maschinellem Lernen und NLP-Modellen hängt von den Daten ab, die man in sie einspeist“, erklärt Gideon Mann, Leiter des ML-Produkt- und Forschungsteams von Bloomberg.

BloombergGPT als Beispiel für die Leistungsfähigkeit domänenspezifischer Sprachmodelle

Laut Bloomberg können Sprachmodelle in vielen Bereichen der Finanztechnologie eingesetzt werden, von der Stimmungsanalyse in Artikeln, etwa in Bezug auf einzelne Unternehmen, über die automatische Entitätenerkennung bis hin zur Beantwortung von Finanzfragen. Die Nachrichtenabteilung von Bloomberg kann das Modell beispielsweise nutzen, um automatisch Überschriften für Newsletter zu generieren.

Von BloombergGPT Generierte News-Headlines. | Bild: Bloomberg

Darüber hinaus hat das Modell anhand einiger Beispiele gelernt, Anfragen in natürlicher Sprache in Bloombergs eigener Programmiersprache (BQL, Bloomberg Query Language) zu formulieren, um die gewünschten Daten aus einer Datenbank zu extrahieren.

Mit wenigen Beispielen lernt das Sprachmodell Bloombergs Datenbanksprache BQL. | Bild: Bloomberg

„Aus all den Gründen, aus denen generative LLMs attraktiv sind – Lernen mit wenigen Beispielen, Textgenerierung, dialogfähige Systeme und so weiter – sehen wir einen enormen Wert in der Entwicklung des ersten LLM, der sich auf den Finanzbereich konzentriert“, sagt Shawn Edwards, Chief Technology Officer von Bloomberg.

Das domänenspezifische Sprachmodell ermögliche es Bloomberg, viele neue Arten von Anwendungen zu entwickeln und eine wesentlich höhere Leistung zu erzielen als mit kundenspezifischen Modellen für jede einzelne Anwendung – und das alles bei einer kürzeren Markteinführungszeit.

Empfehlung
Anzeige
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Bloomberg hat ein domänenspezifisches Sprachmodell für den Finanzsektor entwickelt, das auf eigenen Finanzdaten und Online-Textdaten trainiert wurde.
  • Das BloombergGPT-Modell ist für Finanzthemen optimiert und übertrifft gängige Open-Source-Sprachmodelle in finanzspezifischen Aufgaben.
  • Das Modell kann in verschiedenen Bereichen der Finanztechnologie eingesetzt werden, von der Stimmungsanalyse bis hin zur automatischen Entitätenerkennung und Beantwortung von Finanzfragen.
Quellen
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!