Inhalt
newsletter Newsletter

Microsofts neue KI Turing-NLG ist die bislang am umfangreichsten trainierte Künstliche Intelligenz für natürliche Sprachverarbeitung.

Anzeige

Mit Turing Natural Language Generation (T-NLG) will Microsoft sprachverarbeitende Künstliche Intelligenz auf ein neues Level hieven. Zumindest technisch gelingt das: Turing-NLG ist die bislang am umfangreichsten trainierte Sprach-KI mit rund 17 Milliarden Parametern verteilt auf 78 Schichten. Benannt ist die KI nach dem berühmten Turing-Test, bei dem eine Künstliche Intelligenz einem menschlichen Gesprächspartner erfolgreich vorgaukeln muss, eine Person zu sein.

Mit T-NLG übertrifft Microsoft Nvidias im letzten Jahr vorgestellte Sprach-KI Megatron mit rund 8,3 Milliarden Parametern um mehr als das Doppelte. Megatrons Sprachmodell diente Microsoft als Grundlage für die Entwicklung, Nvidia wiederum setzte für Megatron auf OpenAIs Sprach-KI GPT-2 auf mit rund 1,6 Milliarden Parametern. Die Grundlage all dieser Systeme wiederum ist Googles Transformer-Architektur, für die ebenfalls schon ein besserer Nachfolger am Start ist.

Die Microsoft-Forscher gehen davon aus, dass es effizienter ist, ein großes Sprachmodell zu trainieren, das dann verschiedene Aufgaben im Bereich Sprache beherrscht wie Antworten auf Fragen oder Zusammenfassungen, anstatt für jede einzelne Sprachaufgabe ein eigenständiges Modell zu entwickeln und zu trainieren.

Anzeige
Anzeige

Hardware- und Software-Optimierung sorgen für mehr Deep-Learning-Effizienz

Trainiert wurde Turing-NGL mit Nvidia DGX-2 Systemen bestehend aus 16 Nvidia V100 Tensor Core GPUs, also Chips, die für das KI-Training optimiert sind. Microsoft optimierte den Trainingsprozess zusätzlich mit der Open-Source-Software Deepspeed sowie ZeRO. Die Trainingszeit konnte so um den Faktor drei reduziert werden.

Microsofts neue Sprach-KI soll bei der Beantwortung von Fragen, bei KI-Assistenten und beim Verstehen von Dokumenten unterstützen. Die Anwendungsszenarien seien vielseitig und "transformativ", schreiben die Microsoft-Forscher.

Der Umfang von KI-Sprachmodellen wächst seit der Veröffentlichung von OpenAIs GPT-2 exponentiell. Offen ist, wann und in welcher Form bessere sprechende Computer im Alltag der Nutzer ankommen. Bild: Microsoft
Der Umfang von KI-Sprachmodellen wächst seit der Veröffentlichung von OpenAIs GPT-2 exponentiell. Offen ist, wann und in welcher Form bessere sprechende Computer im Alltag der Nutzer ankommen. Bild: Microsoft

Autoren könnten zum Beispiel bei der Zusammenstellung ihrer Inhalte unterstützt werden, indem die KI für sie lange Inhalte knapp zusammenfasst und Fragen zum Inhalt beantwortet. So eine Funktion könne zukünftig direkt in Microsoft Office integriert werden, schreiben die Forscher in ihrem Ausblick.

Das Ziel sei es, dass ein Computer "in jeder Situation so direkt, akkurat und fließend wie ein Mensch sprechen kann." T-NLG könne nach vorheriger Analyse zum Beispiel Fragen zu einem persönlichen Dokument oder einer E-Mail-Konversation beantworten. Digitale Assistenten könnten Unternehmen beim Kundenkontakt unterstützen.

Beispielhaft erklären die Microsoft-Forscher ein Suchszenario: Anstatt auf eine Suchanfrage nur mit einem gefetteten Wort in einem Satz zu antworten, könne T-NLG eine direkte Antwort liefern.

Empfehlung
Frage Who was Jason Mraz engaged to?
Antwort per Textauszug Mraz was engaged to singer/songwriter and long-time close friend Tristan Prettyman on Christmas Eve 2010; they broke off the engagement six months later.
Direkte Antwort Jason Mraz was engaged to Tristan Prettyman.

Microsoft will Turing-NLG vorerst einer kleinen Gruppe Wissenschaftler zugänglich machen für weitere Tests und Feedback.

Quelle: Microsoft

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Weiterlesen über Künstliche Intelligenz:

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!