Inhalt
newsletter Newsletter
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Eine neue Facebook-KI kann es Musikern und Produzenten zukünftig erleichtern, Songs nachzuvollziehen.

Der Bass wummert, das Schlagzeug poltert, die Sängerin schmettert, die E-Gitarre schneidet - bei einem Song werden viele Stimmen zu einer. Als Zuhörer denkt man nicht mehr darüber nach, dass sich dieses Gesamtbild aus vielen einzelnen Noten und Klängen zusammensetzt.

Zumindest der normale Zuhörer nicht: Musiker oder Produzenten hingegen können sehr wohl ein Interesse daran haben, jedes Instrument einzeln zu hören und zu analysieren, beispielsweise um einen bestimmten Rhythmus zu identifizieren oder einen Song Note für Note nachzuspielen.

Song-Analyse mit KI-Unterstützung

Sofern man Zugriff auf die Studiomischung hat, ist diese Nachvollziehbarkeit kein Problem: Denn im Studio wird ohnehin jede Spur einzeln aufgezeichnet und am Ende zu einem Gesamtwerk abgemischt. Aber wann hat man diesen Zugriff schon?

Anzeige
Anzeige

Facebooks KI-Forscher Alexandre Defossez entwickelt daher die KI-Software "Demucs", die die einzelnen Tracks eines Songs automatisch heraushören und voneinander trennen kann. Der folgende Audio-Track spielt nur das Schlagzeug aus diesem Song ab.

Hier könnt ihr den Bass und die Stimme anhören, die ebenfalls mit Demucs aus dem Song separiert wurden.

Interessant ist, dass die KI diese Herausforderung - obwohl es sich um Audio handelt - visuell annimmt: Sie untersucht die Wellenform der Klänge auf komplexe Muster und entwickelt so ein Verständnis dafür, welches Muster zu welchem Instrument gehört.

Vom Song zum Erdbeben

Laut Defossez kann das Analyseverfahren auch für andere Zwecke genutzt werden, beispielsweise damit KI-Assistenten einzelne Stimmen in einer lauten Umgebung heraushören können. Eine ähnliche Forschungsarbeit stellten KI-Forscher von Google im April 2018 vor.

Mit dem Verfahren hinter Demucs könnten laut Defossez auch die Wellenmuster von Seismographen analysiert werden, um Erdbeben genauer zu untersuchen. Ziel seiner Forschung sei es, dass KI Audio ebenso zuverlässig zu analysieren lernt, wie sie Objekte auf Fotos identifizieren kann.

Empfehlung

Wer sich für Defossez genaues Vorgehen beim KI-Training interessiert, findet hier seine wissenschaftliche Veröffentlichung. Bis auf weiteres bleibt Demucs Forschungsarbeit und ist kostenlos bei Github verfügbar.

Quelle & Titelbild: Facebook

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Weiterlesen über KI und Audio:

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!