Google Deepmind stellt Lyria vor, ein KI-Modell zur Musikgenerierung, das den kreativen Prozess von Musikern und Künstlern verbessern soll.
In Zusammenarbeit mit YouTube hat Google Deepmind zwei KI-Experimente für Musik gestartet: Dream Track, ein Experiment in YouTube Shorts, und Music AI Tools, eine Reihe von Tools für Künstler, Songwriter und Produzenten.
Lyria-Modell soll längere, zusammenhängende Stücke mit Gesang generieren
Das Lyria-Modell soll qualitativ hochwertige Musik mit Instrumentalbegleitung und Gesang erzeugen. Laut Google Deepmind unterstützt Lyria zahlreiche Genres, von Heavy Metal über Techno bis hin zur Oper. Dabei soll es die Komplexität von Rhythmen, Melodien und Gesang über Phrasen, Verse oder längere Passagen hinweg aufrechterhalten können.
Google Deepmind testet Lyria zusammen mit YouTube im Rahmen des Projekts Dream Track. Ziel des Experiments ist es, neue Wege der Musikproduktion für Künstler zu erforschen. Nutzer können über eine Schnittstelle zum Modell ein Thema eingeben, einen Künstler aus dem Karussell auswählen und einen 30-sekündigen Soundtrack für einen Kurzfilm erstellen.
Das Lyria-Modell generiert den Text, die Hintergrundmusik und die KI-generierte Stimme im Stil des ausgewählten teilnehmenden Künstlers. Zu den teilnehmenden Künstlerinnen und Künstlern gehören Alec Benjamin, Charlie Puth, Charli XCX, Demi Lovato, John Legend, Sia, T-Pain, Troye Sivan und Papoose.
Die Forscher von Google Deepmind arbeiten auch mit Künstlern, Songwritern und Produzenten des YouTube Music AI Incubator zusammen, um zu untersuchen, wie generative KI den kreativen Prozess unterstützen kann.
Gemeinsam entwickeln sie eine Reihe von KI-Tools für Musik, die Audio von einem Musikstil oder Instrument in ein anderes transformieren, instrumentale und vokale Begleitungen erstellen und neue Musik oder Instrumentalpassagen von Grund auf generieren können. Sie sollen es Künstlern erleichtern, ihre Ideen in Musik umzusetzen, indem sie beispielsweise Gitarrenriffs aus Summen erzeugen.
SynthID soll KI-Audio kennzeichnen
Alle von Lyria veröffentlichten Inhalte werden mit SynthID gekennzeichnet, demselben Technologie-Toolkit, das auch zur Identifizierung von KI-Bildern verwendet wird, die von Imagen auf Google Clouds Vertex AI generiert werden. Das Wasserzeichen ist für Maschinen, aber nicht für Menschen sichtbar.
In ähnlicher Weise versieht SynthID KI-generierte Audiodaten mit einem Wasserzeichen, das für das menschliche Ohr nicht hörbar ist und das Hörerlebnis nicht beeinträchtigt. Dazu wird die Audiowelle in eine zweidimensionale Visualisierung umgewandelt, die zeigt, wie sich das Frequenzspektrum eines Tons im Laufe der Zeit verändert.
Das Wasserzeichen soll auch dann erkennbar bleiben, wenn das Audiomaterial verändert wird, etwa durch Hinzufügen von Rauschen, MP3-Komprimierung oder Beschleunigen und Verlangsamen des Tracks.
SynthID soll sogar das Vorhandensein eines Wasserzeichens in einem Stück erkennen, um festzustellen, ob Teile eines Liedes von Lyria erzeugt wurden. Laut Google Deepmind ist diese "neuartige Methode" mit nichts vergleichbar, was es bisher gibt, insbesondere im Audio-Bereich.
YouTube hat vor wenigen Tagen neue Regeln für den Umgang mit KI-generierten audiovisuellen Inhalten auf der Plattform veröffentlicht. Die Videoplattform setzt unter anderem auf eine verstärkte Kennzeichnungspflicht und will KI-Inhalte von Menschen und mit KI identifizieren lassen.
