Google "Magenta RealTime": Offenes KI-Modell für Live-Musik jetzt verfügbar

Google hat Magenta RealTime (Magenta RT) vorgestellt, ein Open-Source-Modell für die Erstellung und Steuerung von Musik in Echtzeit. Es hört auf Textbefehle, Audiobeispiele oder eine gewichtete Kombination aus Text und Audio. Magenta RT basiert auf einem 800 Millionen Parameter großen Transformer-Modell, das auf rund 190.000 Stunden vorwiegend instrumentaler Musik trainiert wurde. Eine technische Grenze: Das Modell kann nur auf die letzten zehn Sekunden der generierten Musik zugreifen, da sein Audio-Kontextfenster maximal zehn Sekunden umfasst.

Das Modell und der Quellcode sind auf GitHub und Hugging Face unter offenen Lizenzen verfügbar. Nutzer können das Modell aktuell kostenlos auf Colab TPUs testen, lokale Nutzung, eigene Anpassungen und das Paper sollen bald folgen.