Google hat Magenta RealTime (Magenta RT) vorgestellt, ein Open-Source-Modell für die Erstellung und Steuerung von Musik in Echtzeit. Es hört auf Textbefehle, Audiobeispiele oder eine gewichtete Kombination aus Text und Audio. Magenta RT basiert auf einem 800 Millionen Parameter großen Transformer-Modell, das auf rund 190.000 Stunden vorwiegend instrumentaler Musik trainiert wurde. Eine technische Grenze: Das Modell kann nur auf die letzten zehn Sekunden der generierten Musik zugreifen, da sein Audio-Kontextfenster maximal zehn Sekunden umfasst.
External media content (www.youtube.com) has been blocked here. When loading or playing, connections are established to the servers of the respective providers. Personal data may be communicated to the providers in the process. You can find more information in our privacy policy.
Das Modell und der Quellcode sind auf GitHub und Hugging Face unter offenen Lizenzen verfügbar. Nutzer können das Modell aktuell kostenlos auf Colab TPUs testen, lokale Nutzung, eigene Anpassungen und das Paper sollen bald folgen.
