Das kostenlose KI-Tool "Beat Sage" verwandelt YouTube-Videos in Beat-Saber-Songs.
Das sogenannte "Mapping" von Beat-Saber-Songs ist eine Herausforderung: Die zu zerhackenden Blöcke müssen zunächst exakt im Takt und passend zum Rhythmus des Songs beim Nutzer ankommen.
Dann müssen sie so angeordnet sein, dass es musikalisch Sinn ergibt. Und im Optimalfall entstehen daraus noch zum Song passende Tanzbewegungen.
Der ganze Prozess muss dann auch noch für verschiedene Schwierigkeitsgrade durchdacht werden, damit sowohl Einsteiger als auch Experten Spaß haben können.
Trotz des Aufwands: Um Beat Saber ist eine aktive Szene an Custom-Song-Mappern entstanden. Auch das Beat-Saber-Team veröffentlicht regelmäßig neue Songpakete. Kann es eine Maschine besser?
Custom Songs für Beat Saber - schneller und einfacher dank KI?
Die Entwickler Chris Donahue und Abhay Agarwal der KI-Software Beat Sage halten das für möglich: Ihre KI generiert basierend auf einem YouTube-Link einen Beat Saber Custom Song in verschiedenen Schwierigkeitsgraden und Spielmodi. Spieler können sogar auswählen, ob Hindernisse wie Bomben oder Wände im Song auftauchen sollen oder nicht.
Das KI-Modell besteht aus zwei neuronalen Netzen, die mit von Menschen gemachten Beat-Saber-Songs trainiert wurden. Ein neuronales Netz analysiert den Rhythmus des Songs und sagt voraus, wann ein Block erscheinen soll.
Das zweite neuronale Netz nimmt die Vorhersage, setzt sie zum richtigen Zeitpunkt auf die Beat-Saber-Karte und ordnet einen Block-Typ samt Schlagrichtung zu. Donahue verwendete dieses KI-Prinzip zuvor für einen Schrittegenerator für das Tanzspiel "Dance Dance Revolution".
Beat Sage läuft komplett im Browser, der folgende Song wurde mit der Software erstellt.
Einfach ist schwer
Bislang verwendeten die Entwickler nur Elektromusik für das KI-Training. Entsprechend hat das System bei Musik mit einem starken Beat seine Stärken. Bei Songs mit viel Gesang könne die KI "komplett versagen", so die Entwickler.
Auch das Tempo eines Songs kann die KI laut der Entwickler nicht wie Menschen analysieren. Daher stehen die Beats per Minute (BPM) stets bei 60 - auch wenn der Song eigentlich schneller oder langsamer läuft.
Die vielleicht größte Einschränkung von Beat Sage ist der fehlende Easy-Modus: Dass im einfachen Schwierigkeitsgrad so wenige Blöcke auftauchen, erschwert der KI die Mustererkennung während der Trainingsphase - daraus folgt, dass sie einfache Levels schlechter rekonstruieren kann. Dieses Problem könne womöglich in der Zukunft gelöst werden, so die Entwickler.
Auf der Beat-Sage-Webseite findet ihr sowohl den Map-Generator als auch eine (englische) Anleitung für die Installation der generierten Songs. Das folgende Video führt euch durch die einzelnen Schritte. Einige der Funktionen von Beat Sage hängen am Erfolg einer Patreon-Kampagne, aber die meisten sind frei verfügbar.
