Adobe Research und die Northwestern University haben eine KI-Technologie entwickelt, die Sounddesigner bei der Erstellung von Sounds durch Summen oder Nachahmen von Geräuschen unterstützt.
Das neue KI-System "Sketch2Sound" ermöglicht es, Sounds durch stimmliche Nachahmung und Textbeschreibungen zu erzeugen. Das System analysiert dafür drei wesentliche Klangmerkmale: Lautstärke, Klangfarbe (Helligkeit) und Tonhöhe. Diese Eigenschaften werden aus der stimmlichen Eingabe extrahiert und mit Textanweisungen kombiniert, um den gewünschten Sound zu generieren.
Den Forschern zufolge versteht das System die Absicht hinter einer Stimmimitation. Wenn jemand zum Beispiel bei der Texteingabe "Waldatmosphäre" kurze Geräusche nachahmt, erkennt das System automatisch, dass an dieser Stelle Vogelgeräusche platziert werden sollen - ohne dass dies explizit gesagt werden muss.
Ähnlich funktioniert es mit Schlagzeugrhythmen: Gibt man als Text "Bassdrum, Snaredrum" ein und imitiert einen Rhythmus mit tiefen und hohen Tönen, platziert das System automatisch die Bassdrum an den tiefen und die Snaredrum an den hohen Stellen.
Video: García et al., Adobe Research
Neues Werkzeug für Sounddesigner
Die Forscher haben auch eine spezielle Filtertechnik entwickelt, die es ermöglicht, die Genauigkeit der Kontrolle anzupassen. Sounddesigner können damit wählen, ob sie eine sehr präzise oder eher grobe Kontrolle über den generierten Klang haben möchten.
Die Forscher sehen in Sketch2Sound einen wichtigen Schritt auf dem Weg zu intuitiveren Werkzeugen für das Sounddesign. Das System könnte besonders für Foley-Künstler interessant sein, die Geräusche für Film und Fernsehen erstellen und dabei häufig Geräusche mit physischen Objekten imitieren.
Die Kombination von Stimmnachahmung und Textbeschreibung ermöglicht eine natürlichere und ausdrucksstärkere Arbeitsweise als rein textbasierte Systeme.
Ein Nachteil von Sketch2Sound ist, dass sich der Raumklang der Eingabe-Imitationen in das erzeugte Audio einschleichen kann. Die Forscher arbeiten jedoch an Lösungen für dieses Problem.
