Inhalt
newsletter Newsletter

Forscher stellen eine Künstliche Intelligenz vor, die aus Gemälden Musik macht.

Anzeige

Künstliche Intelligenz inspiriert Künstler: Zum Beispiel schreibt sie Gedichte, schreddert Metal und verpasst Songtexten passende Melodien. Doch wie wäre es mit einer KI, die Gemälde in Musik verwandelt?

Forscher der Universität Amsterdam haben eine solche KI geschaffen. Sie heißt "Synesthetic Variational Autoencoder" (SynVAE) und erzeugt Melodien aus Bildern. Das Besondere: Ähnlichkeiten in Gemälden spiegeln sich in der KI-Vertonung wider.

KI lässt Gemälde erklingen

Inspiriert wurden die Forscher wohl von der Synästhesie, bei der Menschen aufgrund zusätzlicher neuronaler Verbindungen zwischen einzelnen Sinnen etwa Töne oder Zahlen zugleich farbig wahrnehmen.

Anzeige
Anzeige

Um so einen sinnlichen KI-Übersetzer zu schaffen, trainierten die Forscher zwei Netzwerke: Eines verwandelt die Bilder in Vektoren und erstellt zu den Vektoren eine Melodie. Das andere versucht, aus dieser Musik das ursprüngliche Gemälde zu rekonstruieren.

So lernt die KI, Melodien zu schaffen, die auf visuellen Mustern in den Gemälden basieren. Denn ohne diese Muster wäre die Rekonstruktion des Bildes aus der Melodie nicht möglich.

KI soll Kunst über Sinnesgrenzen hinaus erfahrbar machen

In einem Test sollten Freiwillige Rückschlüsse von der Musik auf die Gemälde ziehen. Dazu kategorisierten sie die Musik nach "beängstigend", "glücklich" oder "glücklich und friedlich".

Die Zuschreibungen entsprachen in etwas über 70 Prozent der Fälle der Stimmung des Gemäldes, das der KI als Ausgangsmaterial diente.

Die Forscher hoffen daher, dass KIs wie SynVAE einen intuitiven Zugang zu Kunst über Sinnesgrenzen hinaus ermöglichen, und so einen alternativen Zugang etwa für blinde Menschen schaffen. Die Forscher wollen ihren Ansatz in Zukunft auf weitere Sinnesübertragungen anwenden.

Empfehlung

Ob KI überhaupt Kunst erschaffen kann, darüber diskutieren wir ausführlich in unserem Podcast #116: KI-Gekrakel und Oculus Rift S.

Quelle: Arxiv.org; Titelbild: Kyle Wiggers (Screenshot bei YouTube)

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Weiterlesen über KI und Kunst:

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!