Nach einer kurzen Testphase hat Meta nun mit “AudioCraft” ein neues KI-Tool veröffentlicht, mit dem Nutzer Musik, Soundeffekte und andere Audioinhalte aus Texteingaben generieren können.
Um Urheberrechtsprobleme zu vermeiden, hat das Unternehmen zusätzliche Inhalte für das Training der KI gekauft oder lizenziert. Das System besteht aus drei verschiedenen KI-Modellen, AudioGen, EnCodec und MusicGen, die mit mehreren tausend Stunden von Audiodaten trainiert wurden. Zu den Komponenten gehören MusicGen für die Musikerzeugung, AudioGen für die Erzeugung von Klangeffekten und der generische EnCodec, der für das Training der Modelle verantwortlich ist.
MusicGen ist in der Lage, Instrumentalmusik verschiedener Genres auf der Basis von Texten zu erzeugen. Die Texte beschreiben die Stimmung, die Instrumente, das Tempo und andere Eigenschaften. AudioGen erzeugt Soundeffekte wie Tiergeräusche, Wettergeräusche, mechanische Geräusche usw. aus Textbeschreibungen.
In der Pressemitteilung von Meta heißt es recht ausführlich: “Die AudioCraft-Modelle sind in der Lage, qualitativ hochwertige Audioinhalte mit langfristiger Konsistenz zu produzieren und sind einfach zu bedienen. Mit AudioCraft vereinfachen wir im Vergleich zu früheren Arbeiten auf diesem Gebiet das Gesamtdesign generativer Modelle für Audio – wir geben den Leuten das komplette Rezept an die Hand, um mit den bestehenden Modellen zu spielen, die Meta in den letzten Jahren entwickelt hat, während wir sie gleichzeitig in die Lage versetzen, die Grenzen auszuloten und ihre eigenen Modelle zu entwickeln. AudioCraft funktioniert für Musik, Sound, Kompression und Generierung – alles an einem Ort. Da es einfach zu erstellen und wiederverwendbar ist, können diejenigen, die bessere Klangerzeuger, Kompressionsalgorithmen oder Musikgeneratoren entwickeln wollen, dies auf der gleichen Codebasis tun und auf dem aufbauen, was andere bereits geschaffen haben.
Eine solide Open-Source-Basis wird Innovationen fördern und die Art und Weise, wie wir in Zukunft Audio und Musik produzieren und hören werden, bereichern. Wir glauben, dass MusicGen mit mehr Kontrolle zu einer neuen Art von Instrument werden kann – so wie es Synthesizer waren, als sie zum ersten Mal auftauchten.”
Mehr zum Thema AudioCraft finden Sie im AI Blog von Meta.
