Stimmen und Geräusche per KI Elevenlabs bringt KI-Soundeffekte per Prompt

Wer seine Filme mit passenden Soundeffekten unterlegen wollte, musste bisher oft auf spezielle (teure) SFX-Bibliotheken zurückgreifen und hoffen, dort alle gewünschten Sounds zu finden. Per generativer KI gibt es jetzt eine neue Möglichkeit: Soundeffkte per Textprompt. Elevenlabs - bekannt durch seine sehr realistischen KI-Stimmen - hat jetzt seine vor rund drei Monaten angekündigte Text-to-Sound-Effect KI veröffentlicht, mit deren Hilfe jedes beliebige, per Prompt beschriebene Geräusch in Sekundenschnelle erzeugt werden soll.

Die Bandbreite der resultierenden Sounds reicht dabei von einfachen Sounds bis zu komplexeren Geräuschkulissen und kann auch Sprache in beliebigen Stimmen enthalten. Es werden stets vier Variationen Sounds generiert, der bis zu 22 Sekunden lang sein kann. Um den idealen Sound zu finden, können allerdings oft mehrere Versuche bzw. Verfeinerungen des Prompts notwendig sein, vor allem wenn es sich um komplexere SFX handelt.

Elevenlabs bietet die SFX-Generierung sogar auch kostenlos an, dann aber müssen Videos, welche diese Sounds nutzen, Elevenlabs auch im Titel erwähnen - Nutzer mit Abo müssen dies nicht und können die SFX kommerziell verwenden, die Kosten hängen von der Länge der erzeugten Sounds ab. Zum Training wurden Sounds von Shutterstock genutzt, einem großen Portal für Stock Footage und Sounds, welches seine Inhalte auch schon anderen KI-Firmen wie Google, Meta und OpenAI lizensiert hat. Elevenlabs erweitert mit der neuen Test-to-SFX-KI sein KI-Angebot, das jetzt von synthetischen (oder auch geklonten) KI-Stimmen in Profi-Qualität samt Dubbing in Fremdsprachen bis hin zu Soundeffekten reicht und zukünftig auch KI-generierte Musik umfassen soll.

Die Video-KI Pika ist allerdings noch einen Schritt weiter und bietet neben per Prompt generierten SFX auch Soundeffekte, die automatisch passend zu den Bildinhalten der jeweiligen KI-Videos erzeugt werden. Was noch fehlt (zumindest ist uns so ein Dienst nicht bekannt), ist ein Service, der beliebige Videos automatisch mit Soundeffekte versieht.

Es gibt auch ganz kostenlose Alternativen zu den kommerziellen Angeboten von Elevenlabs oder Pika wie zum Besipiel Stable Diffusion 2.0 oder das Open Source KI-Tool AudioDLM. Wie gut und passend die jeweiligen Ergebnisse aber sind, muss jeder Anwender für sich ausprobieren.