Image-to-Video Gezielter generieren - Runway Gen3 animiert jetzt auch Bilder

Runway hatte vor rund einem Monat seine neueste Video-KI öffentlich gestartet, die gegenüber der vorherigen Generation 2 noch einmal einen deutlichen Qualitätssprung darstellte. Allerdings war es mit Gen-3 zunächst nur möglich, Videos per Textprompt zu erzeugen, Bilder konnte nicht als Input genutzt werden. Das hat sich mit dem heutigen Update geändert: Runway Gen3 Alpha beherrscht ab sofort auch Image2Video.

Mit Image-to-Video läßt es sich leichter als mit reinen Textprompts steuern, wie ein generiertes Video aussehen wird, zudem ist es billiger, das ideale Startbild mit Hilfe einer Bild-KI in mehreren Versuchen zu erzeugen (und auch zu editieren), als mehrere Videos per Textprompt in Runway selbst zu generieren.

So ist die Bild-KI Midjourney für viele Creator beliebt, um solche Bilder zu erzeugen, wie in den Beispielen unten zu sehen ist. Ist das ideale Startbild gefunden, kann es dann mittels eines Prompts, in welchem beschrieben wird, was in dem Video passieren soll, per Runway Gen 3 animiert werden. So können einzelne Objekte gezielt bewegt ("das Gesicht soll sich nach vorne drehen und ein Lächeln zu sehen sein"), eine Kamerabewegung definiert ("die Kamera soll um die Person kreisen") und andere Veränderungen beschrieben werden, die während der Laufzeit des Videos stattfinden sollen ("die Fabrik im Hintergrund soll explodieren"). Allerdings sind dann noch oft mehrere Versuche notwendig, um die gewünschte Bewegung zu produzieren, Gen-3 hat manchmal Probleme mit der korrekten Umsetzung der Prompts (aber befindet sich ja auch noch offiziell im Alpha Stadium).

Runway Gen-3 img-2-vid → Awesome.

My day is ruined.#runwaygen3 #runwayml #midjourney pic.twitter.com/UF2OL53Zwx

— Rory Flynn (@Ror_Fly) July 29, 2024

Runway Gen-3 continues to redefine creativity and innovation!

The latest clips are a testament to its incredible potential. #RunwayGen3 #AIRevolution #NextGenArtpic.twitter.com/VygLchwdCx

— Messiya (@MessiyaAI) July 30, 2024

4/10 pic.twitter.com/ZI7sM3WJ45

— Runway (@runwayml) July 29, 2024

Schön zu sehen ist in diesem Beispiel, wie erstaunlich gut Runway Gen-3 die an sich sehr komplexe Simulation von Flüssigkeiten beherrscht.

8/10 pic.twitter.com/KAE8qYvzC6

— Runway (@runwayml) July 29, 2024

Es ist nur eine der Frage der Zeit bis alle fehlenden Features von Gen-2 auch in Gen-3 - dann vielleicht nicht mehr in der Alpha Version - nutzbar sein werden: die Möglichkeit, per "Extend Video" auch längere Videos als 10 Sekunden zu erzeugen und die Möglichkeit, die Kamerabewegung gezielt zu kontrollieren. Runway Gen-3 ist eine der aktuellen Top Video-KIs - in dieser News finden sich mehrere Vergleiche von Sora vs Kling vs Runway Gen3 vs Luma AI.

Abschließend noch ein direkter Vergleich der Image-to-Video Fähigkeiten von Runway Gen-3, Kling und Luma AI:

Runway has released image to video for Gen 3. Woot!

We tested it out against the current top ai video generators (Kling & Luma) and wanted to share the results with you. Honestly, I feel like Kling and Luma are holding strong. Which ones your favorite?#ai #aivideo #aifaking… pic.twitter.com/6DqAhU0iCd

— Curious Refuge (@CuriousRefuge) July 29, 2024

They released Image-to-Video and Runway Gen3 continues to disappoint. Attached: the photo, Gen3 result, Kling result, Luma result. Worth noting it cost about 1 for the credits to receive this disappointing result. pic.twitter.com/aENNdcrJHQ

— Sean Ward (@seanward) July 29, 2024