Mit Bytedance (dem Betreiber von TikTok) hat nach Kuaishous Kling und Minimax Hailuo nun ein weiterer chinesischer Konzern eine State-of-the-Art Video-KI vorgestellt. Der YouTuber und Video-KI-Spezialist Theoretically Media hatte bereits die Gelegenheit, sich Demos der Seaweed getauften Video-KI näher anzuschauen und hat dabei festgestellt, dass sie ganz besondere neue cinematische Möglichkeiten bietet - er bezeichnet sie deswegen als Gamechanger.
So kann Seaweed per Image-to-Video und Text-to-Video bis zu 2 Minuten (!) lange Clips in 1080p generieren, die aus bis zu vier unterschiedlichen Einstellungen einer Szene bestehen, bei denen die Objekte - auch aus verschiedenen Perspektiven - konsistent bleiben sollen. Folgendes Beispiel etwa zeigt eine solche Szene mit Schuss/Gegenschuss (Reaction Shot).
The next, and this is fairly mind blowing: The first frame is Image to Video, when then HARD CUTS to a reverse reaction with a consistent character.
— Theoretically Media (@TheoMediaAI) September 30, 2024
This isn&t First/Last Frame.
WILD. pic.twitter.com/c5RAtLyzNR
Eine weitere, sehr filmische Technik beherrscht Seaweed offensichtlich auch und zwar den sogenannten Rack Focus, also eine Schärfeverlagerung innerhalb einer Einstellung von einem Objekt im Vordergrund zu einem anderen im Hintergrund (oder umgekehrt).
// Top-News auf einen Blick:
- Blackmagic DaVinci Resolve 20 Beta 2 bringt neue Funktionen und Bugfixes
- Blackmagic Camera for Android 2.1 bringt neue Features
- Neuer superschneller PoX Flash-Speicher könnte DRAM und SSDs ersetzen
- Achtung: Verpixelte Videos können wieder kenntlich gemacht werden
- KI-generierte Fake-Trailer: Wie Hollywood an der Irreführung der Zuschauer ...
- Beleuchtung für Foto und Video lernen mit kostenlosem Tool von Google
A new State of the Art AI Video Model called Seaweed has recently dropped and it is fairly mind blowing, doing at least 2 things I have not seen any other AI Video Generator do as of yet. pic.twitter.com/VgfyuTuGCp
— Theoretically Media (@TheoMediaAI) September 30, 2024
Letztlich handelt es sich allerdings um zwei neue Video-Modelle, die wie es scheint Hand in Hand arbeiten: PixelDance und Seaweed. Laut einem Bericht von Decrypt soll PixelDance dabei für die Figurendarstellung und die Multishot-Fähigkeiten verantwortlich sein, während die Konsistenz über längere Sequenzen hinweg auf Seaweed zurückgeht.
Die beiden Modelle hatte ByteDance unter seiner Marke Doubao - vorerst nur in China - vorgestellt. Beide befinden sich noch in einer Testphase mit begrenztem Zugang.
Sie scheinen jedoch durchaus auf dem Stand der Zeit zu sein, sowohl bezüglich der Konsistenz als auch der Fähigkeit, komplexe Prompts zu interpretieren und menschliche Bewegungen und Interaktionen realistisch darzustellen. Kein Wunder, kann ByteDance doch als Eigner von TikTok auf umfangreiche Traingsdaten zurückgreifen. Theoretically Media rechnet damit, dass Seaweed im November international verügbar sein wird.
