Luma AI ist vor rund einem Jahr besonders durch seine Neural Radiance Fields (NeRFs) aufgefallen, bei denen mittels KI aus wenigen Fotos komplette 3D-Kamerafahrten erstellt werden können. Nun hat die Firma überraschend ein eigenes Videomodell namens Luma Dream Machine vorgestellt, das augenscheinlich mit dem Sora-Modell von OpenAI konkurrieren soll und kann. Sora gilt aktuell als das ausgereifteste Tool, um Videos durch KI-Diffusionsmodelle zu generieren. Doch letztlich lässt sich dessen Qualität noch gar nicht so genau beurteilen, da OpenAI nach wie vor nur wenigen handverlesenen Personen den Zugriff auf Sora gewährt. Und so existieren auch nur wenige, ebenso handverlesene Demo-Clips, die natürlich Sora nur von seiner besten Seite zeigen.
Ganz anders agiert nun die Luma Dream Machine, die seit gestern Abend einen offenen Zugang für jedermann bietet. Was natürlich jetzt aufgrund von Überfüllung fast genauso wenig wert ist - aber die Absicht alleine zählt bekanntlich auch schon einiges.
Dass Luma Dream Machine tatsächlichen Output generiert, bezeugen zudem die zahlreichen Clips, mit denen aktuell Twitter/X und Konsorten überschwemmt werden. Und tatsächlich kann sich die Luma Dream Machine sehen lassen:
// Top-News auf einen Blick:
- Blackmagic DaVinci Resolve 20 Beta 2 bringt neue Funktionen und Bugfixes
- Blackmagic Camera for Android 2.1 bringt neue Features
- Neuer superschneller PoX Flash-Speicher könnte DRAM und SSDs ersetzen
- Achtung: Verpixelte Videos können wieder kenntlich gemacht werden
- KI-generierte Fake-Trailer: Wie Hollywood an der Irreführung der Zuschauer ...
- Beleuchtung für Foto und Video lernen mit kostenlosem Tool von Google
Die Dream Machine soll auf einem "hochgradig skalierbaren und effizienten Transformer-Modell basieren, das physikalisch genaue, konsistente und ereignisreiche Aufnahmen erzeugen kann". So sollen Clips mit großer Charakterkonsistenz und präziser Physik möglich sein. Neben Text-to-Video soll auch Image-to-Video möglich sein. Über einen Text Prompt sollen sich zudem "flüssige, filmische und naturalistische Kamerabewegungen" erzielen lassen.
Dream Machine erzeugt 5-Sekunden-Aufnahmen und soll zudem unglaublich schnell Ergebnisse liefern: Luma AI verspricht auf ihrer Webseite 120 Bilder in 120 Sekunden - was wohl nur bei wenig Andrang aus dem Netz gelten dürfte. Über die genaue Zielauflösung dieses Modells schweigt sich Luma AI noch aus. Ein von uns gefundener Original Clip hatte "nur" 680 x 376 Pixel mit 24 fps. Mehr Details werden sich sicherlich bald in Erfahrung bringen lassen...
