Schon seit letztem Jahr teasert Adobe mehrere KI-Funktionen für Premiere Pro - auf der Kreativ-Konferenz MAX wurde nun einerseits das Firefly Video-Modell für ausgewählte Anwender freigegeben (dazu unten mehr), andererseits auch das darauf basierende "generative Erweitern" in einer neuen Beta-Version integriert. Damit lassen sich Videoclips direkt auf der Timeline um fehlende Frames erweitern: die Adobe-KI erfindet ausgehend von den vorhandenen Videodaten eine passende Fortsetzung oder auch einen Vorlauf. Mit dem neuen Feature ist es also möglich, Lücken im Videomaterial zu schließen, Übergänge zu glätten und Aufnahmen länger zu halten, um besser getimte Schnitte zu erzielen.
Generatives Erweitern steht als neues Werkzeug in der Timeline zur Verfügung, mit welchem an den Enden eines Clips gezogen werden kann:
Woraufhin Firefly für Video die entsprechenden Frames hinzurechnet:
Auch die Tonspur kann mit dem neuen Tool erweitert werden, allerdings nur in Punkto Umgebungsgeräusche - Dialog und Musik wird nicht fortgeführt. Wer möchte, kann als Adobe-Abonnent die neue generative Erweitern-Funktion in der aktuellen Beta selbst ausprobieren.
Auf der MAX wurde für Premiere Pro außerdem ein automatisches, KI-basiertes Maskierungstool vorgeführt, welches wohl als nächstes in der Entwicklungs-Pipeline ist - Dank Objekterkennung soll ein simpler Klick ausreichen, um komplexe Masken nicht nur zu erstellen, sondern auch über die Zeit tracken zu lassen, und zwar direkt im Schnittprogramm.
// Top-News auf einen Blick:
- Blackmagic DaVinci Resolve 20 Beta 2 bringt neue Funktionen und Bugfixes
- Blackmagic Camera for Android 2.1 bringt neue Features
- Neuer superschneller PoX Flash-Speicher könnte DRAM und SSDs ersetzen
- Achtung: Verpixelte Videos können wieder kenntlich gemacht werden
- KI-generierte Fake-Trailer: Wie Hollywood an der Irreführung der Zuschauer ...
- Beleuchtung für Foto und Video lernen mit kostenlosem Tool von Google
Firefly für Video: öffentliche Betaphase
Das generative Erweitern wird vom Firefly Video-Modell errechnet, und auch dieses ist nun in einer eingeschränkten öffentlichen Betaphase zugänglich; interessierte Adobe-Kunden können sich in eine Warteliste eintragen.
Mit Firefly für Video lassen sich fünf Sekunden lange Sequenzen in 720p generieren, welche als MP4-Datei heruntergeladen werden können. Das Prompt für die Generierung darf bis zu 175 Worte umfassen - laut Adobe sollten dabei idealerweise der Aufnahmetyp, die gewünschten Figuren (mehr als vier sollten es nicht sein, sonst kommt das Modell durcheinander), die Handlung, der Ort und die Ästhetik spezifisch beschrieben werden. Folgendes Beispiel wird angegeben (von uns übersetzt, denn momentan wird nur Englisch unterstützt): "ein filmischer Medium-Shot, Augenhöhe, von einem schönen flauschigen Kaninchen in einem verschneiten Wald bei Sonnenaufgang, verträumtes Bokeh, Lens Flares, der Farbton ist warm, das Kaninchen ist realistisch mit weichem, detailliertem Fell, das im Sonnenlicht glitzert, die Kamerabewegung ist subtil und weich und in Zeitlupe, auf Film gedreht, Filmkorn, Schneeflocken fallen sanft im Hintergrund, sehr detailliert." Weitere Tipps für das Prompten finden sich auf einer speziellen HelpX-Seite bei Adobe.
Auch ein Bild läßt sich hochladen, welches Firefly in Bewegung setzen soll. Auch in diesem Fall empfiehlt es sich, in einem Prompt genau zu beschreiben, wie das Bild zum Leben erweckt werden sollte.
Wer einen Zugang zu Firefly für Video erhält, kann das Modell nur am Desktop und mit einem Chrome-Browser verwenden. Während der begrenzten öffentlichen Beta-Phase sind die Generierungen übrigens kostenlos; wieviel die Nutzung später im regulären Betrieb kosten wird, wurde noch nicht bekannt gegeben.
