Mit der Funktion „Generatives Erweitern“ lassen sich Video- und Audioclips direkt auf der Timeline um zusätzliche Frames erweitern, die im Originalmaterial nicht vorliegen. Dies ermöglicht es, Lücken im Material zu schließen, Übergänge zu glätten oder Aufnahmen etwas mehr Anhang (sogenanntes Fleisch) zu geben, um einen Schnittrhythmus besser zu treffen. Hierfür muss man einfach nur die Grenzen eines Clips in der Timeline anklicken und ziehen - Premiere Pro fügt daraufhin passende weitere Frames am Anfang oder Ende des Video-/Audio-Clips hinzu, die im Originalmaterial nicht vorhanden waren.
Klingt wie Zauberei? Ist tatsächlich "nur" KI, wobei die Ergebnisse je nach Anforderung sehr unterschiedlich ausfallen können. Die Ergebnisse können einen Übergang oder Cut im besten Fall jedoch verbessern oder sogar retten.
Ein wichtiger Hinweis hierzu noch vorneweg: Da die Option "Generatives Erweitern" ein Cloud-basiertes KI-Modell nutzt, wird zur Nutzung immer eine Internetverbindung benötigt. Denn die Funktion "Generatives Erweitern" sendet hierfür ein kurzes Segment (normalerweise mit einer Länge von 1,5 bis 3 Sekunden) des Originalclips in die Adobe-Cloud. Firefly analysiert daraufhin dieses Segment und errechnet eine passende Erweiterung, die anschließend automatisch an den Quell-Clip in der Projekt-Timeline angefügt wird. Alle Originaldaten bleiben bei dieser Aktion unangetastet und werden garantiert nicht zum Trainieren der KI-Modelle von Adobe verwendet. Die Inhalte bleiben bei Premiere immer privat und somit unter der vollen Kontrolle des Anwenders.
Generatives Erweitern in der Praxis
Das eigentliche Vorgehen beim generativen Erweitern ist schnell erklärt:
- Einen Clip in der aktiven Sequenz selektieren, der erweitert werden soll. Videoclips sollten mindestens 2 Sekunden lang sein, Audio-Clips mindestens 3 Sekunden.
- In der Symbolleiste das Werkzeug "Generatives Erweitern" auswählen.
- Auf die rechte oder linke Kante eines Video- oder Audio-Clips klicken und ihn auf die gewünschte Länge ziehen.
Die neuen Frames werden nun nach einer kurzen Renderpause dem Clip hinzugefügt. Video-Clips können auf diese Art um bis zu 2 Sekunden verlängert werden, Audio-Clips sogar um bis zu 10 Sekunden.
Die zusätzlich erzeugten Frames sind auf der Timeline entsprechend gekennzeichnet. Ist man mit der generierten Erweiterung nicht zufrieden, lässt sich mit einem rechten Mausklick auf die Option "Neu generieren" eine weitere, neue Variante erzeugen. Dies kann man prinzipiell beliebig oft wiederholen, bis man mit einem Ergebnis zufrieden ist. Übrigens läßt sich für jeden Clip angeben, ob das Ergebnis gut oder schlecht war. Dieses direkte Feedback hilft, die KI-Funktion für die Zukunft weiter zu verbessern.
Der folgende Clip zeigt beispielhaft eine Aufnahme, bei der durch generatives Erweitern ein besserer Einstieg in eine neue Szene erfolgen könnte – verlängert wurde der Anfang, damit die Person nicht angeschnitten wird, sondern gleitend ins Bild kommt. Die Firefly-KI hat dabei sowohl das geschobene Fahrrad als auch unser Modell sehr unauffällig ergänzt. Natürlich können sich hierbei immer noch kleinere Ungereimtheiten ergeben, die jedoch in einem Schnittfluss in der Regel kaum auffallen - wie sich in der dritten Version mit einer zusätzlichen Aufblende zeigt:
Anforderungen an das Material
In der aktuellen Beta muss das Quellmaterial noch einige grundsätzliche Anforderungen erfüllen, die man gegebenenfalls durch eine entsprechende Transformation des Clips erzielen kann: Videoclips müssen für die Funktion eine Auflösung von 1920 x 1080 oder 1280 x 720 Pixel mit 12- 30 fps aufweisen sowie in einem 8 Bit SDR-Farbraum vorliegen. Für künftige Updates sind höhere Auflösungen, Framerates, HDR-Inhalte und zusätzliche Seitenverhältnisse, einschließlich vertikaler Videos für Social Media, vorgesehen.
Audioclips, die Musik enthalten, können aktuell übrigens nicht erweitert werden (aufgrund der Komplexität musikalischer Strukturen sowie möglicher urheberrechtlicher Bedenken).
Die KI-generierten Medien werden standardmäßig dem aktuellen Projektverzeichnis im Ordner für generierte Medien hinzugefügt. Möchte man den Speicherort dieser Dateien ändern, ist dies über Voreinstellungen > Arbeitslaufwerke möglich. Verschiebt man ein Projekt an einen neuen Speicherort, so muss der Ordner „Generierte Medien“ an denselben neuen Speicherort verschoben werden, damit die bisher generierten Clips wiedergefunden werden können.
Natürlich funktioniert die neue Funktion nicht mit jedem Material gleich gut. Die am besten funktionierenden Videoclips weisen relativ wenig kontextbezogene Veränderungen auf, wie z. B. schnelle Kamerabewegungen. Audio-Clips mit gleichmäßigem Rauschen oder Raumschall funktionieren ebenfalls gut. Zu den Clips mit weniger guten Ergebnissen gehören Archiv-Clips mit viel Filmkörnung oder sonstigem Rauschen.
Grundsätzlich analysiert die Funktion „Generatives Erweitern“ die Kamerabewegungen im Original-Clip und versucht dann, diese Bewegungen im erweiterten Teil nahtlos und auf natürliche Weise fortzuführen; unterstützt werden sowohl Schwenk-, Kipp-, Zoom- oder andere Kamerabewegungen. Dies funktioniert übrigens auch prinzipiell mit Zeitlupen- und Zeitraffereffekten.
Wer die Adobe Creative Cloud abonniert, kann sich wie gesagt die aktuelle Beta-Version installieren und darin das generative Erweitern selbst ausprobieren.
///////
Unsere Sponsored Workshops erscheinen mit freundlicher Unterstützung von ausgewählten Herstellern und Distributoren (hier: Adobe), werden jedoch komplett in Eigenregie produziert. Der Fokus liegt auf der Funktion der Tools oder Produkte - es geht um die praktische Anwendung. Eine Wertung mit Fazit wie bei unseren Tests gibt es nicht.
