Die nachträgliche Stabilisierung verwackelter Videoaufnahmen (gerade von Aufnahmen mit dem Smartphone) ist für viele User eine wichtige Aufgabe, deren Gelingen sehr von der verwendeten Methode abhängt. Bei Mobilvideos stehen Algorithmen vor besonderen Herausforderungen, wie etwa verrauschten Bildern aufgrund der kleinen Sensoren von Handys - verstärkt bei Lowlight-Aufnahmen -, oder starken Bewegungsunschärfen und Wackelartefakten durch den Rolling Shutter-Effekt leiden.
Grundsätzlich stehen zwei Verfahren zur Auswahl, die allerdings jeweils spezifische Schwächen haben. Einmal wird das Video stabilisiert, indem ein möglichst großer Teil des Bildes per Tracking verfolgt, ausgeschnitten und vergrößert wird mit dem Ergebnis, daß ein mehr oder weniger großer (je nach Stärke der Bildwackler) Randbereich des Bildes wegfällt.
Alternativ werden zwar Vollbilder durch eine aufeinanderfolgende Bewegungsschätzung, Bewegungsglättung und Erzeugung stabilisierter neuer Einzelframes generiert, aber der Preis dafür sind deutlich erkennbare (und störende) Verzerrungsartefakte, besonders an den Rändern.
Eine neue Methode namens FuSta - Hybrid Neural Fusion for Full-frame Video Stabilization eines Teams der National University Taiwan und Google verspricht das beste aus beiden Welten: eine Videostabilisierung des gesamten Bildes ohne Artefakte. Sie nutzt dazu ein Convolutional Neural Network, mit dessen Hilfe die benachbarten Frames genutzt werden, um durch Wackler an den Rändern fehlende Bildinhalte für stabilisierte Vollbilder zu synthetisieren, unscharfe Bilder zu entfernen und durch sich schnell bewegende Objekte verursachte Artefakte zu minimieren.
Und tatsächlich: im Vergleich mit aktuellen Stabilisierungs-Verfahren als auch mit dem Warp Stabilizer in Adobe Premiere Pro schneidet das neue Verfahren sehr gut ab und zeitigt deutlich weniger Artefakte trotz ungecropptem Video.
// Top-News auf einen Blick:
- Blackmagic DaVinci Resolve 20 Beta 2 bringt neue Funktionen und Bugfixes
- Blackmagic Camera for Android 2.1 bringt neue Features
- Neuer superschneller PoX Flash-Speicher könnte DRAM und SSDs ersetzen
- Achtung: Verpixelte Videos können wieder kenntlich gemacht werden
- KI-generierte Fake-Trailer: Wie Hollywood an der Irreführung der Zuschauer ...
- Beleuchtung für Foto und Video lernen mit kostenlosem Tool von Google
Perfekt ist auch diese Technik allerdings nicht: Bildfehler tauchen auch hier bei zu schnellen Kamerabewegungen am Rand des stabilisierten Materials auf und oft wirken Flächen auch etwas wabernd, was aber auch am Orginalmaterial liegen kann. Aber, wie Károly Zsolnai-Fehér von "Two Minute Papers" gerne bemerkt, "two more papers down the line", also zwei Forschungsarbeiten später, werden diese Probleme vermutlich zum Verschwinden gebracht worden sein.
Hier der Two Minute Papers Clip über das neue Verfahren:
Wer die Videostabilisierung per FuSta selbst ausprobieren will und die notwendigen Vorkenntnisse besitzt, kann sich den Code hier herunterladen.
