Gamechanger für Animation? ToonCrafter - Generative KI-Zwischenbild-Generierung für Zeichentrick-Videos

Mit ToonCrafter zeigt sich auf GitHub ein KI-Projekt, welches das Problem der Interpolation von Zeichentrickvideos neuartig lösen will. Hierbei geht es darum, mehrere Bilder zwischen zwei gezeichneten Frames zu generieren, um zwischen diesen zwei Bildern eine flüssige Bewegung für das Auge zu schaffen. Eine normale Interpolation zwischen der Frames funktioniert hier nicht, da dies bestenfalls wie Warping aussehen würde. Und bislang eingesetzte Algorithmen haben noch oft Probleme mit den übertriebenen nichtlinearen und großen Bewegungen typischer Animationen sowie der Überlagerung von Objekten (Okklusion) - was letztlich fast immer zu unplausiblen und/oder komplett fehlgeschlagenen Interpolationsergebnissen führt.

Generative KI-Verfahren haben dagegen schon in den letzten Monaten bereits mehrfach bewiesen, dass sie mit ihrem weitergehenden Verständnis von Bildinhalten auch die Veränderung und Bewegung von Objekten theoretisch weitaus besser vorhersagen können. Und sich damit für eine Interpolation in diesem Problembereich gut eignen könnten.

ToonCrafter bietet nun genau so eine generative Zeichentrickfilm-Interpolation. Dabei wurde das Modell speziell auf Zeichentrickfilme trainiert und scheint mittlerweile recht beeindruckende Ergebnisse zu liefern. Kritische Nutzer auf Reddit merken jedoch an, dass das Tool aktuell auf 16 Frames pro Sekunde bei einer Auflösung von 320x512 limitiert sei und zudem die präsentieren Beispiele nur "seltene Rosinen" seien . In den meisten Fällen aus der Praxis sei der Output dagegen noch unbrauchbar. Doch diese wahrscheinlich sehr sorgfältig auserwählten Rosien sehen dafür bemerkenswert gut aus:

So zeigt ToonCrafter hier grundsätzlich die erstaunlichen Möglichkeiten generativer KI-Modelle zur Zwischenbild-Erzeugung auf - und dass diese Modelle sich noch weiter signifikant verbessern werden. Sollte die Entwicklung also nicht hier und heute stehen bleiben, ist es absehbar, dass man in Zukunft Zeichentrick-Animationen aus wenigen Standbildern erzeugen kann.

Und dort hört die generative KI natürlich auch nicht auf. Denn auch mit realen Standbildern ist eine hochqualitative Zwischenbild-Animation nicht nur denkbar, sondern wird wahrscheinlich in den nächsten Monaten oder Jahren Realität. Und wer die Entwicklung der letzten Zeit verfolgt hat, weiß, dass Monate hier der wahrscheinlichere Prognosehorizont sein dürfte.