Mit StyleDrop stellt ein Team von Google Research ein neues KI-Modell vor, das die Generierung von Bildern ermöglicht, die einen bestimmten Stil äußerst exakt nachahmen. Bisherige Modelle leiden oft an der fehlenden Steuerbarkeit der Ergebnisse. Man bekommt zwar oft etwas "Sehenswertes" in hoher Qualität, jedoch nicht unbedingt das, was man sich ursprünglich vorgestellt hatte. Auch muss der Stil bereits im Modell eintrainiert worden und somit a priori bekannt sein, damit eine entsprechende Ausgabe überhaupt funktionieren kann.
StyleDrop kann dagegen enorm effizient neue Stilformen lernen, indem es sehr wenige trainierbare Parameter (weniger als 1 % der gesamten Modellparameter) fein abstimmt und die Qualität durch iteratives Training mit menschlichem oder automatischem Feedback verbessert. Noch besser ist, dass StyleDrop selbst dann beeindruckende Ergebnisse liefert, wenn der Benutzer nur ein einziges Bild zur Verfügung stellt, das den gewünschten Stil vorgibt.
Angetrieben von Muse, einem neuen generativen Text-zu-Bild Vision-Transformer, erfasst StyleDrop dabei Nuancen und Details eines vom Benutzer vorgegebenen Stils, wie Farbschemata, Schattierungen, Designmuster sowie lokale und globale Effekte.
Vergleiche im verlinkten Paper belegen, dass Styledrop auf Muse bei der Stilanpassung von Text-Bild-Modellen andere Methoden wie DreamBooth und Textual Inversion auf Imagen oder Stable Diffusion in der Regel deutlich übertrifft.
// Top-News auf einen Blick:
- Blackmagic DaVinci Resolve 20 Beta 2 bringt neue Funktionen und Bugfixes
- Blackmagic Camera for Android 2.1 bringt neue Features
- Neuer superschneller PoX Flash-Speicher könnte DRAM und SSDs ersetzen
- Achtung: Verpixelte Videos können wieder kenntlich gemacht werden
- KI-generierte Fake-Trailer: Wie Hollywood an der Irreführung der Zuschauer ...
- Beleuchtung für Foto und Video lernen mit kostenlosem Tool von Google
Auch mit Text scheint Style Drop zuverlässig(er?) umgehen zu können, als die aktuellen generativen KI-Modelle. Zumindest gibt es auch hierzu beeindruckende Ergebnisse zu sehen, wenn man die zugehörige Projektwebseite durchstöbert.
Leider kann man Style Drop noch nicht selbst ausprobieren, jedoch ist sehr stark zu erwarten, dass Google solche Projekte in sehr naher Zukunft für Anwender in der Cloud zur Verfügung stellen wird. Alleine schon, um nicht den Anschluss an Microsoft oder Adobe zu verlieren.
Die Hürde für professionelle Illustration in einem durchgängigen Stil dürfte mit diesem Tool jedenfalls ein gutes Stück weiter sinken.
