Style Transfer & Mixing Techniques: A Comprehensive Guide

Willkommen zu einem umfassenden Leitfaden zu Stiltransfer- und Stilmix-Techniken! In der Welt der KI-gestützten Bildgenerierung eröffnen sich ständig neue Möglichkeiten, visuelle Inhalte zu erstellen und zu bearbeiten. Eine besonders spannende Entwicklung ist der Stiltransfer, der es ermöglicht, den Stil eines Referenzbildes auf ein anderes Bild zu übertragen oder verschiedene Stile miteinander zu kombinieren. Dieser Artikel beleuchtet die theoretischen Grundlagen, praktische Anwendungen und innovativen Techniken des Stiltransfers, um Ihnen ein tiefes Verständnis für diese faszinierende Technologie zu vermitteln. Entdecken Sie, wie Sie mit ControlNets ästhetische Elemente präzise steuern und atemberaubende Ergebnisse erzielen können.

Was ist Stiltransfer?

Stiltransfer ist ein Verfahren der künstlichen Intelligenz, bei dem das Aussehen oder der Stil eines Bildes auf ein anderes übertragen wird. Dabei werden die wesentlichen Merkmale des Stils, wie Farbpalette, Textur, Pinselstriche und Komposition, extrahiert und auf ein anderes Bild angewendet, das als 'Inhaltsbild' bezeichnet wird. Das resultierende Bild kombiniert den Inhalt des Inhaltsbildes mit dem Stil des Stilbildes. Stiltransfer kann verwendet werden, um ausdrucksstarke und kreative Bilder zu erzeugen, die an berühmte Kunstwerke erinnern oder einen bestimmten visuellen Effekt erzielen.

Stilmixing hingegen geht noch einen Schritt weiter und kombiniert die Stile verschiedener Bilder, um einzigartige und hybride visuelle Effekte zu erzeugen. Diese Technik ermöglicht es, die besten Eigenschaften mehrerer Stile in einem einzigen Bild zu vereinen.

Es gibt viele verschiedene Möglichkeiten, Stiltransfer und Stilmixing zu erreichen. Wir werden uns die Theorie dahinter ansehen, wie das funktioniert und was wir tatsächlich tun, und wir werden einige interessante Bilder generieren, in denen wir einen bestimmten Stil in die Generation mischen, entweder als vollständigen Stiltransfer oder ob wir nur verschiedene ästhetische Elemente erhalten und diese hineinmischen.

Die Theorie hinter dem Stiltransfer

Der Stiltransfer basiert auf tiefen neuronalen Netzen (Deep Neural Networks, DNNs), insbesondere auf Convolutional Neural Networks (CNNs), die in der Lage sind, komplexe Muster und Merkmale in Bildern zu erkennen und zu extrahieren. Diese Netze werden darauf trainiert, Bilder auf unterschiedlichen Ebenen zu analysieren, von einfachen Merkmalen wie Kanten und Farben bis hin zu komplexen Mustern und Objekten.

Im Kontext des Stiltransfers werden CNNs verwendet, um sowohl den Inhalt des Inhaltsbildes als auch den Stil des Stilbildes zu analysieren. Der Inhalt wird typischerweise durch die Aktivierungen in höheren Schichten des Netzes repräsentiert, während der Stil durch die Korrelationen zwischen den Aktivierungen in den niedrigeren Schichten erfasst wird.

Der Stiltransfer-Algorithmus optimiert dann das Ausgabebild, um sowohl den Inhalt des Inhaltsbildes als auch den Stil des Stilbildes beizubehalten. Dies geschieht durch die Minimierung einer Verlustfunktion, die sowohl einen Inhaltsverlustterm als auch einen Stilverlustterm umfasst. Der Inhaltsverlustterm misst den Unterschied zwischen dem Inhalt des Ausgabebildes und dem Inhalt des Inhaltsbildes, während der Stilverlustterm den Unterschied zwischen dem Stil des Ausgabebildes und dem Stil des Stilbildes misst.

Style Transfer von Foto zu Impressionismus

Um den Stiltransfer in der Praxis zu demonstrieren, verwenden wir die Open Source Software InvokeAI, ein leistungsstarkes Werkzeug für die KI-gestützte Bildgenerierung.

Zunächst wählen wir eine Fotografie eines Baumes als Inhaltsbild aus. Dann wählen wir einen impressionistischen Malstil als Stilbild. Mit InvokeAI können wir diese beiden Bilder kombinieren und ein neues Bild erzeugen, das den Inhalt des Baumes mit dem Stil des Impressionismus vereint.

Die Fotografie eines Baumes wird als Ausgangspunkt für die Transformation verwendet. Der nächste Schritt besteht darin, diese Fotografie in ein impressionistisches Konzeptkunstgemälde zu verwandeln.

Um das zu erreichen, wechseln wir zunächst zu einem Konzeptkunst (Malerei) Stil. Wir fügen dann ein "Impressionismus++ Gemälde eines Eichenbaums" hinzu.

Der Denoising-Wert wird angepasst, um die Transformation zu steuern:

• Denoising bei 0.5
• Denoising bei 0.75
• Denoising bei 0.9

Es ist zu beobachten, dass bei einem Denoising-Wert von 0,5 das Ergebnis bereits recht ansprechend ist, da es den fotografischen Stil in den Malstil verändert. Bei einem Denoising-Wert von 0,9 verliert das Bild die Ähnlichkeit mit der ursprünglichen Form des Baumes, und es kommt zu Verformungen.

ControlNets für mehr Kontrolle beim Stiltransfer

ControlNets sind eine Klasse neuronaler Netze, die entwickelt wurden, um die Steuerung von KI-gestützten Bildgenerierungsprozessen zu verbessern. Sie ermöglichen es, bestimmte Merkmale oder Attribute eines Bildes gezielt zu beeinflussen, wie z. B. Kanten, Formen, Tiefeninformationen oder semantische Segmentierungen.

Tile ControlNet dient als Farbführung und versucht, die Farbinformationen des Originalbildes während der Generierung beizubehalten. Es wird demonstriert, wie der Tile ControlNet die Farbpalette des ursprünglichen Eichenbaumbildes erhalten kann, während die AI den fotografischen Stil in den Malstil verändert.

1. Das ursprüngliche Bild wird als Rasterebene in die Leinwand geladen.
2. Eine neue ControlNet-Ebene wird aus der Rasterebene erstellt.
3. Als ControlNet-Modell wird Tile ControlNet ausgewählt.

Es kann jedoch beobachtet werden, dass der Tile ControlNet die Struktur und Form des Baumes aus dem Originalbild nicht beibehalten kann, sodass das resultierende Bild die ursprüngliche Form verliert.

Style Transfer zu Fotorealismus

Eine weitere spannende Anwendung des Stiltransfers ist die Umwandlung von Gemälden oder Zeichnungen in fotorealistische Bilder. Hierbei wird versucht, die Details und Texturen eines echten Fotos auf ein künstliches Bild zu übertragen.

Um den ursprünglichen Malstil zu entfernen, müssen wir die Details des Originals aus dem Bild extrahieren.

Mit einer höheren Denoising-Stärke wird das Bild stärker verändert und verliert die Form. Aus diesem Grund werden Control-Layer verwendet, um diesen Prozess zu steuern.

Canny ControlNet zum Beispiel wird verwendet, um die Struktur zu erhalten. Durch das Herausfiltern irrelevanter Strukturen mithilfe des High Threshold und des Low Threshold des Canny ControlNet verbessert sich der Prozess.

Insgesamt kann mit den im Video demonstrierten Schritten ein Porträt eines italienischen Guts relativ einfach in ein überzeugendes fotorealistisches Bild verwandelt werden.

Zusammenfassend lässt sich sagen, dass Sie, wenn Sie Kontrolle wollen und den Stiltransfer etwas genauer haben möchten, versuchen, Leitplanken an diesen Prozess anzubringen. Man will der KI nicht freien Lauf lassen. Sie soll es nicht völlig neu erfinden, sondern ihr Leitplanken geben.

Schritt-für-Schritt-Anleitung

Die Verwendung von ControlNet Tile für den Stiltransfer in InvokeAI erfordert ein paar Schritte, um das gewünschte Ergebnis zu erzielen:

1. Ausgangsbild laden: Beginnen Sie mit dem Laden des Bildes, dessen Stil Sie übertragen möchten.

2. ControlNet-Ebene erstellen: Wählen Sie ControlNet Tile und erstellen Sie eine neue Ebene.

   

3. Denoising-Stärke anpassen: Stellen Sie die Denoising-Stärke ein, um die Stärke des Stiltransfers zu bestimmen. Ein höherer Wert führt zu einem stärkeren Transfer, kann aber auch Details verwischen.

4. Anwenden und Generieren: Wenden Sie die Einstellungen an und generieren Sie das neue Bild. Überprüfen Sie das Ergebnis und passen Sie die Einstellungen bei Bedarf an.