SDXL / Flux.1 D - Mattes (Vanta)Schwarz - Experiment - SDXL v2.0

Flux.1 D - V2.0

Letzter Versuch, es im Flux zum Laufen zu bringen... und mit "zum Laufen bringen" meine ich, so viel wie möglich kaputt zu machen. Es wird höchstwahrscheinlich nie das Gleiche tun wie die SDXL-Version. Schon nach 6000 Schritten und allein durch Beobachtung war das ziemlich offensichtlich. SDXL ist quasi "ok, ich lerne es, aber bringe meinen eigenen Dreh rein", während Flux wie verrückt gegen alles kämpft bzw. dagegen ankämpft oder kompensiert, was es nicht weiß oder nicht genau weiß, was ich möchte, dass es lernt. Andererseits wird es nach langem Training genau diese Bilder hart produzieren, bis zu dem Punkt, dass es die Trainingsdaten 1:1 kopiert, was fast reines Schwarz ergibt. Flux kann ein Bild perfekt kopieren, wie Fotos, sogar nach nur wenigen Schritten.

Wie ich bereits in der letzten Flux-Version sagte, ist es meistens etwas, das ich mit anderen LoRAs mischen möchte, die farbenfroher sind oder einen bestimmten Stil haben.

Gleiche Bilder wie bei SDXL v.3.0, mit einigen zusätzlichen Bildern für die Flux-Version (einige im Querformat). Aber... ich habe 3 Bilder entfernt, die wahrscheinlich für mindestens 80 % der von mir oder anderen geposteten Bilder verantwortlich waren. Das war etwas, was ich mit der SDXL-Version machen wollte, mich aber damals dagegen entschieden habe. Der Grund ist, dass diese Bilder einfach zu dominant waren und viele seltsame Verhaltensweisen und eine Verzerrung zu bestimmten Bildtypen verursacht haben. Das sah man schon in der Flux v.1.0 Version, und jetzt sind sie weg. Die Beliebtheit wird hier wahrscheinlich einen Dämpfer bekommen, aber das ist mir egal.

Ich habe das Gefühl, viele Leute verwenden eine bestimmte LoRA einfach, weil sie in ihrer "Pipeline" ist. In manchen Fällen sehen Bilder ohne LoRA besser aus, und man würde es nie merken. Style-LoRAs sind eine andere Sache, denn die fügen einen Stil hinzu, der beim Bildgenerieren deutlich sichtbar ist. Dieses hier hat jedoch viel Potenzial, alles schlechter zu machen, weshalb ich die geposteten Bilder nicht ausgesucht habe, um genau zu zeigen, was ich damit meine. Wenn man etwas mit starkem Glow oder einer Lichtquelle wie einer Kerze hinzufügt, fügt Flux (und ein paar SDXL Modelle) automatisch eine dunkle Umgebung hinzu, weil eine Lichtquelle immer eine Art Dunkelheit braucht, um überhaupt wahrnehmbar zu sein (ein Scheinwerfer eines Autos an einem sonnigen Tag bewirkt nicht viel).

Und fragt auch gar nicht erst, ob es in der NF4- oder QQUFUF Version 5.64.3255 K4 2 oder was auch immer funktioniert. Die Datei ist nicht wirklich groß, also könnt ihr es selbst testen. Ich werde Abstand von solchen Modellen halten, es sei denn, sie bieten mehr Vorteile als eine normale FP8/16 Dev Version, außer geringerer Speicherverbrauch und/oder eine vernachlässigbare Geschwindigkeitssteigerung (oder schlimmer noch, Geschwindigkeitsabnahme).

Ich weiß, wie nervig es sein kann, wenn jemand in kurzer Zeit eine neue Version eines Modells veröffentlicht, an das man sich gerade gewöhnt hat. Ich werde diese Version nicht weiter verfolgen, sondern einfach sehen, ob ich oder jemand anderes etwas Nützliches daraus zieht.

Außerdem ist der Aufwand, die Bilder in Photoshop vorzubereiten, es nicht wert, besonders wenn man weiß, dass es nichts ändern wird. Besser etwas Neues machen oder eher Dummes, das interessant ist oder zufällige Effekte erzeugt... oder einfach alte Modelle mit Flux ausprobieren, um zu sehen, was passiert.

Flux.1 D - V1.0

Nach einigem Herumprobieren mit Kohya und anderen, und zu meiner Überraschung erfolgreichen Tests mit ziemlich seltsamen Konzept-LoRAs für Flux, dachte ich, ich gebe diesem hier mal eine Chance, um zu sehen, ob es funktioniert. Eigentlich war es nicht mein Ziel, eine Flux-Version zu erstellen, da Flux mit Kontrast sowieso gut arbeitet (meistens). Mein Hauptziel war es, diesen gefürchteten künstlichen/falschen Look loszuwerden, und ich dachte, ein so "undefinierter" Datensatz würde den Trick machen. Nun, das tut er manchmal oder macht es noch schlimmer.

Wie bei der SDXL-Version ist es eher etwas, das mit anderen LoRAs zusammen verwendet werden sollte, besonders denen, die viel Farbe hinzufügen.

Sorry, dass ich bei den Prompts und Bildern etwas faul war. Ich habe im Wesentlichen die gleichen Sachen wie in V.3.0 verwendet, aber es sollte aus Showcase-Gründen vorerst reichen. Manchmal verwischt es Details und fügt nichts besonders Interessantes hinzu (z.B. Qualle oder der Papagei).

• Gleicher Seed für korrespondierende Bilder

• Die ersten 2 Bilder sind mit und ohne LoRA, danach umgekehrt, also zuerst ohne dann mit LoRA (manchmal unterschiedliche Stärken)

• Manche haben die Triggerwörter am Anfang, aber ich bezweifle, dass die in Flux nötig sind

• Basiert auf dem V1.0-Datensatz, nicht dem neuen (wollte nicht zu viele Bilder verwenden)

Bin mir nicht sicher, ob ich mehr LoRAs für Flux machen will, aber ich werde einiges testen. Es ist im Moment wirklich verwirrend mit all den verschiedenen Versionen, und es fühlt sich nicht an, als wäre es wert, viel Zeit in etwas zu investieren, das 10 Stunden später veraltet sein könnte.

Und nur eine Randnotiz: Das wurde mit einer 4060 TI (16 GB) trainiert, zwischen 14,4 und 15,2 GB maximaler VRAM-Nutzung, 3,95s/Iteration - 5,15s/Iteration, 512x, Rang 4. ... also keine 4090 nötig hier. Natürlich wäre es schneller, aber wenn man einfach starten, vergessen und in der Zwischenzeit etwas anderes machen kann, ist das kein Problem, es sei denn, man möchte etwas testen.

Wie immer werde ich es hier und da benutzen, um zu sehen, ob ich etwas Sinnvolles daraus bekomme. Wahrscheinlicher ist, dass es nur meine Neugier befriedigt.

V.3.0

Nach meinem kleinen Fehlgriff mit v2.0 habe ich sichergestellt, dass dieses Mal alles echt ist, ohne Zusammenführen oder Ähnliches. Zuerst war ich etwas skeptisch wegen der Anzahl der hinzugefügten Bilder, dass es sich zu stark von der ersten Version entfernen würde, aber zum Glück war dem nicht so.

Ich freue mich wirklich, dass viele Leute eine Verwendung für diese LoRA gefunden und so viele Bilder damit gemacht haben. Da es nie gedacht war, das zu tun, was es jetzt tut, ist es irgendwie schön zu sehen, dass es einen anderen Zweck hat oder man sagen könnte, dass es für etwas anderes benutzt werden kann (wie alle LoRAs).

Das wird wahrscheinlich (höchstwahrscheinlich) die letzte Version für längere Zeit sein, da das Hinzufügen weiterer Bilder den Haupteffekt nicht verändern wird. Die meiste Arbeit wird sowieso durch verschiedene Modelle, LoRA-Kombinationen und Prompts erledigt.

Ich werde mich mehr darauf konzentrieren, selbst Bilder zu erstellen, um mehr Kombinationen zu finden (und mich etwas zu entspannen), neue seltsame LoRAs zu machen, alte zu reparieren usw. Außerdem habe ich so viele andere Sachen von Leuten heruntergeladen, die ich größtenteils noch nicht nutzen konnte.

Nochmals Danke für alle bisher geposteten Bilder, und ich hoffe auf mehr, auch wenn jede LoRA im schnelllebigen KI-Sektor eine begrenzte Lebensdauer hat und der Hype zwangsläufig endet. :)

V2.0

Kurze Ankündigung zu V2.0 (02.04 oder 04.02, je nach Land)

Naja, ich bin offiziell ein Idiot.

Ich hatte angefangen, eine andere LoRA zu trainieren, als ich bemerkte, dass in den Beispielbildern auch nach 2000 Schritten nichts passierte, was eigentlich unmöglich ist. Also suchte ich nach dem Grund und sah eine Einstellung, die ich nicht zurückgesetzt hatte (oder in diesem Fall nicht korrekt eingestellt hatte): LR Warmup. Normalerweise verwende ich keine Warmup-Schritte, aber ich testete was das wirklich macht. Das war bei einem Datensatz von etwa 4 Bildern. Ich habe immer eine Einstellung von 100 Epochen, aber es wird alle 500 Schritte ein Modell ausgegeben, nicht pro Epoche. Warmup war auf 32% gesetzt, also 4 Bilder x 10 Wiederholungen x 100 Epochen = 4000 Schritte (32% Warmup = 1280 Schritte, in denen nicht wirklich viel passiert).

Jetzt hatte diese LoRA die gleichen Einstellungen, nur mit 60 Bildern (60 x 10 x 100 = 60000 - 32% Warmup = 19200 Schritte)... also selbst nach 12000 Schritten war noch kein Start erfolgt, was bedeutet, ich habe im Grunde heiße Luft trainiert. Das erklärt einiges. Da ich eingeschlafen bin, habe ich das nicht bemerkt, obwohl es etwas verwunderlich war, dass es so lange dauerte, bis überhaupt ein Effekt eintrat, was ich zunächst den Bildern zuschrieb.

Ja... diese Version ist ein Reinfall und das meiste, was sie tut, stammt vom Mischen mit V1.0.

Ich werde sie am Wochenende erneut trainieren, wenn ich von der Arbeit zurück bin, dieses Mal mit den richtigen Einstellungen.

Es tut mir sehr leid. Vielleicht war es nur ein unbeabsichtigter Aprilscherz :) .... :(

Ein paar weitere Bilder hinzugefügt, da ich es in letzter Zeit ziemlich oft benutze und schon länger keine neue LoRA hochgeladen habe, was hauptsächlich daran liegt, dass ich zu viel Arbeit hatte und nur nervenaufreibend komplizierte Themen gewählt habe, die auch auf die verworrenste Weise gemacht „werden müssen“... alles andere wäre langweilig.

Außerdem habe ich viel Zeit damit verbracht, Pony auseinanderzunehmen, was mich in mancher Hinsicht überrascht. Wenn man ganzen Furry-, Anime- und allgemeinen Pornokram weglässt, ist es fast noch grundsätzlicher als das Base XL Modell, was gut zum Hinzufügen von Konzepten und Stilen via LoRA-Training ist, aber viel komplexere Dinge kennt wie Positionierung, Emotionen, seltsame Winkel etc... aber das ist eine ganz andere Geschichte.

Ich weiß nicht, wie viele Trainings ich dieses Jahr noch machen werde. Vielleicht mache ich zwischendrin ein paar einfachere Sachen, aber wer weiß. KI entwickelt sich schnell, also könnte in einem Monat... oder einer Woche schon wieder etwas Neues kommen.

• Den gleichen Seed und das gleiche Modell mit zuvor generierten Bildern getestet. Die Veränderung ist in manchen Fällen subtil und in anderen extrem (und jetzt weiß ich warum: siehe Ankündigung)

• Entschuldigung, dass ich bei den gezeigten Bildern keine weiteren Variationen gemacht habe. Manchmal dauert die Vorbereitung von Bildern länger als das Training der LoRA, aber das sollte hier nicht zu sehr ins Gewicht fallen. Weitere Inhalte werden ohnehin folgen.

V1.0

Ich habe versucht, die KI zu provozieren, um zu sehen, was sie bei Trainingsbildern erkennt, die fast komplett schwarz sind und nur eine schwache Form enthalten.

Es war fast unmöglich, den Datensatz in Photoshop vorzubereiten, weil ich kaum etwas sehen konnte. Natürlich hat jeder unterschiedliche Monitoreinstellungen, daher ist schwer zu sagen, ob die Bilder wirklich so dunkel waren, aber es hat meine Augen stark belastet. Selbst jetzt ist es schwierig, sich die generierten Bilder anzuschauen, obwohl sie nicht so dunkel sind wie die Trainingsbilder.

Ich war tatsächlich überrascht, dass das Modell überhaupt etwas erkannt hat. Ich werde es vorerst beiseitelegen, bis ich herausfinde, was ich damit machen soll. Es macht auf jeden Fall seltsame Dinge. Irgendwie verbessert das Einfügen generierter Bilder in ControlNet IP-Adapter alles und erzeugt zufällige Ergebnisse.

Tipps zur Generierung:

• Ich habe keinen Plan... viel Glück.