SDXL / Flux.1 D - Matte (Vanta)Schwarz - Experiment - Flux.1 D v2.0

Flux.1 D - V2.0

Letzter Versuch, es in Flux zum Laufen zu bringen... und mit "zum Laufen bringen" meine ich, so viel wie möglich durcheinanderzubringen. Es wird höchstwahrscheinlich nie das gleiche machen wie die SDXL-Version. Schon nach 6000 Schritten und rein durch Beobachtung war das ziemlich offensichtlich. SDXL ist mehr so "ok, ich lerne es, gebe aber meinen eigenen Dreh hinein", während Flux wie verrückt gegen alles kämpft/kompensiert, was es nicht weiß oder bei dem es unklar ist, was genau es lernen soll. Andererseits produziert es nach langem Training diese Bilder hartnäckig, bis zu dem Punkt, an dem es die Trainingsdaten 1:1 kopiert, was zu fast rein schwarzem Bildmaterial führt. Flux kann ein Bild perfekt kopieren, wie Fotos, sogar nach nur wenigen Schritten.

Wie ich schon in der letzten Flux-Version sagte: Es ist größtenteils dazu gedacht, mit anderen LoRAs kombiniert zu werden, die farbenfroher sind oder einen bestimmten Stil haben.

Die gleichen Bilder wie in SDXL v3.0, mit einigen zusätzlichen für die Flux-Version (einige im Querformat). Aber... ich habe 3 Bilder entfernt, die höchstwahrscheinlich für mindestens 80 % der von mir oder anderen geposteten Bilder verantwortlich waren. Das wollte ich eigentlich auch mit der SDXL-Version machen, habe mich aber damals dagegen entschieden. Der Grund ist, dass diese Bilder zu dominant waren und viel merkwürdiges Verhalten sowie eine Tendenz zu bestimmten Bildkreationen verursachten. Das habe ich in der v1.0 Flux-Version gesehen, jetzt sind sie weg. Die Popularität wird hier wahrscheinlich etwas leiden, aber das ist mir egal.

Ich habe das Gefühl, viele Leute benutzen eine bestimmte LoRA einfach, weil sie in ihrer "Pipeline" ist. In manchen Fällen sehen Bilder ohne LoRA besser aus, und man merkt es gar nicht. Stil-LoRAs sind etwas anderes, da sie beim Generieren der Bilder einen klar erkennbaren Stil hinzufügen. Dieses Modell hier hat jedoch viel Potenzial, alles zu verschlechtern, weshalb ich die geposteten Bilder nicht stark ausgewählt habe, um zu zeigen, was ich meine. Wenn man etwas mit starkem Leuchten oder einer Lichtquelle wie einer Kerze hinzufügt, erzeugt Flux (und einige SDXL-Modelle) von sich aus eine dunkle Umgebung, da eine Lichtquelle immer Dunkelheit benötigt, um wahrnehmbar zu sein (z. B. bringt ein Scheinwerfer an einem sonnigen Tag kaum etwas).

Und fragt erst gar nicht, ob es in der NF4- oder QQUFUF-Version 5.64.3255 K4 2 oder weiß Gott welcher Version funktioniert. Die Datei ist nicht wirklich groß, ihr könnt es selbst testen. Ich halte Abstand zu solchen Modellen, es sei denn, sie bieten mehr Vorteile als eine normale FP8/16 Dev-Version, außer reduziertem Speicherverbrauch und/oder einem vernachlässigbaren Geschwindigkeitsgewinn (oder schlimmer einem Geschwindigkeitsverlust).

Ich weiß, wie nervig es sein kann, wenn jemand innerhalb kurzer Zeit eine neue Version irgendeines Modells veröffentlicht, auf das man sich gerade erst eingestellt hat. Ich werde dieses hier nicht weiter verfolgen und einfach sehen, ob ich oder jemand anderes etwas Nützliches daraus gewinnt.

Außerdem lohnt sich der Aufwand, Bilder in Photoshop vorzubereiten, nicht wirklich, vor allem wenn man weiß, dass es nichts ändert. Lieber etwas Neues machen, oder eher Dummes, das interessant ist oder zufällige Effekte erzeugt... oder einfach alte Modelle "fluxifizieren", um zu sehen, was passiert.

Flux.1 D - V1.0

Nach einigem Herumprobieren mit Kohya und überraschend erfolgreichen Tests mit ziemlich merkwürdigen Konzept-LoRAs für Flux dachte ich, ich gebe diesem hier eine Chance, um zu sehen, ob es funktioniert. Eigentlich war es nicht mein Ziel, eine Flux-Version zu erstellen, da Flux im Großen und Ganzen einen guten Job mit Kontrast macht. Mein Hauptziel war es, den gefürchteten künstlichen/falschen Look loszuwerden, und ich dachte, ein so "undefiniertes" Dataset könnte helfen. Naja, es funktioniert manchmal oder macht es sogar noch schlimmer.

Wie die SDXL-Version ist es eher dazu gedacht, mit anderen LoRAs kombiniert zu werden, besonders mit denen, die viel Farbe hinzufügen.

Entschuldigung, dass ich bei Prompts und Bildern etwas faul war. Habe im Grunde die gleichen Sachen benutzt wie in V.3.0, aber es sollte erstmal zum Zeigen reichen. Manchmal gehen Details verloren und es wird nichts besonders interessantes hinzugefügt (z. B. das Quallenbild oder der Papagei).

• Gleicher Seed für korrespondierende Bilder

• Die ersten 2 Bilder sind mit und ohne LoRA, danach umgekehrt, also erst ohne dann mit LoRA (manchmal mit unterschiedlichen Stärken)

• Manche haben zunächst die Trigger-Wörter, aber ich bezweifle, dass diese in Flux nötig sind

• Basierend auf dem V1.0 Dataset, nicht dem neuen (hab nicht zu viele Bilder verwenden wollen)

Ich weiß nicht, ob ich mehr LoRAs für Flux machen will, aber ich werde ziemlich viel testen. Es ist momentan wirklich verwirrend mit all den verschiedenen Versionen, und es fühlt sich nicht so an, als ob es sich lohnt, viel Zeit in etwas zu investieren, das in 10 Stunden veraltet sein könnte.

Und nur als Randbemerkung: Das wurde mit einer 4060 TI (16 GB) trainiert, mit maximal 14,4 bis 15,2 GB VRAM-Nutzung, 3,95s/Iteration - 5,15s/Iteration, 512x, Rang 4... also, keine 4090 nötig. Natürlich wäre es schneller, aber wenn man einfach starten, vergessen und nebenbei etwas anderes machen kann, ist das kein Problem, es sei denn, man will etwas testen.

Wie immer werde ich es hier und da benutzen, um zu sehen, ob ich etwas Sinnvolles daraus ziehen kann. Wahrscheinlich nur, um meine Neugier zu befriedigen.

V.3.0

Nach meinem kleinen Missgeschick mit v2.0 habe ich sichergestellt, dass es diesmal wirklich das Original ist, ohne Merge oder ähnliches. Anfangs war ich etwas skeptisch wegen der Menge der hinzugefügten Bilder, ob es zu sehr von der ersten Version abweichen würde, aber zum Glück war dem nicht so.

Ich freue mich wirklich, dass viele Leute für diese LoRA eine Verwendung gefunden und so viele Bilder gemacht haben. Da es nie dafür gedacht war, was es jetzt macht, ist es schön zu sehen, dass es einen anderen Zweck erfüllen kann (wie alle LoRAs).

Dies wird wahrscheinlich (sehr wahrscheinlich) die letzte Version für längere Zeit sein, da das bloße Hinzufügen weiterer Bilder den Haupteffekt nicht verändern wird. Die meiste Arbeit wird sowieso durch die Verwendung verschiedener Modelle, LoRA-Kombinationen und Prompts gemacht.

Ich werde mich mehr darauf konzentrieren, tatsächlich Bilder zu erstellen, um mehr Kombinationen zu finden (und ein bisschen zu entspannen), neue seltsame LoRAs zu machen, alte LoRAs zu reparieren etc. Außerdem habe ich so viele andere Sachen von Leuten heruntergeladen und hatte größtenteils keine Gelegenheit, sie zu verwenden.

Danke nochmal für alle bisher geposteten Bilder, und ich hoffe auf mehr, auch wenn jede LoRA in diesem schnelllebigen KI-Sektor eine begrenzte Lebensdauer hat und der Faszinationsfaktor unvermeidlich enden wird. :)

V2.0

Kleine Ankündigung zu V2.0 (je nach Land 02.04 oder 04.02)

Nun, ich bin offiziell ein Idiot.

Ich hatte angefangen, eine andere LoRA zu trainieren, als ich bemerkte, dass bei den Beispielbildern selbst nach 2000 Schritten nichts passierte, was eigentlich unmöglich ist. Also suchte ich nach dem Grund und sah eine Einstellung, die ich nicht zurückgesetzt oder korrekt gesetzt hatte, nämlich LR warmup. Normalerweise benutze ich keine Warmup-Schritte, aber vorher hatte ich getestet, was es bewirkt. Das war bei einem Dataset von nur 4 Bildern. Ich habe immer 100 Epochen eingestellt, aber der Output erfolgt alle 500 Schritte und nicht nach Epochen. Warmup war auf 32% gesetzt, also 4 Bilder x 10 Wiederholungen x 100 Epochen = 4000 Schritte (32% Warmup = 1280 Schritte, bei denen nicht viel passiert).

Nun hatte diese LoRA die gleichen Einstellungen, aber mit 60 Bildern (60 x 10 x 100 = 60000 - 32% Warmup = 19200 Schritte)... Also begann es auch nach 12000 Schritten noch nicht richtig, was bedeutet, dass ich im Grunde nur heiße Luft trainiert habe. Erklärt einiges tatsächlich. Da ich eingeschlafen bin, ist es mir nicht aufgefallen, obwohl es etwas verwunderlich war, warum es so lange dauerte, bis überhaupt ein Effekt sichtbar wurde, was ich auf die Bilder selbst geschoben hatte.

Ja... also ist das ein Reinfall, und der Großteil dessen, was es tut, stammt vom Mergen mit V1.0.

Ich werde es am Wochenende noch einmal mit den richtigen Einstellungen trainieren, wenn ich von der Arbeit zurück bin.

Es tut mir wirklich leid. Vielleicht war es nur ein unbeabsichtigter Aprilscherz :) .... :(

Ich habe ein paar Bilder mehr hinzugefügt, weil ich es in letzter Zeit ziemlich oft benutze und schon länger keine neue LoRA hochgeladen habe, was hauptsächlich daran liegt, dass ich viel Arbeit hatte und nur nervenaufreibend komplizierte Themen gewählt habe, die auch auf die komplexeste Weise gemacht werden „müssen“... alles andere wäre langweilig.

Außerdem habe ich viel Zeit damit verbracht, Pony auseinanderzunehmen, was mich in mancher Hinsicht überrascht hat. Wenn man alle Furry-, Anime- und allgemeine Porno-Inhalte weglässt, ist es fast simpler als das Base XL-Modell, was gut ist, um Konzepte und Stile über LoRA-Training hinzuzufügen, aber es kennt viel komplexere Dinge wie Positionierung, Emotionen, seltsame Winkel etc... aber das ist eine ganz andere Geschichte.

Ich weiß nicht, wie viel Training ich dieses Jahr noch mache. Vielleicht mache ich zwischendurch ein paar einfachere Sachen, aber wer weiß. KI entwickelt sich schnell, also könnte in einem Monat... oder einer Woche Neues kommen.

• Getestet wurde der gleiche Seed und dasselbe Modell mit zuvor generierten Bildern. Die Veränderung ist in manchen Fällen sehr subtil und in anderen extrem (jetzt weiß ich auch warum: siehe Ankündigung)

• Entschuldigung auch dafür, dass ich in den gezeigten Bildern nicht mehr Variationen gemacht habe. Manchmal dauert die Vorbereitung der Bilder länger als das Training der LoRA, aber das sollte in diesem Fall nicht so sehr ins Gewicht fallen. Mehr wird sowieso natürlich folgen.

V1.0

Ich habe versucht, die KI ein wenig zu pushen, um zu sehen, was sie aus Trainingsbildern mit fast komplett schwarzen Flächen und nur schwach erkennbaren Formen lernt.

Es war fast unmöglich, das Dataset in Photoshop vorzubereiten, weil ich praktisch nichts sehen konnte. Natürlich hat jeder andere Monitoreinstellungen, usw., daher ist schwer zu sagen, ob diese Bilder wirklich so dunkel waren, aber das hat meine Augen sehr belastet. Auch jetzt ist es etwas anstrengend, sich die generierten Bilder anzuschauen, obwohl sie nicht so dunkel sind wie die Trainingsbilder.

Ich war tatsächlich überrascht, dass das Modell überhaupt etwas aufgenommen hat. Ich werde es erstmal beiseitelegen, bis ich weiß, was ich damit machen soll. Es macht auf jeden Fall merkwürdige Sachen. Wenn man generierte Bilder in ControlNet IP-Adapter gibt, verstärkt das alles und erzeugt zufällige Ergebnisse.

Tipps zum Generieren:

• Ich habe keine Ahnung... viel Glück.