SDXL / Flux.1 D - Mattes (Vanta)Schwarz - Experiment - SDXL v3.0

Flux.1 D - V2.0

Letzter Versuch, es in Flux zum Laufen zu bringen... und mit "zum Laufen bringen" meine ich, so viel wie möglich kaputt zu machen. Es wird höchstwahrscheinlich nie dasselbe tun wie in der SDXL-Version. Schon nach 6000 Schritten war das allein durch Beobachtung ziemlich offensichtlich. SDXL ist so etwas wie "okay, ich lerne es, aber gebe meinen eigenen Dreh dazu", während Flux wie verrückt gegen alles kämpft/kompensiert, was es nicht weiß, was es damit machen soll oder was ich genau will, dass es lernt. Andererseits wird es nach langer Trainingszeit diese Bilder total produzieren, und zwar so stark, dass es die Trainingsdaten 1:1 kopiert, was fast reines Schwarz ergibt. Flux kann ein Bild perfekt kopieren, wie Fotos, selbst nach nur wenigen Schritten.

Wie ich in der letzten Flux-Version sagte, ist es größtenteils etwas, das ich mit anderen, farbenfroheren oder stilistisch bestimmten LoRAs mischen möchte.

Die gleichen Bilder wie bei SDXL v.3.0, aber für die Flux-Version sind einige mehr hinzugefügt (einige im Querformat). Allerdings habe ich 3 Bilder entfernt, die sehr wahrscheinlich für mindestens 80 % der von mir oder anderen geposteten Bilder verantwortlich waren. Das wollte ich eigentlich schon mit der SDXL-Version machen, habe mich damals aber dagegen entschieden. Der Grund ist, dass diese Bilder einfach zu dominant waren und viel seltsames Verhalten sowie eine Verzerrung zur Erzeugung bestimmter Bilder verursachten. Das sah man in der v.1.0 Flux-Version und jetzt sind sie weg. Die Popularität wird hier wahrscheinlich leiden, aber das ist mir egal.

Ich habe das Gefühl, viele Leute benutzen eine bestimmte LoRA nur, weil sie in ihrer "Pipeline" ist, denke ich. In manchen Fällen sehen Bilder ohne LoRA besser aus, und man würde es nie merken. Stil-LoRAs sind eine andere Sache, weil sie einen Stil hinzufügen, der beim Generieren der Bilder ziemlich offensichtlich ist. Dieses Ding hier hat jedoch viel Potenzial, alles schlechter zu machen, weshalb ich die Bilder, die ich gepostet habe, nicht sorgfältig ausgewählt habe, um zu zeigen, was ich meine. Wenn man etwas hinzufügt, das stark leuchtet oder eine Lichtquelle wie eine Kerze hat, fügt Flux (und einige SDXL-Modelle) selbst eine dunkle Umgebung hinzu, weil eine Lichtquelle immer Dunkelheit braucht, um überhaupt sichtbar zu sein (Scheinwerfer eines Autos an einem sonnigen Tag zeigen kaum Wirkung).

Und frag erst gar nicht, ob es in NF4 oder QQUFUF Version 5.64.3255 K4 2 oder weiß der Teufel was funktioniert. Die Datei ist nicht wirklich groß, also kannst du es selbst testen. Ich werde von diesen Modellen Abstand halten, es sei denn, sie bieten mehr Vorteile als eine normale FP8/16 Dev-Version, also mehr als nur geringeren Speicherverbrauch und/oder eine vernachlässigbare Geschwindigkeitssteigerung (oder schlimmer: Geschwindigkeitsverlust).

Ich weiß, wie nervig es sein kann, wenn jemand in kurzer Zeit eine neue Version eines beliebigen Modells veröffentlicht, gerade wenn man sich gerade daran gewöhnt hat. Ich werde diese Version nicht weiterverfolgen und einfach sehen, ob ich oder jemand anderes etwas Nützliches daraus machen kann.

Außerdem ist der Aufwand, die Bilder in Photoshop vorzubereiten, es nicht wert, besonders wenn man weiß, dass es nichts ändern wird. Lieber etwas Neues oder – wahrscheinlicher – Dummes machen, das interessant ist oder zufällige Effekte erzeugt... oder einfach alte Modelle fluxifizieren, um zu sehen, was passiert.

Flux.1 D - V1.0

Nach einigem Herumprobieren mit Kohya und anderen, zu meiner Überraschung erfolgreichen Tests mit ziemlich seltsamen Konzept-LoRAs für Flux, dachte ich, ich probiere diese hier aus, um zu sehen, ob sie funktioniert. Eigentlich war es nicht mein Ziel, eine Flux-Version zu bekommen, denn Flux macht bei Kontrast (meistens) einen guten Job. Mein Hauptziel war es eigentlich, diesen gefürchteten künstlichen/falschen Look loszuwerden, und ich dachte, ein so "undefiniertes" Datenset würde den Trick machen. Nun ja, es klappt manchmal oder macht es sogar schlimmer.

Wie bei der SDXL-Version ist es eher etwas, das mit anderen LoRAs verwendet wird, besonders denen, die viel Farbe hinzufügen.

Entschuldigung, dass ich bei den Prompts und Bildern etwas faul war. Ich habe im Grunde dieselben Sachen verwendet wie in V.3.0, aber es sollte für Vorführzwecke vorerst reichen. Manchmal werden Details verloren und es wird nichts besonders Interessantes hinzugefügt (z.B. das Quallenbild oder der Papagei).

• Gleicher Seed für entsprechende Bilder

• Die ersten 2 Bilder sind mit und ohne LoRA, danach ist es umgekehrt, also zuerst ohne, dann mit LoRA (manchmal unterschiedliche Stärken)

• Manche haben das Triggerwort zuerst, aber ich bezweifle, dass diese in Flux benötigt werden

• Basierend auf dem V1.0-Datensatz, nicht dem neuen (wollte nicht zu viele Bilder verwenden)

Ich bin mir nicht sicher, ob ich mehr LoRAs für Flux machen möchte, aber ich werde einiges testen. Es ist im Moment wirklich verwirrend mit all den verschiedenen Versionen, und es fühlt sich nicht so an, als ob es sich lohnt, viel Zeit in etwas zu stecken, das zehn Stunden später veraltet sein könnte.

Und nur als Nebenbemerkung: Das wurde mit einer 4060 TI (16 GB) trainiert, zwischen 14,4 und 15,2 GB maximalem VRAM-Verbrauch, 3,95s/Iteration - 5,15s/Iteration, 512x, Rang 4... also hier wird keine 4090 benötigt. Natürlich wäre es schneller, aber wenn man einfach starten, vergessen und in der Zwischenzeit etwas anderes machen kann, ist das kein wirkliches Problem, außer man möchte etwas testen.

Wie immer werde ich es hier und da verwenden, um zu sehen, ob ich etwas Sinnvolles daraus machen kann. Wahrscheinlicher nur etwas, um meine Neugier zu befriedigen.

V.3.0

Nach meinem kleinen Fehler mit v2.0 habe ich sichergestellt, dass es diesmal die echte Version ist, ohne Zusammenführen oder Ähnliches. Ich war zunächst etwas skeptisch wegen der Anzahl hinzugefügter Bilder, dass es sich zu sehr von der ersten Version entfernt, aber glücklicherweise tat es das nicht.

Ich freue mich wirklich, dass viele Menschen einen Nutzen für diese LoRA gefunden und so viele Bilder gemacht haben. Obwohl es nie beabsichtigt war, was sie jetzt tut, ist es schön zu sehen, dass sie einen anderen Zweck hat oder man sagen kann, dass sie für etwas anderes verwendet werden kann (wie alle LoRAs).

Dies wird wahrscheinlich (höchstwahrscheinlich) die letzte Version für längere Zeit sein, denn einfach mehr Bilder hinzuzufügen, wird den Haupteffekt nicht ändern. Das meiste wird sowieso durch die Verwendung unterschiedlicher Modelle, LoRA-Kombinationen und Prompts erreicht.

Ich werde mich mehr darauf konzentrieren, tatsächlich Bilder zu erstellen, um mehr Kombinationen zu finden (und um mich ein bisschen zu entspannen), neue seltsame LoRAs zu machen, alte LoRAs zu reparieren usw. Außerdem habe ich so viel anderes Zeug von anderen Leuten heruntergeladen, und ich hatte bisher kaum die Gelegenheit, davon etwas zu verwenden.

Danke nochmals für alle bisher geposteten Bilder, ich hoffe auf mehr, auch wenn jede LoRA in diesem sich schnell bewegenden KI-Sektor eine begrenzte Lebensdauer hat und der Faszinationsfaktor unweigerlich enden wird. :)

V2.0

Kleine Ankündigung zu V2.0 (02.04 oder 04.02, je nach Land denke ich)

Nun, ich bin offiziell ein Idiot.

Ich habe angefangen, eine weitere LoRA zu trainieren, als ich bemerkte, dass sich bei den Beispielbildern nach 2000 Schritten nichts tat, was praktisch unmöglich ist. Also suchte ich nach dem Grund und sah eine Einstellung, die ich nicht zurückgesetzt hatte (oder in diesem Fall nicht auf die richtige Einstellung gesetzt habe) – das war das LR-Warmup. Normalerweise benutze ich keine Warmup-Schritte, aber bei meinen vorherigen Tests wollte ich sehen, was es wirklich bewirkt. Das war bei einem Datenset von etwa 4 Bildern. Ich habe immer eine Einstellung von 100 Epochen, aber es wird alle 500 Schritte ein Modell ausgegeben, nicht nach Epochen. Warmup war auf 32 % gesetzt, also 4 Bilder x 10 Wiederholungen x 100 Epochen = 4000 Schritte (32 % Warmup = 1280 Schritte, in denen eigentlich nicht viel passiert).

Jetzt hatte diese LoRA dieselben Einstellungen, nur mit 60 Bildern (60 x 10 x 100 = 60000 - 32 % Warmup = 19200 Schritte)... also selbst nach 12000 Schritten war es noch nicht wirklich losgegangen, was bedeutet, dass ich eigentlich nur heiße Luft trainiert habe. Erklärt einiges eigentlich. Da ich eingeschlafen bin, ist es mir nicht aufgefallen, obwohl es etwas verwirrend war, dass es so lange dauerte, bis überhaupt ein Effekt eintrat, was ich zunächst den Bildern selbst zuschrieb.

Ja… diese Version ist also ein Reinfall, und das meiste von dem, was sie tut, stammt aus der Verschmelzung mit V1.0.

Ich werde sie am Wochenende, wenn ich von der Arbeit zurückkomme, nochmal mit den richtigen Einstellungen trainieren.

Es tut mir wirklich leid dafür. Vielleicht war es nur ein unbeabsichtigter Aprilscherz :) .... :(

Ich habe ein paar weitere Bilder hinzugefügt, weil ich es in letzter Zeit ziemlich oft benutze und schon länger keine neue LoRA hochgeladen habe, was ziemlich an einer Kombination liegt aus zu viel Arbeit und der Wahl nur nervenaufreibender komplizierter Themen, die auch "auf die komplizierteste Weise" gemacht werden "müssen" ... alles andere wäre langweilig.

Außerdem floss viel Zeit in das Auseinandernehmen von Pony, was mich in mancher Hinsicht überrascht. Wenn man all das Furry-, Anime- und allgemeine Pornokram beiseiteschiebt, ist es fast noch grundlegender als das Base XL-Modell, was gut ist, um Konzepte und Stile via LoRA-Training hinzuzufügen, aber es kennt viel komplexere Dinge wie Positionierung, Emotionen, seltsame Winkel usw. ... aber das ist eine ganz andere Geschichte.

Ich weiß nicht, wie viel Training ich dieses Jahr noch schaffe. Vielleicht mache ich zwischendurch ein paar einfachere Sachen, aber wer weiß. KI entwickelt sich schnell, also könnte in einem Monat ... oder einer Woche ... etwas Neues auftauchen.

• Gleicher Seed und dasselbe Modell mit früher generierten Bildern getestet. Die Veränderung ist in manchen Fällen subtil und in anderen extrem (und jetzt weiß ich warum: siehe Ankündigung)

• Auch Entschuldigung dafür, dass ich nicht mehr Variationen bei den gezeigten Bildern gemacht habe. Manchmal dauert die Vorbereitung der Bilder länger als das Training der LoRA, aber das sollte in diesem Fall nicht zu sehr ins Gewicht fallen. Weitere Dinge werden sowieso natürlich folgen.

V1.0

Ich habe versucht, die KI ein wenig zu pushen, um zu sehen, was sie bei Trainingsbildern erkennt, die fast komplett schwarz sind und nur eine schwache Form haben.

Es war fast unmöglich, das Datenset in Photoshop vorzubereiten, da ich praktisch nichts sehen konnte. Natürlich hat jeder andere Monitoreinstellungen usw., also ist schwer zu sagen, ob die Bilder wirklich so dunkel waren, aber es hat meine Augen sehr belastet. Selbst jetzt ist es etwas schwierig, die generierten Bilder anzuschauen, obwohl sie nicht so dunkel sind wie die Trainingsbilder.

Ich war tatsächlich überrascht, dass das Modell überhaupt etwas erkannt hat. Ich werde es vorerst beiseitelegen, bis ich herausfinde, was ich damit machen kann. Es macht sicherlich einige seltsame Dinge. Irgendwie verbessert die Eingabe generierter Bilder in ControlNet IP-Adapter alles und erzeugt zufällige Ergebnisse.

Tipps für die Generierung:

• Ich habe keine Ahnung... viel Glück.