SDXL / Flux.1 D - Matte (Vanta)Schwarz - Experiment - Flux.1 D v1.0

Flux.1 D - V2.0

Letzter Versuch, es in Flux zum Laufen zu bringen... und mit "zum Laufen bringen" meine ich, den größtmöglichen Chaos anzurichten. Es wird höchstwahrscheinlich niemals dasselbe leisten wie die SDXL-Version. Selbst nach 6000 Schritten und allein durch Beobachtung war es eindeutig. SDXL ist eher wie „Okay, ich lerne es, aber gebe meine eigene Interpretation“, während Flux wild dagegen ankämpft/kompensiert, wenn es nicht weiß, was es tun soll oder was ich genau lernen möchte. Andererseits erzeugt es nach längerem Training genau diese Bilder, sogar so stark, dass es die Trainingsdaten 1:1 kopiert, was fast reines Schwarz ergibt. Flux kann ein Bild perfekt kopieren, wie Fotos, schon nach wenigen Schritten.

Wie bei der letzten Flux-Version möchte ich es hauptsächlich mit anderen, farbenfroheren LoRAs oder solchen mit bestimmtem Stil mischen.

Die gleichen Bilder wie bei SDXL v.3.0, mit einigen zusätzlichen für die Flux-Version (einige im Querformat). Aber... ich habe 3 Bilder entfernt, die vermutlich für mindestens 80% der von mir oder anderen geposteten Bilder verantwortlich waren. Das wollte ich ursprünglich auch bei der SDXL-Version machen, habe mich damals aber dagegen entschieden. Der Grund ist, dass diese Bilder zu dominant waren und viel merkwürdiges Verhalten und eine Voreingenommenheit zur Erzeugung bestimmter Bilder verursachten. Das sah ich bereits in der Flux v.1.0 Version, und jetzt sind sie weg. Die Popularität wird wahrscheinlich darunter leiden, aber das ist mir egal.

Ich habe das Gefühl, viele benutzen eine bestimmte LoRA nur, weil sie in ihrem "Workflow" ist. In manchen Fällen sehen Bilder ohne LoRA besser aus, und man merkt es nicht. Stil-LoRAs sind etwas anderes, da sie einen klar erkennbaren Stil beim Generieren der Bilder hinzufügen. Dieses Modell hier hat hingegen viel Potential, alles zu verschlechtern, weshalb ich nicht speziell die Bilder ausgewählt habe, die ich gepostet habe, um genau das zu zeigen. Wenn man etwas mit starkem Leuchten oder einer Lichtquelle wie Kerzenlicht hinzufügt, fügt Flux (und einige SDXL-Modelle) von selbst eine dunkle Umgebung hinzu, da eine Lichtquelle immer Dunkelheit braucht, um überhaupt sichtbar zu sein (ein Autoscheinwerfer am sonnigen Tag bewirkt kaum etwas).

Und fragt erst gar nicht, ob es in NF4 oder QQUFUF Version 5.64.3255 K4 2 oder wie auch immer läuft. Die Datei ist nicht groß, testet es selbst. Ich werde Abstand zu solchen Modellen halten, sofern sie nicht mehr Vorteile bringen als eine normale FP8/16 Dev-Version, außer weniger Speicherverbrauch und/oder vernachlässigbare Geschwindigkeitssteigerung (oder schlimmstenfalls Verlangsamung).

Ich weiß, wie nervig es sein kann, wenn jemand in kurzer Zeit neue Versionen eines Modells veröffentlicht, gerade wenn man sich gerade daran gewöhnt hat. Ich werde diese Version nicht weiter verfolgen und einfach abwarten, ob ich oder jemand anderes etwas Nützliches daraus zieht.

Außerdem ist der Aufwand, die Bilder in Photoshop vorzubereiten, es nicht wert, vor allem, wenn man weiß, dass sich nichts ändert. Besser etwas Neues machen oder, wahrscheinlicher, etwas Dummes, das interessant ist oder zufällige Effekte erzeugt... oder alte Modelle fluxifizieren, um zu sehen, was passiert.

Flux.1 D - V1.0

Nach etwas Herumprobieren mit Kohya und anderen, überraschend erfolgreichen Tests mit ziemlich seltsamen Konzept-LoRAs für Flux, dachte ich, ich gebe dieser hier eine Chance zu sehen, ob sie funktioniert. Eigentlich war es nicht mein Ziel, eine Flux-Version zu bekommen, da Flux schon gut mit Kontrasten umgeht (meistens). Mein Hauptziel war es, den gefürchteten künstlichen/falschen Look loszuwerden, und ich dachte, ein so "undefiniertes" Dataset würde helfen. Nun, es klappt manchmal, oder es macht es sogar schlimmer.

Wie bei der SDXL-Version ist es mehr etwas zum Mischen mit anderen LoRAs, besonders solchen, die viel Farbe hinzufügen.

Entschuldigt die faulen Prompts und Bilder. Ich habe im Wesentlichen dasselbe verwendet wie in V.3.0, aber es sollte fürs Vorführen reichen. Manchmal zerstört es Details und fügt nichts wirklich Interessantes hinzu (zum Beispiel das Bild der Qualle oder der Papagei).

• Gleicher Seed für korrespondierende Bilder

• Die ersten 2 Bilder sind mit und ohne LoRA, danach umgekehrt, also zuerst ohne dann mit LoRA (manchmal unterschiedlich stark)

• Einige haben am Anfang die Trigger-Wörter, aber ich bezweifle, dass die in Flux nötig sind

• Basierend auf dem V1.0 Dataset, nicht dem neuen (wollte nicht zu viele Bilder verwenden)

Ich bin mir nicht sicher, ob ich noch mehr LoRAs für Flux machen will, aber ich werde viel testen. Es ist momentan sehr verwirrend mit den ganzen Versionen und es fühlt sich nicht lohnenswert an, viel Zeit in etwas zu investieren, das in 10 Stunden veraltet sein könnte.

Und nur so nebenbei: Das Training erfolgte mit einer 4060 TI (16 GB), mit maximalem VRAM-Verbrauch zwischen 14.4 und 15.2 GB, 3,95s/It - 5,15s/It, 512x, Rang 4. ... also keine 4090 nötig hier. Natürlich wäre es schneller, aber wenn man einfach starten und währenddessen etwas anderes machen kann, ist das kein Problem, außer man will etwas testen.

Wie immer werde ich es gelegentlich nutzen, um zu sehen, ob ich etwas Sinnvolles daraus ziehen kann. Wahrscheinlich nur, um meine Neugier zu befriedigen.

V.3.0

Nach meinem kleinen Malheur mit v2.0 habe ich diesmal sichergestellt, dass es der echte Deal ist, ohne Mergen oder sonstiges. Anfangs war ich skeptisch wegen der Menge der hinzugefügten Bilder, ob es sich zu sehr von der ersten Version entfernen würde, aber glücklicherweise tat es das nicht.

Ich freue mich wirklich, dass viele Leute eine Verwendung für diese LoRA gefunden und so viele Bilder erstellt haben. Da es nie dafür gedacht war, das zu tun, was es jetzt macht, ist es schön zu sehen, dass es einen anderen Zweck hat oder, sagen wir, für etwas anderes verwendet werden kann (wie alle LoRAs).

Dies wird wahrscheinlich (höchstwahrscheinlich) die letzte Version für eine Weile sein, denn nur durch das Hinzufügen weiterer Bilder ändert sich der Haupteffekt nicht. Der Großteil entsteht sowieso durch die Nutzung verschiedenster Modelle, LoRA-Kombinationen und Prompts.

Ich werde mich mehr darauf konzentrieren, tatsächlich Bilder zu erstellen, um mehr Kombinationen zu finden (und ein wenig zu entspannen), neue seltsame LoRAs zu machen, alte zu reparieren etc. Außerdem habe ich so viel Material von anderen heruntergeladen und kaum genutzt.

Danke nochmal für alle bisher geposteten Bilder, und ich hoffe auf mehr, obwohl jede LoRA in diesem schnelllebigen AI-Sektor eine begrenzte Lebensdauer hat und der Aufmerksamkeitsfaktor unweigerlich endet. :)

V2.0

Kleine Ankündigung zu V2.0 (02.04 oder 04.02 je nach Land)

Naja, ich bin offiziell ein Idiot.

Ich hatte angefangen, eine andere LoRA zu trainieren, als ich bemerkte, dass bei den Beispielbildern nach 2000 Schritten nichts passierte, was eigentlich unmöglich ist. Also suchte ich den Grund und entdeckte, dass ich eine Einstellung nicht zurückgesetzt (oder korrekt gesetzt) hatte: das LR-Warmup. Normalerweise nutze ich keine Warmup-Schritte, aber vorher hatte ich getestet, was das bewirkt. Das war auf einem Dataset von etwa 4 Bildern. Ich habe immer 100 Epochen eingestellt, aber es wird nach 500 Schritten ein Modell ausgegeben, nicht pro Epoche. Warmup war auf 32% gesetzt, also 4 Bilder x 10 Wiederholungen x 100 Epochen = 4000 Schritte (32% Warmup = 1280 Schritte, in denen kaum etwas passiert).

Diese LoRA hatte dieselben Einstellungen, nur mit 60 Bildern (60 x 10 x 100 = 60000 - 32% Warmup = 19200 Schritte)... also, selbst nach 12000 Schritten fing sie nicht mal an, was bedeutet, dass ich eigentlich nur heiße Luft trainiert habe. Erklärt einiges. Da ich eingeschlafen bin, bemerkte ich das nicht, obwohl es etwas verwirrend war, warum es so lange dauerte, bis überhaupt etwas passierte, was ich den Bildern selbst zuschrieb.

Ja... diese Version ist ein Reinfall und der Großteil dessen, was sie macht, stammt aus dem Merge mit V1.0.

Ich werde sie am Wochenende nochmal mit den richtigen Einstellungen trainieren, wenn ich von der Arbeit zurück bin.

Es tut mir wirklich leid. Vielleicht war es unbeabsichtigt ein Aprilscherz :) .... :(

Ein paar weitere Bilder hinzugefügt, weil ich es in letzter Zeit oft nutze und schon länger keine neue LoRA hochgeladen habe, was wohl an zu viel Arbeit liegt und der Entscheidung, nur nervenaufreibend komplizierte Themen zu wählen, die „auch“ auf die komplizierteste Weise gemacht werden müssen... alles andere wäre langweilig.

Außerdem habe ich viel Zeit in die Zerlegung von Pony gesteckt, was mich in mancher Hinsicht überrascht. Wenn man das ganze Furry-, Anime- und allgemeine Pornomaterial beiseite lässt, ist es fast noch basaler als das Base XL Modell, was gut ist, um Konzepte und Stile via LoRA-Training hinzuzufügen, aber es kennt viel komplexere Dinge wie Positionierung, Emotionen, seltsame Winkel etc... aber das ist eine ganz andere Geschichte.

Ich weiß nicht, wie viel Training ich dieses Jahr noch schaffen werde. Vielleicht zwischendurch einfacheres, aber wer weiß. AI entwickelt sich schnell, da gibt es vielleicht in einem Monat... oder einer Woche neuen Kram.

• Getestet mit gleichem Seed und Modell wie zuvor erzeugte Bilder. Die Veränderung ist in manchen Fällen subtil, in anderen extrem (jetzt weiß ich auch warum: siehe Ankündigung)

• Entschuldigung, dass ich nicht mehr Variationen in den gezeigten Bildern gemacht habe. Manchmal dauert die Vorbereitung der Bilder länger als das Training der LoRA, aber das sollte hier nicht so wichtig sein. Mehr wird sowieso natürlich folgen.

V1.0

Ich habe versucht, die KI etwas zu fordern, um zu sehen, was bei Trainingsbildern erkannt wird, die fast komplett schwarz sind und nur eine schwache Form zeigen.

Es war fast unmöglich, das Dataset in Photoshop vorzubereiten, weil ich so gut wie nichts sehen konnte. Natürlich hat jeder andere Monitoreinstellungen etc., also ist schwer zu sagen, ob die Bilder wirklich so dunkel waren, aber es war eine Belastung für meine Augen. Auch jetzt ist das Betrachten der erzeugten Bilder etwas schwer, obwohl sie nicht so dunkel sind wie die Trainingsbilder.

Ich war tatsächlich überrascht, dass das Modell überhaupt etwas aufgenommen hat. Ich werde es vorerst beiseitelegen, bis ich herausfinde, was ich damit machen möchte. Es macht definitiv einige merkwürdige Sachen. Das Einfügen generierter Bilder in ControlNet IP-Adapter verstärkt alles und erzeugt zufällige Ergebnisse.

Tipps zur Generierung:

• Ich habe keine Ahnung... viel Glück.