SDXL / Flux.1 D - Matte (Vanta)Schwarz - Experiment - SDXL v1.0

Flux.1 D - V2.0

Letzter Versuch, es im Flux zum Laufen zu bringen... und mit "zum Laufen bringen" meine ich, so viel wie möglich kaputt zu machen. Es wird höchstwahrscheinlich nie dasselbe tun wie die SDXL-Version. Selbst nach 6000 Schritten war das allein durch Beobachtung deutlich sichtbar. SDXL ist irgendwie wie „ok, lerne es, aber ich gebe meinen eigenen Dreh daran“, während Flux heftig gegen alles ankämpft/kompensiert, womit es nicht weiß, was es tun soll oder was ich genau möchte, dass es lernt. Andererseits wird es nach langem Training definitiv diese Bilder erzeugen, und zwar so stark, dass es die Trainingsdaten 1:1 kopiert, was fast reines Schwarz ergibt. Flux kann ein Bild perfekt kopieren, wie Fotos, sogar nach nur wenigen Schritten.

Wie ich schon in der letzten Flux-Version gesagt habe, möchte ich es größtenteils mit anderen LoRAs mischen, die farbenfroher sind oder einen bestimmten Stil haben.

Die gleichen Bilder wie SDXL v.3.0 mit einigen zusätzlichen für die Flux-Version (einige im Querformat). Aber... ich habe 3 Bilder entfernt, die vermutlich für mindestens 80% der von mir oder anderen geposteten Bilder verantwortlich waren. Das wollte ich eigentlich mit der SDXL-Version machen, habe mich damals dagegen entschieden. Der Grund ist, dass diese Bilder einfach zu dominant waren und seltsames Verhalten sowie eine Verzerrung in der Bildentstehung verursachten. Das sah man in der v.1.0 Flux-Version und jetzt sind sie weg. Die Beliebtheit wird wahrscheinlich darunter leiden, aber das ist mir egal.

Ich habe das Gefühl, viele Leute benutzen eine bestimmte LoRA nur, weil sie in ihrer "Pipeline" ist, schätze ich. In manchen Fällen sehen Bilder ohne LoRA besser aus, und man würde es nie bemerken. Style-LoRAs sind eine andere Sache, denn sie fügen einen Stil hinzu, der beim Generieren der Bilder deutlich sichtbar ist. Dieses Modell hier hat jedoch viel Potenzial, alles zu verschlechtern, weshalb ich die geposteten Bilder nicht vorsortiert habe, um zu zeigen, was ich damit meine. Wenn man etwas hinzufügt, das einen starken Glüheffekt oder eine Lichtquelle hat wie eine Kerze, fügt Flux (und ein paar SDXL-Modelle) automatisch eine dunkle Umgebung hinzu, denn eine Lichtquelle braucht immer Dunkelheit, um überhaupt sichtbar zu sein (Scheinwerfer eines Autos an einem sonnigen Tag bringen nicht viel).

Und fragt nicht, ob es in NF4 oder QQUFUF Version 5.64.3255 K4 2 oder wie auch immer funktioniert. Die Datei ist nicht allzu groß, man kann es selbst testen. Ich halte Abstand zu allen diesen Modellen, es sei denn, sie bieten mehr Vorteile als eine normale FP8/16 Dev-Version, also mehr als nur geringeren Speicherverbrauch und/oder vernachlässigbare Geschwindigkeitssteigerung (oder sogar Verschlechterung).

Ich weiß, wie nervig es sein kann, wenn jemand in kurzer Zeit eine neue Version irgendeiner Modellart veröffentlicht, wenn man sich gerade daran gewöhnt hat. Ich werde dieses hier nicht weiter verfolgen und einfach sehen, ob ich oder jemand anderes etwas Nützliches daraus gewinnt.

Außerdem lohnt sich der Aufwand, die Bilder in Photoshop vorzubereiten, nicht wirklich, besonders wenn man weiß, dass sich dadurch nichts ändert. Lieber etwas Neues machen oder etwas Dummes, was interessant ist oder zufällige Effekte erzeugt... oder einfach alte Modelle "fluxifizieren", um zu sehen, was passiert.

Flux.1 D - V1.0

Nach einigem Herumprobieren mit Kohya und anderen, zu meiner Überraschung erfolgreichen Tests mit ziemlich seltsamen Konzept-LoRAs für Flux, dachte ich, ich gebe diesem hier eine Chance, um zu sehen, ob es funktioniert. Eigentlich war es nicht mein Ziel, eine Flux-Version zu bekommen, da Flux größtenteils gut mit Kontrast zurechtkommt. Mein Hauptziel war es vielmehr, diesen gefürchteten künstlichen/falschen Look loszuwerden, und ich dachte, ein derart "undefiniertes" Datenset könnte das bewirken. Nun, es funktioniert manchmal oder macht es sogar schlimmer.

Wie die SDXL-Version ist es eher dafür gedacht, mit anderen LoRAs verwendet zu werden, besonders solchen, die viel Farbe hinzufügen.

Entschuldigung, dass ich bei Prompts und Bildern etwas faul war. Ich habe im Grunde dieselben Sachen verwendet wie bei V.3.0, aber es sollte für Showcase-Zwecke vorerst reichen. Manchmal verschwindet das Detail und es wird nichts besonders Interessantes hinzugefügt (zum Beispiel das Quallenbild oder der Papagei).

• Gleicher Seed für entsprechende Bilder

• Die ersten 2 Bilder sind mit und ohne LoRA, danach umgekehrt, also erst ohne, dann mit LoRA (manchmal mit unterschiedlicher Stärke)

• Manche haben das Triggerwort am Anfang, aber ich bezweifle, dass das bei Flux nötig ist

• Basierend auf dem V1.0 Datensatz, nicht dem neuen (wollte nicht zu viele Bilder verwenden)

Ich bin mir nicht sicher, ob ich noch mehr LoRAs für Flux machen will, aber ich werde einiges testen. Es ist im Moment wirklich verwirrend mit all den verschiedenen Versionen, und es fühlt sich nicht lohnenswert an, viel Zeit in etwas zu investieren, das 10 Stunden später veraltet sein könnte.

Und noch ein Hinweis am Rande: Trainiert wurde mit einer 4060 TI (16 GB), mit maximal 14,4 bis 15,2 GB VRAM, 3,95s/it - 5,15s/it, 512x, Rank 4.... also, keine 4090 nötig hier. Natürlich wäre es schneller, aber wenn man einfach starten und nebenbei etwas anderes machen kann, ist das kein wirkliches Problem, außer man will etwas testen.

Wie immer werde ich es hier und da verwenden, um zu sehen, ob ich etwas Sinnvolles daraus herausholen kann. Wahrscheinlicher ist es nur etwas, um meine Neugier zu befriedigen.

V.3.0

Nach meinem kleinen Malheur mit v2.0 habe ich sichergestellt, dass es diesmal echte Sache ist, ohne Mergen oder ähnliches. Ich war anfangs etwas skeptisch wegen der Anzahl der hinzugefügten Bilder, ob es zu stark von der ersten Version abweicht, aber zum Glück tat es das nicht.

Ich freue mich wirklich, dass viele Leute einen Nutzen für diese LoRA gefunden und so viele Bilder gemacht haben. Obwohl es nie dafür gedacht war, das zu tun, was es jetzt macht, ist es schön zu sehen, dass es einen anderen Zweck hat oder sagen wir, für etwas anderes eingesetzt werden kann (wie alle LoRAs).

Dies wird wahrscheinlich (höchstwahrscheinlich) die letzte Version für lange Zeit sein, denn nur durch Hinzufügen weiterer Bilder wird der Haupteffekt nicht verändert. Das meiste wird sowieso durch unterschiedliche Modelle, LoRA-Kombinationen und Prompts erreicht.

Ich werde mich mehr darauf konzentrieren, tatsächlich Bilder zu erstellen, um mehr Kombinationen zu finden (und mich etwas zu entspannen), neue seltsame LoRAs zu machen, alte zu reparieren etc. Außerdem habe ich so viele andere Sachen von Leuten heruntergeladen und hatte meist keine Gelegenheit, diese zu verwenden.

Danke nochmals für alle bisher geposteten Bilder, und ich hoffe, noch mehr zu sehen, obwohl jede LoRA in diesem schnelllebigen KI-Bereich eine begrenzte Lebensdauer hat und der „Fancy“-Faktor zwangsläufig endet. :)

V2.0

Kleine Ankündigung zu V2.0 (02.04 bzw. 04.02, je nach Land)

Nun, ich bin offiziell ein Idiot.

Ich habe angefangen, eine weitere LoRA zu trainieren, als mir auffiel, dass in den Beispielbildern selbst nach 2000 Schritten nichts passiert ist, was eigentlich unmöglich ist. Also suchte ich nach dem Grund und sah eine Einstellung, die ich nicht zurückgesetzt (bzw. auf die richtige Einstellung gesetzt) hatte: LR Warmup. Normalerweise benutze ich keine Warmup-Schritte, aber bei vorherigen Tests habe ich ausprobiert, was das wirklich bewirkt. Das war bei einem Datenset von etwa 4 Bildern. Ich stelle immer 100 Epochen ein, aber das Modell wird alle 500 Schritte ausgegeben, nicht pro Epoche. Warmup war auf 32% gesetzt, also 4 Bilder x 10 Wiederholungen x 100 Epochen = 4000 Schritte (32% Warmup = 1280 Schritte, in denen nicht viel passiert).

Jetzt hatte diese LoRA ähnliche Einstellungen, aber mit 60 Bildern (60 x 10 x 100 = 60000 - 32% Warmup = 19200 Schritte)... also, selbst nach 12000 Schritten hatte es noch nicht wirklich angefangen, was bedeutet, dass ich im Prinzip nur heiße Luft trainiert habe. Erklärt einiges. Da ich eingeschlafen bin, habe ich es nicht bemerkt, obwohl es merkwürdig war, dass es so lange dauerte, bis überhaupt etwas wirkte; ich dachte, es läge an den Bildern selbst.

Ja... diese Version ist also ein Reinfall, und das meiste, was sie tut, kommt vom Mergen mit V1.0.

Ich werde sie am Wochenende neu trainieren, wenn ich von der Arbeit zurück bin, diesmal mit den richtigen Einstellungen.

Es tut mir wirklich leid. Vielleicht war das nur ein unbeabsichtigter Aprilscherz :) .... :(

Ich habe noch ein paar weitere Bilder hinzugefügt, da ich es in letzter Zeit häufig benutze und seit einiger Zeit keine neue LoRA hochgeladen habe – das liegt vor allem daran, dass ich viel zu tun hatte und mir nur nervenaufreibende, komplizierte Themen ausgesucht habe, die zudem auf die umständlichste Weise erstellt werden mussten... alles andere wäre langweilig.

Außerdem habe ich viel Zeit damit verbracht, Pony auseinanderzunehmen, was mich in mancher Hinsicht überrascht hat. Wenn man sämtlichen Furry-, Anime- und generellen Pornokram weglässt, ist es fast noch grundsätzlicher als das Base XL Modell, was gut für das Hinzufügen von Konzepten und Stilen via LoRA-Training ist, aber viel komplexere Dinge wie Positionierung, Emotionen, seltsame Winkel etc. kennt... aber das ist eine ganz andere Geschichte.

Ich weiß nicht, wie viel Training ich dieses Jahr noch schaffe. Vielleicht mache ich zwischendurch einfachere Dinge, aber wer weiß. KI entwickelt sich schnell, also könnte schon in einem Monat... oder einer Woche etwas Neues kommen.

• Ich habe denselben Seed und dasselbe Modell mit zuvor generierten Bildern getestet. Die Veränderung ist in manchen Fällen subtil und in anderen extrem (und jetzt weiß ich warum: siehe Ankündigung)

• Entschuldigung auch, dass ich in den gezeigten Bildern nicht mehr Varianten gemacht habe. Manchmal dauert die Vorbereitung der Bilder länger als das Training der LoRA, aber das sollte hier nicht allzu sehr ins Gewicht fallen. Weitere Sachen werden sowieso natürlich folgen.

V1.0

Ich habe versucht, die KI etwas zu pushen, um zu sehen, was sie aus fast komplett schwarzen Trainingsbildern mit nur schwachen Konturen aufnimmt.

Es war fast unmöglich, das Datenset in Photoshop vorzubereiten, da ich praktisch nichts sah. Natürlich hat jeder andere Monitoreinstellungen, daher ist schwer zu sagen, ob diese Bilder wirklich so dunkel waren, aber es hat meine Augen sehr belastet. Selbst jetzt ist es etwas schwierig, die generierten Bilder anzuschauen, obwohl sie nicht so dunkel sind wie die Trainingsbilder.

Ich war eigentlich überrascht, dass das Modell überhaupt etwas gelernt hat. Ich werde es erst einmal beiseitelegen, bis ich herausgefunden habe, was ich damit machen soll. Es macht sicherlich einige seltsame Sachen. Irgendwie verbessert das Einbinden der generierten Bilder in ControlNet IP-Adapter alles und erzeugt zufällige Resultate.

Tipps zum Generieren:

• Ich habe keine Ahnung... viel Glück.