Tief unter einem Berg lebt ein schlafender Riese, der entweder der Menschheit helfen oder Zerstörung verursachen kann...

Ein Koloss erhebt sich...

Nach meiner SDXL-Serie ist es nun Zeit für die FLUX-Serie dieses Projekts... Diesmal habe ich das Ganze von Grund auf trainiert. Für das Training habe ich meine eigenen Bilder verwendet. Ich habe diese mit meinem schnellen Flux-Modell DemonFlux/Colossus Project schnell + meinem SDXL Colossus Project 12 als Verfeinerer erstellt.

Dieses SD Flux-Checkpoint kann nahezu alles erzeugen.. Colossus ist sehr gut darin, extrem realistische Bilder, Anime und Kunst zu schaffen.

Wenn es dir gefällt, gib mir gerne Feedback. Wenn du mich unterstützen möchtest, kannst du das hier tun. Ich habe einiges Geld investiert, um einen Computer zu bauen, der in der Lage ist, Flux-Modelle wirklich zu trainieren.. Das Training und Testen benötigt auch viel Zeit und Strom..

https://ko-fi.com/afroman4peace

Version V12 „Hephaistos“

Es macht mich gleichzeitig glücklich und traurig, diesen Checkpoint zu veröffentlichen.. V12 wird der letzte Checkpoint dieser Serie sein.. Der Hauptgrund sind die bevorstehenden EU-KI-Gesetze... Ein weiterer Grund ist die Lizenz von Flux .1 DEV selbst. Vielen Dank für die Unterstützung! Ich habe viel Zeit in dieses Projekt im letzten Jahr investiert. Nun ist es Zeit, zu einem anderen Projekt überzugehen.

Wie auch immer.. ich werde diese Serie mit einem Höhepunkt beenden...

V12 basiert auf V10B „BOB“, enthält jedoch im Wesentlichen die besten Teile dieser Serie, zusammengeführt in diesem einen Checkpoint. (Es war das Ergebnis einer neuen Zusammenführungsmethode, die ca. 1:30 Stunden dauerte und meinen gesamten 128GB RAM beanspruchte). Ich habe auch die Gesichts- und Hauttexturen im Vergleich zu V10 verbessert. Die Augen sind viel realistischer und „lebendiger“ als zuvor.

Testet es selbst und gebt mir Feedback zu V12. Dank meiner langsamen Internetverbindung werde ich zuerst das FP8_UNET hochladen. Danach die FP8 „All-in-One“-Version und dann FP16_unet und FP16_BEHEMOTH. Ich werde auch versuchen, es in int4 und fp4 zu konvertieren (wünscht mir Glück dabei)

Wie immer gebt mir etwas Feedback zu V12..

Version V12 „Behemoth“ (AIO)

Dieses „All-in-One“-Modell ist das Beste meiner V12-Serie.. und natürlich das größte vom Umfang her :-)

Der Behemoth hat ein eigenes T5xxl und Clip_l im Modell integriert. Wenn du Qualität über Quantität bevorzugst, ist dies der Checkpoint für dich!

Version V12 FP4/int4

Dank Muyang Li von Nunchakutech, der die Quantifizierung von V12 durchgeführt hat. https://huggingface.co/nunchaku-tech und ihren großartigen Nunchaku!

Diese Version ist wirklich beeindruckend. Sie kombiniert Qualität mit bisher ungeahnter Geschwindigkeit.

ACHTUNG!

Es gibt zwei Versionen: FP4 und int4. FP4 ist nur für Nvidia 50xx Grafikkarten! Int4 funktioniert mit 40xx und darunter. (Mindestens eine Grafikkarte der 20xx-Serie wird benötigt)

Du kannst beide Versionen auch direkt hier herunterladen: https://huggingface.co/nunchaku-tech/nunchaku-flux.1-dev-colossus

INSTALLATIONSHANDBUCH und WORKFLOW

Hier ist eine schnelle Installationsanleitung und ein WIP-Workflow.

https://civitai.com/articles/17313

Dabei arbeite ich noch an neuen Workflows für Nunchaku.. der folgende Workflow ist deshalb noch ein WIP (Work in Progress). Ich werde am Wochenende einen ausführlichen Artikel hinzufügen.

Version V12 FP16_B_Variante

Aus Versehen habe ich spät nachts (2 Uhr) den „falschen“ Checkpoint umbenannt und hochgeladen. Es ist ein sehr experimenteller Checkpoint, nicht zur Veröffentlichung gedacht. Er ist nicht ausgiebig getestet, hat aber bei der Showcase-Erstellung sehr gut performt. Er könnte besser sein als die Standardversion.

Er tendiert dazu, eher asiatischere Gesichter zu bevorzugen.. Das liegt daran, dass ich etwas testen wollte, das ich in ein Seitenprojekt einmischen will, an dem ich noch arbeite. Berichtet mir von euren Erfahrungen mit diesem Checkpoint :-)

Version V12 AIO FP8

Diese Version ist eine All-in-One Variante von V12. Das bedeutet, dass alle Clips darin eingebettet sind. Die Ausgabe entspricht dem FP8_unet mit meinem angepassten clip_l.

Version V12 GGUF Q5_1

Diese Version wurde auf Wunsch erstellt. Die Qualität ist nicht schlecht..

Version V10B „BOB“

Dies ist eine alternative Version von V10. Ich habe sie erstellt, um die FP8-Version von V10 zu verbessern. Im Allgemeinen ist die FP8-Version präziser und die Farben besser. Leider hatte ich zuletzt wenig Zeit.. (Real Life geht vor). Deshalb hat es so lange gedauert.. Lasst mich wissen, ob ihr diese Version bevorzugt. Ich habe auch eine FP16-Version von „BOB“. Je nach Feedback werde ich auch eine int4-Version veröffentlichen.

WORKFLOW:

Hier ist der Workflow für V12 und V10: https://civitai.com/articles/17163

Version V10_int4_SVDQ „Nunchaku“

Zuerst möchte ich demunlikely danken: https://huggingface.co/theunlikely, der das FP16_Unet in int4_SVDQ konvertiert hat. Besucht seine Seite und gebt ein Like.

Diese Version ist mehr oder weniger gleichwertig zur FP8-Version. Selbst im normalen Modus meines Workflows ist sie etwa 2X-3X schneller als das reguläre Modell.. Mit dem „schnellen Modus“ des Workflows kann ich ein 2MP-Bild in etwa 19 Sekunden mit meiner 3090ti rendern.

Was ist SVDQ „Nunchaku“?

Diese neue Quantifizierungsmethode ermöglicht es, Flux-Modelle (in diesem Fall ein natives FP16-Modell) von 24GB auf etwa 6,7GB zu verkleinern. Aber das ist nicht alles: Du kannst schneller als je zuvor generieren, ohne zu viel Qualität zu verlieren. Sicher, man sieht einen kleinen Unterschied zum 32GB_Behemoth, aber für diesen brauchst du viel mehr VRAM/RAM, um ihn überhaupt auszuführen.

Weitere Infos unter: https://github.com/mit-han-lab/ComfyUI-nunchaku?tab=readme-ov-file

Installation: Bitte besuche mein Workflow/Installationshandbuch: https://civitai.com/articles/15610

Version V10 „Behemoth“ (FP16_AIO)

Diese Version ist noch experimentell. Der Fokus lag darauf, realistischere Ergebnisse zu erzielen. Außerdem ist es mir gelungen, einige „Flux Lines“ zu reduzieren. Dieses Modell basiert auf Colossus Project V5.0_Behemoth, V9.0 und einem weiteren Projekt namens „Ouroborus Project“

Die FP16-Version ist sehr stabil. Ich veröffentliche bald auch eine FP8-Version. Diese ist ebenfalls gut, aber nicht so stabil..

Ich lasse dich gerne experimentieren.. Sag mir, was du von dieser Version hältst.

Viel Spaß beim Erstellen :-)

Version V9.0:

Ich muss einiges erklären.. Warum ist es überhaupt V9.0?

Ich bin kürzlich in eine neue Wohnung gezogen und wegen Fehlern des Internetanbieters hatte ich keine richtige Internetverbindung.. Während des Umzugs habe ich den Computer laufen lassen. Das Ergebnis sind viele (meist beschädigte) Checkpoints. Einige sehr gute V8-Versionen habe ich trotzdem, die ich möglicherweise noch veröffentliche..

Was hat sich geändert?

Ich habe neue Gesichter und Hauttexturen ins Modell trainiert, hauptsächlich basierend auf den besten Ergebnissen von V5.0. Außerdem hat das Modell Training für Füße/Beine für bessere Anatomie erhalten. Die V5.0-Versionen haben manchmal Kopf und Füße abgeschnitten.. Ich denke, ich konnte einige dieser Probleme beheben..

Zusätzlich habe ich mehr meiner eigenen Landschaftsbilder verwendet.. Und ja, das alles während des Umzugs.. Die gesamte Trainingszeit betrug etwa zwei Wochen Rechenzeit, was nicht billig ist.. (jede Stunde kostet mich ungefähr 25 Cent Strom)

Ich hoffe, die Version gefällt euch.. Wenn ihr mich unterstützen wollt: Postet schöne Bilder oder gebt mir einen Tipp über Buzz oder Ko-fi..

Lasst mich wissen, was ihr davon haltet :-)

Version 5.0:

V5.0 basiert eigentlich auf V4.2 und V4.4 (was ebenfalls bald veröffentlicht wird). Es wurde zusätzlich auf Hautdetails und Anatomie im Allgemeinen trainiert, was hauptsächlich Probleme mit Händen und Brustwarzen behoben hat. Die Gesichtsdaten sind deutlich besser. Ich habe auch versucht, einige kleinere Flux Lines zu beheben..

Insgesamt ist diese Version realistischer als V4.2 und besser bei kleinen Details.. Wie Version 4.2 ist diese Version ebenfalls ein hybrides, de-distilliertes Modell. Du kannst es grundsätzlich mit den gleichen Einstellungen wie V4.2 verwenden.

Hier gibt es auch einen neuen Workflow zum Ausprobieren: https://civitai.com/articles/11950/workflow-for-colossus-project-flux-50

Lasst mich wissen, wie ihr diese Version im Vergleich zu 4.2 oder V2.1 findet..

Version 4.4 „Research“:

Ich habe diese Version zur Vollständigkeit hinzugefügt.. Sie ist etwas realistischer als V4.2 und die Basis für Version 5.0. Ihr könnt sie gerne ausprobieren. Ihr könnt auch den Workflow für V5.0 und V4.2 nutzen..

Version 4.2:

Diese Version ist im Grunde eine Weiterentwicklung von Demoncore Flux und Colossus Project Flux. Das Ziel war, stabilere Ergebnisse mit besseren Hauttexturen, besseren Händen und größerer Gesichtsauswahl zu erzielen. Deshalb habe ich sie auf einem hybriden Modell trainiert, das teilweise Demoncore Flux ist. Ich habe auch Brustwarzen und NSFW etwas verbessert. Sagt mir, ob ihr V4.2 gegenüber Version 2.1 bevorzugt :-)

Für die Showcase-Bilder habe ich nur native Bilder mit SDXL-Auflösung oder 2MP-Auflösung (z.B. 1216x1632) verwendet. Dieses Modell kann auch höhere Auflösungen verarbeiten.. Ich habe diesen Checkpoint bis zu 2500x2500 getestet, empfehle aber ca. 2000x2000.

Für die Einstellungen empfehle ich etwa 30 Schritte und 2-2,5 cfg. Ich verwende meist 2,2 oder 2,3 in meinem Workflow. Für die Showcase habe ich DPM++ 2M mit Simple Scheduler verwendet.

Ich werde bald weitere Versionen hinzufügen, habe aber vor Weihnachten wenig Zeit..

Einstellungen

Ich werde bald einen neuen dedizierten Comfy-Workflow hinzufügen. Ihr könnt aber vorerst die Showcase-Bilder herunterladen und öffnen..

Die „All-in-One“-Version funktioniert auch gut mit Forge..

Grundsätzlich funktionieren die gleichen Einstellungen wie Version 2.1 (siehe unten)

Empfohlen sind 20-30 Schritte mit ca. 2,2 cfg..

Version 2.1_de-distilled_experimental (MERGE)

Diese Version ist komplett anders und funktioniert tatsächlich anders als ein normales Flux-Modell!

Es ist ein experimentelles Merge zwischen meiner Version 2.0 und einer de-distillierten Version https://huggingface.co/nyanko7/flux-dev-de-distill. Das entstand ein bisschen zufällig, aber die Ergebnisse sind beeindruckend. Du bekommst unglaubliche Details und das Modell folgt den Prompts extrem gut... Der nächste Schritt ist, direkt am de-distillierten Modell zu trainieren. Ich habe bereits einige Test-Loras damit gemacht. Das ist hoch experimentell, also gib bitte Bescheid, wenn du Fehler findest, die unten nicht gelistet sind. Wenn du gute Bilder hast, poste sie.. auch schlechte, das hilft die Sache zu verbessern :-). Vielleicht teste auch Version 2.0 und sag mir, welche Checkpoint-Art dir besser gefällt.

Achtung!

Der normale Flux-Workflow funktioniert bei dieser Version nicht. DU MUSST meinen Workflow dafür herunterladen!

Du kannst dir natürlich auch selbst etwas zusammenbasteln, aber bitte beschwere dich nicht über schlechte Bilder. Das ist ein hoch experimentelles Modell... siehe Nachteile unten..

Vor- und Nachteile dieses Checkpoints:

• Dieser Checkpoint kann extrem viele Details erzeugen.. Das hat seinen Preis.. Er ist langsamer als die normalen Flux-Checkpoints. Der Vorteil ist, dass du oft kein zusätzliches Upscale brauchst. Statt des Flux Guidance nutzt dieses Modell die cfg-Skala. Das bedeutet aber auch, dass normale Workflows nicht funktionieren.

• Negative Prompts sind möglich! Dies hilft, unerwünschte Elemente aus dem Bild zu entfernen.

• Manchmal können Artefakte auftreten.. Dies lässt sich durch einfaches Upscaling beheben (ich arbeite daran). Hier ein Beispiel.. Das passiert seltsamerweise nicht bei jedem Seed.. UPDATE: Das liegt nicht am Modell selbst, sondern am Workflow.. Ich arbeite an einer Lösung. Sollte das auftreten, versuche, den ersten Upscale-Wert von 1.2 auf 1.14 zu setzen.

  

  

Einstellungen und Workflow V2.1:

Hier findest du den Workflow dazu: https://civitai.com/articles/8419

Einstellungen: Anders als beim normalen Flux brauchst du hier nicht die Flux Guidance-Skala. Nutze stattdessen cfg. Ich verwende meist 3 cfg für den Workflow.. Manche Bilder könnten niedrigere cfg-Werte brauchen

Das Wichtigste ist, die Flux Guidance-Skala auszuschalten..

Ohne Workflow habe ich mit 30 Schritten und 2-3 cfg getestet. Das könnte auch die Einstellung für Forge sein. Experimentiere gerne.

Verwende das Wort „blurry“ in den negativen Prompts.

Sampler und Scheduler:

Folgende Sampler funktionieren gut:

Euler, Heun, DPM++2m, denoise, DDIM funktionieren sehr gut.

Ich nutze meist „simple“ als Scheduler.

Wenn du bessere Einstellungen findest, sag mir Bescheid.. :-)

Für Forge empfehle ich das AIO-Modell.. Hier ein Beispiel für Forge-Einstellungen:

Version 2.0_dev_experimental

Dies ist eine experimentelle Version.. Ziel war es, ein kohärenteres und schnelleres Modell zu schaffen. Ich habe zusätzliche, selbst trainierte Loras eingearbeitet und die resultierenden Modelle auf spezielle Weise (Tensor-Merge) kombiniert. Es hat ein eigenes T5xxl, das ich mit „Attention Seeker“ modifiziert habe. Zur Steigerung der Geschwindigkeit und Qualität habe ich das Hyper Flux Lora von ByteDance integriert. Das verschob den Arbeitsbereich.. Hier das Haupttitelbild..

16 Schritte V 2.0

30 Schritte V 1.0

Nachteile:

Diese Version ist etwas größer als die letzte.. Außerdem muss ich noch die reine Unet-Version erstellen. Ich werde das aktualisieren, sobald es fertig ist..

Einstellungen und Workflow V2.0:

Das Modell läuft jetzt mit weniger Schritten.. 16 Schritte entsprechen 30 Schritten des alten Modells.

Ich empfehle immer noch 20-30 Schritte, da dies meist zu höherer Qualität führt.

Sampler: Ich bevorzuge Euler mit Simple Scheduler. Die Guidance liegt meist zwischen 1,5-3 (du kannst sie natürlich auch anders testen). Eine Guidance von 1,8 funktioniert gut für realistische Bilder. Andere Sampler wie DPM++2M und Heun funktionieren auch sehr gut.

Workflow 2.0:

Ich habe einen neuen Workflow für V2.0 und V1.0 erstellt. Dieser enthält den neuen Flux Prompt Generator. Zusätzlich funktioniert die zweite Hochskalierungsstufe. https://civitai.com/articles/7946

Forge:

Ich habe dieses Modell auch mit Forge getestet, das sehr gut funktioniert.. Die Bilder können zwischen Comfy UI und Forge allerdings leicht variieren..

Version 1.0_dev_beta:

Dies ist mein erster Einstieg in die Serie. Bitte gebt mir Feedback und postet Bilder. Das hilft, das Projekt zu verbessern. Es gibt mehrere Versionen zur Auswahl. Die qualitativ beste Version ist die FP16-Version. Diese ist jedoch sehr groß und benötigt eine kräftige Grafikkarte und viel RAM. Die FP8-Version ist für mich eine gute Balance zwischen Qualität und Leistung. Für die GGUF-Version ladet die Q8_0 herunter. Die GGUF Q4_0/4.1 Versionen wurden gewünscht. Sie sind klein, aber es geht etwas Qualität verloren.

Grundsätzlich gibt es zwei Typen meiner Modelle: „All-in-One“-Modelle, die nur eine Datei benötigen. Diese enthalten Clip_l, T5xxl fp8 und VAE eingebettet. (Unten ein Beispiel). Diese in den Checkpoints-Ordner legen.

Die anderen Versionen sind die reinen UNET-Modelle. Hier müssen alle Dateien separat geladen werden.

Auf jeden Fall musst du mein Clip_L downloaden, damit diese Modelle richtig funktionieren..

Wichtig ist auch, den richtigen T5xxl Clip auszuwählen. Für die FP8-Version ist es der fp8_e4m3fn t5xxl Clip. Für FP16 der FP16 Clip. Achte darauf, den Standardgewichtstyp zu wählen. (Unten ein Beispielbild für die fp8-Version)

Für die GGUF-Version benötigst du den GGUF-Loader!

Bekannte Fakten zu V1.0:

Dies ist nur das erste Modell der Serie, daher hat es mit manchen Prompts oder Stilen wie Kunst noch Mühen. Die nächste Version erhält mehr Training. Sag mir Bescheid, was das Modell nicht gut kann..

Einstellungen und Workflow:

Ich habe mit etwa 30 Schritten, Euler und Simple Scheduler getestet. Die Guidance ist zwischen 1,5 und 3 einstellbar (du kannst auch außerhalb des Bereichs testen).

1,8 funktioniert gut für realistische Bilder.

Experimentiere gern mit diesen Einstellungen. Wenn du gute Resultate erzielst, poste diese bitte.

Ich habe die Showcase-Bilder als Trainingsdaten verwendet.. Der Workflow für Comfy ist darin enthalten. Hier kannst du ihn herunterladen: https://civitai.com/articles/7946

„All-in-One“-Modell:

Nur UNET:

Du musst auch den Clip_L herunterladen. Das ist die 240MB-Datei.

GGUF: Den Workflow für GGUF findest du hier: https://civitai.com/articles/7946

Wichtig:

Das Dev-Modell ist nicht für kommerzielle Nutzung gedacht. Dafür werde ich das „schnell“-Modell an einem anderen Ort veröffentlichen. Es ist eher für private oder wissenschaftliche Zwecke vorgesehen.

LIZENZ:

https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/LICENSE.md

Danksagungen:

theunlikely https://huggingface.co/theunlikel (nochmals Danke)

Version 2.1/V4.2/5.0: Flux_dev_de-distill von nyanko7

https://huggingface.co/nyanko7/flux-dev-de-distill

Ab V2.0: Hyper Lora von ByteDance https://huggingface.co/ByteDance/Hyper-SD

Black Forrest für ihr großartiges Flux-Modell https://huggingface.co/black-forest-labs