Anti-Blur Flux Lora - v1.0

AntiBlur Lora wurde deutlich verbessert!

Verbesserungen in der neuen Lora:

• Die Tiefenschärfe kann durch das Gewicht der Lora angepasst werden.

Ein Gewicht von 0 ergibt eine flache Tiefenschärfe, typisch für Flux-Generierungen.

Ein Standardgewicht von 1,0 reduziert die Tiefenschärfe zu einem (hoffentlich) angenehmeren Bild, ohne wesentliche Änderungen im Stil und in der Komposition. Ziel war es, dass die Tiefenschärfe bei Gewicht 1,0 genau so ist, wie man es erwarten würde: leichter guter Bokeh hier und da, ohne Übertreibungen, wie sie bei Flux oft vorkommen (dazu später mehr).

Ein Gewicht über 1,0 kann verwendet werden, um Aufnahmen mit tiefer Tiefenschärfe zu erzeugen. Die Lora kann Gewichte bis 3,0 und darüber hinaus verarbeiten, ohne dass es zu wichtigen Qualitätsverlusten kommt.

• Stilistisch neutral

Der Datensatz wurde aus Hunderten von Bildern erstellt, die mit Flux erzeugt wurden, um den Stil vom Originalmodell nicht zu weit zu entfernen, während eine kleine Anzahl echter Fotos verwendet wurde, um zu verhindern, dass Flux in der Komposition nachlässt (was passiert, wenn man KI mit ihren eigenen Bildern trainiert).

• Funktioniert gut mit Hires.fix

Diese Lora funktioniert gut mit hiresfix, sodass Details weiter erhöht und flache Tiefenschärfe minimiert werden kann. Bei einfachem Flux war das nicht der Fall, weil beim Versuch, hires.fix auf ein verschwommenes Bild mit flacher Tiefenschärfe anzuwenden, das Bild weiterhin verschwommen mit dem gleichen Tiefenschärfeeffekt blieb. Details müssen erst beginnen, im Bild aufzutauchen, damit hires.fix sie weiter verbessern kann.

• Keine Triggerwörter mehr

Verbinde einfach die Lora, und sie erledigt die Arbeit.

• Deutlich weniger Artefakte

Der Einsatz von Flux-generierten Bildern minimiert Artefakte. Ich habe viele Modelle trainiert und eine Zusammenführung der besten gemacht, mit Hilfe eines Werkzeugs von anashel. Das hat die Kanten einzelner Modelle geglättet, die zu Artefakten führten. Außerdem erwies sich die Zusammenführung als besonders nützlich, um das Modell stilistisch vielfältiger zu machen.

Warum wiegt die Lora 655 MB?

Es schien mir, dass eine Lora mit einem Effekt für "tiefe DoF" klein sein sollte, da sie keinen neuen Stil oder Konzept einführt, sondern nur flache Tiefenschärfe entfernen muss.

Ich habe verschiedene Lora-Ränge ausprobiert, aber wie sich herausstellte, sind Informationen über Hintergründe überall im latenten Raum, und je größer das Modell, desto bessere Ergebnisse liefert es. So entschied ich mich für die Lora mit Rang 128.

Es ist möglich, Loras Schichten zu isolieren und nur Schichten mit DoF-Informationen zu verwenden. Aber wie sich zeigte, sind Informationen zur Tiefenschärfe in den meisten Schichten verstreut. Zum Beispiel wird bei der Erzeugung von Makroaufnahmen die Tiefenschärfe schon in den ersten Schichten generiert. Informationen zu den Hintergründen sind wirklich überall im Modell vorhanden, und eine konstante flache Tiefenschärfe ist einfach so, wie das Trainingsmaterial für Flux aussah. Noch schlimmer ist, dass Flux Tiefenschärfe und Unschärfe konzeptionell sehr schlecht versteht. Es ist also nicht nur in viel größerer Menge als bei SD1.5/SDXL vorhanden, sondern liefert auch eine deutlich schlechtere Steuerung als SD1.5/SDXL.

Wie wurde diese Lora erstellt?

Zuerst habe ich einen großen Datensatz mit Fokus-Stacking-Techniken und tiefer Tiefenschärfe zusammengestellt, auf dem ich eine neue Lora trainierte. Anschließend habe ich mit dieser Lora Bilder für einen neuen Datensatz erzeugt.

Ich habe mehrere hundert Varianten der "antiblur" Lora erstellt, die besten mit jeweils ihren Vorteilen ausgewählt und sie zu einem gut ausbalancierten Modell kombiniert.

Wie geht es weiter?

Je höher der Rang, desto besser die Qualität. Der naheliegende Weg, das Ergebnis zu verbessern, wäre ein komplettes Finetuning (das effektiv jede Ecke des latenten Raums berührt, in der Informationen zu Hintergründen enthalten sind), und dann die Lora zu extrahieren.

Eine weitere theoretische Option wäre, das Konzept oder Gewicht "blur" oder "dof" im Flux-latenten Raum zu finden und eine Lora aus invertierten Gewichten zu machen. Diese Methode war bei SD-basierten Modellen aber nicht sehr effektiv für die DoF-Steuerung.

Im Moment bin ich mit dem Ergebnis zufrieden. Das Modell bleibt eine Weile mein bester Versuch.