Anti-blur Flux Lora - v1.0

AntiBlur Lora è stata migliorata significativamente!

Miglioramenti nella nuova Lora:

• La profondità di campo può essere regolata tramite il peso della Lora.

Quindi un peso di 0 darà una DoF superficiale, tipica delle generazioni Flux.

Un peso predefinito di 1.0 ridurrà la DoF a un'immagine (sperabilmente) più gradevole, senza cambiamenti significativi di stile e composizione. L'obiettivo era ottenere una DoF a peso 1.0 esattamente come ci si aspetterebbe: un leggero e buono bokeh qua e là, senza esagerazioni come spesso accade con Flux (di questo si parlerà più avanti)

Un peso superiore a 1.0 può essere usato per ottenere scatti con DoF profonda. La Lora può gestire pesi fino a 3.0 e oltre senza degradazione significativa della qualità.

• Neutrale dal punto di vista stilistico

Il dataset è stato realizzato con centinaia di immagini create con Flux, per non allontanare troppo lo stile dal modello originale, mentre un piccolo numero di foto reali è stato usato per evitare che Flux degradasse in composizione (cosa che accade quando si addestra l’AI sulle sue stesse immagini)

• Si abbina bene con Hires. fix

Questa Lora funziona bene con hiresfix, permettendo di aumentare ulteriormente i dettagli e minimizzare la DoF superficiale. Questo non era possibile con Flux base, perché tentando di applicare hires. fix a un'immagine sfocata con DoF superficiale, sarebbe rimasta sfocata con lo stesso effetto DoF. Sono necessari dettagli che comincino ad apparire nell'immagine per permettere a hires.fix di migliorarli ulteriormente.

• Niente più parole trigger

Basta collegare la Lora e farà il suo lavoro

• Meno artefatti

L’uso di immagini generate da Flux minimizza gli artefatti. Ho anche addestrato molti modelli e fatto una fusione dei migliori, usando uno strumento fornito da anashel (che ha smussato i bordi dei singoli modelli che causavano artefatti. Inoltre, la fusione è risultata particolarmente utile per rendere il modello più stilisticamente vario.)

Perché la Lora pesa 655mb

Sembrava che una Lora con effetto essenzialmente “deep DoF” dovesse essere piccola, dato che non introduce uno stile o concetto nuovo, ma deve solo rimuovere la DoF superficiale.

Così ho provato diversi ranghi di Lora, ma si è scoperto che le informazioni sugli sfondi sono ovunque nello spazio latente, e più grande è il modello, migliori sono i risultati. Così ho optato per la Lora a rango 128.

È possibile isolare gli strati della Lora e usare solo quelli contenenti informazioni DoF, ma si è rivelato che le informazioni DoF sono distribuite praticamente in tutti gli strati. Ad esempio, nelle macro, la DoF viene generata dagli strati iniziali. Le informazioni sugli sfondi sono davvero ovunque nel modello, e la DoF superficiale costante riflette com’era il dataset di training per Flux. Per peggiorare la situazione, Flux ha una comprensione concettuale molto limitata di DoF e sfocatura. Quindi, non solo essa è presente in quantità molto maggiore rispetto a SD1.5/SDXL, ma il controllo su di essa è anche peggiore rispetto a SD1.5/SDXL.

Come è stata fatta questa Lora

Innanzitutto ho creato un enorme dataset con tecniche di focus stacking e DoF profonda, su cui ho addestrato la nuova Lora. Poi, utilizzando questa Lora, ho generato immagini per un nuovo dataset.

Ho ottenuto diverse centinaia di varianti della Lora "antiblur"; ho selezionato le migliori, ciascuna con i suoi vantaggi, e le ho combinate in un modello ben bilanciato.

Cosa c’è dopo?

Dato che più alto è il rango, migliore è la qualità, il modo più ovvio per migliorare il risultato sarebbe fare un fine-tuning completo (toccando effettivamente ogni angolo dello spazio latente dove sono presenti informazioni sugli sfondi) e poi estrarre la Lora.

Un’altra opzione teorica è trovare il concetto/pesi "blur" o "dof" nello spazio latente di Flux e creare una Lora con i pesi invertiti. Tuttavia questo metodo non si è rivelato molto efficace per il controllo DoF nei modelli basati su SD.

Per ora però sono soddisfatto del risultato. Il modello rimarrà il mio miglior sforzo per un po'.