SDXL / Flux.1 D - Opaco (Vanta)Nero - Esperimento - Flux.1 D v2.0

Flux.1 D - V2.0

Ultimo tentativo per farlo funzionare in Flux... e con funzionare intendo incasinare le cose il più possibile. Probabilmente non farà mai la stessa cosa della versione SDXL. Anche dopo 6000 passaggi e solo osservando era abbastanza ovvio. SDXL è un po’ come "ok, imparerò, ma ci metterò del mio" mentre Flux combatte/compensa furiosamente contro qualsiasi cosa non sappia come gestire o cosa voglia imparare esattamente. D’altra parte, dopo un lungo addestramento produrrà assolutamente quelle immagini in modo molto preciso, fino a copiare i dati di addestramento 1/1, risultando quasi puramente nero. Flux può copiare un’immagine perfettamente, come fotografie, anche dopo pochi passaggi.

Come detto nell’ultima versione di Flux, è per la maggior parte qualcosa da mixare con altri LoRA più colorati o con uno stile definito.

Stesse immagini della versione SDXL v.3.0 con diverse aggiunte per la versione Flux (alcune in formato paesaggio). Però... ho rimosso 3 immagini probabilmente responsabili di almeno l’80% delle immagini postate da me o altri. Era qualcosa che volevo fare con la versione SDXL, ma avevo deciso di no all’epoca. Il motivo è che quelle immagini erano troppo dominanti, causando comportamenti strani e un bias che portava a creare immagini specifiche. L’ho visto nella versione Flux v.1.0 e ora non ci sono più. La popolarità probabilmente ne risentirà, ma non mi interessa.

Credo che molte persone usino certi LoRA semplicemente perché sono nel loro "flusso di lavoro". In certi casi le immagini senza LoRA risultano migliori e non si noterebbe mai. I LoRA di stile sono diversi, perché aggiungono uno stile che si nota chiaramente. Questo modello invece ha il potenziale di peggiorare tutto, perciò non ho selezionato con cura le immagini che ho postato, per mostrare cosa intendo. Se aggiungi qualcosa con un forte bagliore o una fonte di luce come una candela, Flux (e alcuni modelli SDXL) aggiunge un ambiente scuro da solo, perché una fonte di luce ha sempre bisogno di un po’ di oscurità per essere percepibile (un faro di auto in pieno sole non ha molto effetto).

E non chiedete se funziona nelle versioni NF4 o QQUFUF 5.64.3255 K4 2 o chissà cosa. Il file non è così grande, potete testarlo voi stessi. Rimarrò distante da questi modelli a meno che non offrano vantaggi evidenti rispetto a una normale versione FP8/16 Dev oltre al solo minor consumo di memoria e/o un aumento di velocità trascurabile (o peggio una diminuzione).

So quanto può essere fastidioso quando qualcuno rilascia una nuova versione di un modello in poco tempo proprio quando ti abitui alla precedente. Non continuerò a perseguire questo progetto e vedrò se io o qualcun altro tireremo fuori qualcosa di utile.

Inoltre, il lavoro per preparare le immagini in Photoshop non vale la pena, specialmente sapendo che non cambierà nulla. Meglio fare qualcosa di nuovo, o più probabilmente stupido, interessante o che crea effetti casuali... oppure "fluxificare" vecchi modelli per vedere cosa succede.

Flux.1 D - V1.0

Dopo qualche esperimento con Kohya e altri, con test sorprendenti su LoRA concettuali piuttosto strani per Flux, ho deciso di provare questo per vedere se funziona. In realtà non era mia intenzione ottenere una versione Flux, dato che Flux fa un buon lavoro sul contrasto (per la maggior parte). Il mio obiettivo principale era sbarazzarmi di quell’aspetto artificiale/falso e pensavo che un dataset così "indefinito" avrebbe funzionato. Beh, a volte funziona, a volte peggiora la situazione.

Come la versione SDXL, è qualcosa da usare con altri LoRA, specialmente quelli che aggiungono molto colore.

Scusate per la pigrizia con prompt e immagini. Ho usato più o meno le stesse cose di V.3.0, ma per ora va bene per mostrare. A volte perde dettagli e non aggiunge nulla di particolarmente interessante (per esempio l’immagine della medusa o del pappagallo).

• Stesso seed per le immagini corrispondenti

• Le prime 2 immagini sono con e senza LoRA, poi invertito: prima senza poi con LoRA (a volte con intensità diverse)

• Alcune hanno delle parole trigger all’inizio, ma dubito siano necessarie in Flux

• Basato sul dataset V1.0, non su quello nuovo (non volevo usare troppe immagini)

Non sono sicuro di voler fare più LoRA per Flux, ma ne testerò diversi. È molto confuso al momento con tutte le versioni diverse e non sembra valere la pena spendere molto tempo su qualcosa che potrebbe diventare obsoleto in 10 ore.

E, solo a margine: questo è stato addestrato con una 4060 TI (16 GB), con un uso massimo di VRAM tra 14.4 e 15.2 GB, 3.95s/it - 5.15s/it, 512x, Rank 4. .... quindi, niente 4090 richiesto qui. Ovviamente sarebbe più veloce, ma se puoi semplicemente lanciare e dimenticare mentre fai altro non è un problema, a meno che tu non voglia testare qualcosa.

Come sempre, lo userò qua e là per vedere se riesco a tirarne fuori qualcosa di significativo. Probabilmente solo qualcosa per soddisfare la mia curiosità.

V.3.0

Dopo il mio piccolo errore con v2.0, mi sono assicurato che questa volta fosse quella vera, senza fusione né altro. Ero un po’ scettico all’inizio, a causa del numero di immagini aggiunte, che potesse allontanarsi troppo dalla prima versione, ma fortunatamente non è successo.

Sono davvero felice che molte persone abbiano trovato un uso per questo LoRA e abbiano creato molte immagini. Considerando che non era mai stato progettato per quello che sta facendo ora, è bello vedere che ha un altro scopo o si può usare per altro (come tutti i LoRA).

Probabilmente (molto probabilmente) sarà l’ultima versione per un po’, perché aggiungere più immagini non cambierà l’effetto principale. La maggior parte del lavoro è fatta usando modelli diversi, combinazioni di LoRA e prompt comunque.

Mi concentrerò di più sul creare immagini per trovare nuove combinazioni (e per rilassarmi un po’), fare nuovi LoRA strani, sistemare quelli vecchi ecc. Inoltre ho scaricato molte altre cose da altre persone e quasi non ho avuto modo di usarle.

Grazie ancora per tutte le immagini postate finora e spero di vederne altre, anche se ogni LoRA ha un ciclo di vita in questo settore AI veloce e il fattore novità inevitabilmente finirà. :)

V2.0

Piccolo annuncio su V2.0 (02.04 o 04.02 a seconda del paese)

Beh, sono ufficialmente un idiota.

Ho iniziato a addestrare un altro LoRA quando ho notato che nelle immagini di esempio non succedeva nulla nemmeno dopo 2000 passaggi, cosa praticamente impossibile. Ho quindi cercato la causa e ho visto una impostazione che non avevo cambiato (o impostato correttamente) cioè il LR warmup. Normalmente non uso warmup steps, ma per quello che avevo fatto prima stavo testando cosa facesse davvero. Era su un dataset di circa 4 immagini. Ho sempre un’impostazione di 100 Epoche, ma è settato per esportare un modello ogni 500 passaggi e non per epoca. Il Warm Up era al 32%, quindi 4 immagini x 10 ripetizioni x 100 epoche = 4000 passaggi (32% warmup = 1280 passaggi dove non succede molto).

Ora, questo LoRA aveva le stesse impostazioni, ma con 60 immagini (60 x 10 x 100 = 60000 - 32% warmup = 19200 passaggi)... quindi anche dopo 12000 passaggi non era nemmeno iniziato, il che significa che ho praticamente addestrato aria. Spiega molto in realtà. Poiché mi sono addormentato non me ne sono accorto, anche se era un po’ sorprendente che ci volesse così tanto per avere un effetto, che pensavo fosse causato dalle immagini stesse.

Sì... quindi questo è un fallimento e la maggior parte di quello che fa viene dalla fusione con V1.0.

Lo addestrerò di nuovo nel weekend quando torno dal lavoro, questa volta con le impostazioni corrette.

Mi dispiace molto per questo. Forse è uno scherzo di pesce d’aprile non intenzionale :) .... :(

Aggiunte alcune immagini perché lo sto usando molto ultimamente e non ho caricato un nuovo LoRA per un po’, cosa dovuta a troppo lavoro e a scegliere soggetti complicati e snervanti che devono essere fatti nel modo più contorto... tutto il resto sarebbe noioso.

Molto tempo è andato anche nello smontare Pony, che in qualche modo mi stupisce. Se metti da parte tutto il materiale furry, anime e pornografico in generale, è quasi più basilare del modello Base XL, il che è positivo per aggiungere concetti e stili tramite addestramento LoRA, ma gestisce concetti più complessi come posizioni, emozioni, angolazioni strane ecc... ma questa è un’altra storia.

Non so quanto addestramento riuscirò a fare quest’anno. Forse farò cose più semplici ogni tanto, ma chi lo sa. L’AI si muove veloce, quindi magari esce qualcosa di nuovo in un mese... o in una settimana.

• Testato lo stesso seed e lo stesso modello con immagini generate precedentemente. Il cambiamento è sottile in alcuni casi e estremo in altri (e ora so perché: leggi annuncio)

• Scusate anche per non aver fatto più variazioni nelle immagini mostrate. A volte ci vuole più tempo a preparare le immagini che ad addestrare il LoRA, ma in questo caso non dovrebbe importare molto. Altre cose seguiranno naturalmente.

V1.0

Ho cercato di spingere un po’ l’AI per vedere cosa avrebbe captato da immagini quasi completamente nere con solo una forma pallida.

Era quasi impossibile preparare il dataset in Photoshop perché praticamente non si vedeva niente. Ovviamente ognuno ha impostazioni monitor diverse quindi è difficile dire se quelle immagini fossero davvero così scure, ma ha affaticato molto i miei occhi. Anche ora è un po’ difficile guardare le immagini generate, anche se non sono scure come quelle di addestramento.

Ero sorpreso che il modello abbia captato qualcosa. Lo metterò da parte finché non capisco cosa fare. Fa sicuramente cose strane. In qualche modo mettere le immagini generate in ControlNet IP-Adapter migliora tutto e produce risultati casuali.

Consigli per la generazione:

• Non ho idea... buona fortuna.