SDXL / Flux.1 D - Nero opaco (Vanta) - Esperimento - SDXL v3.0

Flux.1 D - V2.0

Ultimo tentativo per farlo funzionare in Flux... e per farlo funzionare intendo mandare tutto a rotoli il più possibile. Probabilmente non farà mai la stessa cosa della versione SDXL. Anche dopo 6000 passi e solo dall'osservazione era abbastanza evidente. SDXL è praticamente come "ok, lo imparerò, ma ci metterò del mio" mentre Flux lotta / compensa freneticamente contro qualsiasi cosa non sappia come gestire o cosa esattamente voglio fargli imparare. D'altra parte, dopo un lungo addestramento produrrà totalmente quelle immagini, anche hard, fino al punto di copiare i dati di addestramento 1/1, risultando quasi nero puro. Flux può copiare un’immagine perfettamente, come foto, anche dopo pochi passi.

Come detto nell’ultima versione di Flux, per la maggior parte è qualcosa che voglio mescolare con altri LoRA più colorati o con uno stile specifico.

Stesse immagini della versione SDXL v3.0 con alcune in più per la versione Flux (alcune in formato paesaggio). Ma... ho rimosso 3 immagini che probabilmente erano responsabili di almeno l’80% delle immagini pubblicate da me o altri. Era qualcosa che volevo fare anche per la versione SDXL, ma allora ho deciso di no. Il motivo è che quelle immagini erano troppo dominanti causando comportamenti strani e un bias verso la creazione di immagini specifiche. L’ho visto nella versione Flux v1.0 e ora non ci sono più. Probabilmente la popolarità ne risentirà, ma non mi interessa.

Sento che molte persone usano un certo LoRA solo perché è nella loro "pipeline", suppongo. In alcuni casi immagini fatte senza LoRA sembrano migliori e non te ne accorgeresti mai. Gli LoRA di stile sono un’altra cosa, perché aggiungono uno stile ben evidente durante la generazione. Questo qui invece ha molto potenziale per peggiorare tutto, motivo per cui non ho selezionato con cura le immagini postate, per mostrare cosa intendo. Se aggiungi qualcosa con un bagliore o una fonte luminosa come una candela, Flux (e alcuni modelli SDXL) aggiunge automaticamente un ambiente scuro, perché una fonte di luce ha bisogno di qualche oscurità per essere visibile (il faro di un’auto in una giornata soleggiata non fa molto).

Non chiedere nemmeno se funziona nelle versioni NF4 o QQUFUF 5.64.3255 K4 2 o chissà cosa. Il file non è così grande quindi puoi testarlo da solo. Terrò le distanze da quei modelli a meno che non offrano benefici maggiori rispetto a una normale versione FP8/16 Dev oltre a minor consumo di memoria e/o un aumento di velocità trascurabile (o peggio, un rallentamento).

So quanto sia fastidioso quando qualcuno rilascia una nuova versione di un tipo di modello in poco tempo se ti sei appena abituato a quella precedente. Non seguirò più questa versione e vedrò solo se io o qualcun altro ne ricaveremo qualcosa di utile.

Inoltre, il lavoro per preparare le immagini in Photoshop non vale la pena, soprattutto se sai che non cambierà nulla. Preferisco fare qualcosa di nuovo, o molto probabilmente stupido, che sia interessante o crei effetti casuali... o semplicemente "fluxificare" vecchi modelli per vedere cosa succede.

Flux.1 D - V1.0

Dopo aver fatto qualche esperimento con Kohya e altri, con test di successo piuttosto strani con LoRA concettuali per Flux, ho pensato di provare questo per vedere se funzionava. In realtà non era il mio obiettivo avere una versione Flux, dato che Flux lavora bene con il contrasto (per lo più). Il mio scopo principale era eliminare quell'aspetto artificiale/falso e pensavo che un dataset così "indefinito" potesse funzionare. Beh, a volte funziona o a volte peggiora la situazione.

Come la versione SDXL, è più qualcosa da usare con altri LoRA, specialmente quelli che aggiungono molto colore.

Scusate se sono stato un po’ pigro con prompt e immagini. Ho usato praticamente le stesse cose della V3.0, ma dovrebbe andare bene per mostrare per ora. A volte elimina i dettagli e non aggiunge nulla di particolarmente interessante (l’immagine della medusa o del pappagallo, per esempio).

• Stesso seed per immagini corrispondenti

• Le prime 2 immagini sono con e senza LoRA, poi invertite, quindi prima senza e poi con LoRA (a volte a intensità diverse)

• Alcune hanno parole trigger all’inizio, ma dubito siano necessarie in Flux

• Basato sul dataset V1.0, non quello nuovo (non volevo usare troppe immagini)

Non so se farò più LoRA per Flux, ma testerò parecchio. Ora è molto confuso con tutte queste versioni diverse e non sembra valga la pena investire troppo tempo in qualcosa che potrebbe diventare obsoleto in 10 ore.

E, giusto per inciso: è stato addestrato con una 4060 TI (16 GB), uso massimo VRAM tra 14.4 e 15.2 GB, 3.95s/it - 5.15s/it, 512x, Rank 4... quindi qui non serve una 4090. Certo sarebbe più veloce, ma se puoi avviare il processo e fare altro nel frattempo non è un problema, a meno che tu non voglia testare qualcosa.

Come sempre, lo userò qui e là per vedere se posso ottenere qualcosa di significativo. Probabilmente solo per soddisfare la mia curiosità.

V.3.0

Dopo il mio piccolo pasticcio con la v2.0, stavolta mi sono assicurato che fosse quella vera, senza fusioni o altro. All’inizio ero un po’ scettico, a causa della quantità di immagini aggiunte, che potesse allontanarsi troppo dalla prima versione, ma fortunatamente non è successo.

Sono davvero felice che molte persone abbiano trovato un uso per questo LoRA e abbiano realizzato così tante immagini. Considerando che non era mai stato pensato per fare quello che sta facendo ora, è bello vedere che ha un altro scopo o, diciamo, che può essere usato per qualcos’altro (come tutti i LoRA).

Probabilmente (molto probabilmente) questa sarà l’ultima versione per un po’, perché aggiungere solo immagini non cambierà l’effetto principale. La maggior parte viene comunque fatta usando modelli diversi, combinazioni di LoRA e prompt.

Mi concentrerò di più sulla creazione vera di immagini per trovare altre combinazioni (e per rilassarmi un po’), creare nuovi LoRA strani, sistemare quelli vecchi ecc. Inoltre ho scaricato così tante cose da altre persone e per la maggior parte non ho ancora avuto modo di usarle.

Grazie di nuovo per tutte le immagini pubblicate finora e spero di vederne altre, anche se ogni LoRA ha una vita limitata in questo settore AI che si muove velocemente e il fattore novità inevitabilmente finirà. :)

V2.0

Piccolo annuncio per la V2.0 (02.04 o 04.02 a seconda del tuo paese, suppongo)

Beh, sono ufficialmente un idiota.

Ho iniziato ad addestrare un altro LoRA quando ho notato che nelle immagini di esempio niente succedeva nemmeno dopo 2000 passi, cosa praticamente impossibile. Quindi cercavo il motivo e ho visto un’impostazione che non avevo rimesso a posto (o impostato correttamente), cioè il warmup del LR. Normalmente non uso i warmup steps, ma per quel che avevo fatto prima stavo testando cosa facessero davvero. Era su un dataset di circa 4 immagini. Ho sempre una impostazione di 100 Epoch, ma è impostato per rilasciare un modello ogni 500 passi e non ogni epoca. Warm Up era al 32%, quindi 4 immagini x 10 ripetizioni x 100 epoche = 4000 passi (32% warmup = 1280 passi dove non succede molto).

Ora, questo LoRA aveva le stesse impostazioni, solo con 60 immagini (60 x 10 x 100 = 60000 - 32% warmup = 19200 passi)... quindi, anche dopo 12000 passi non era nemmeno iniziato, il che significa che ho praticamente addestrato solo aria calda. Spiega molto in effetti. Poiché mi sono addormentato non me ne sono accorto, anche se era un po’ sconcertante che impiegasse così tanto a fare effetto, cosa che pensavo fosse dovuta alle immagini stesse.

Sì... quindi questo è un flop e la maggior parte di ciò che fa deriva dalla fusione con la V1.0.

Lo addestrerò di nuovo nel weekend quando torno dal lavoro, questa volta con le impostazioni corrette.

Mi dispiace davvero. Forse era solo uno scherzo involontario per il Pesce d’Aprile :) .... :(

Aggiunte alcune immagini in più perché lo uso parecchio ultimamente e non ho caricato un nuovo LoRA da un po’, il che è dovuto principalmente al fatto che ho troppo lavoro e scelgo soggetti complicati e stressanti che "devono" essere realizzati nel modo più contorto possibile... tutto il resto sarebbe noioso.

Inoltre, molto tempo è stato speso a smontare Pony, che mi sorprende in alcuni aspetti. Se metti da parte tutto il materiale furry, anime e porno generale, è quasi più basilare del modello Base XL, il che è ottimo per aggiungere concetti e stili tramite addestramento LoRA, ma conosce cose molto più complesse come posizionamenti, emozioni, angoli strani ecc... ma questa è un’altra storia completamente diversa.

Non so quanto altro addestramento riuscirò a fare quest’anno. Forse farò cose più semplici ogni tanto, ma chi può dirlo. L’AI si muove velocemente, quindi potrebbe uscire qualche novità tra un mese... o una settimana.

• Testato lo stesso seed e lo stesso modello con immagini generate in precedenza. Il cambiamento è piuttosto sottile in alcuni casi e estremo in altri (e ora so perché: leggi annuncio)

• Scusa anche se non ho fatto più variazioni nelle immagini mostrate. A volte ci vuole più tempo a preparare le immagini che ad addestrare il LoRA, ma in questo caso non dovrebbe importare troppo. Naturalmente seguiranno altre cose.

V1.0

Ho cercato di spingere un po’ l’AI per vedere cosa poteva apprendere da immagini di addestramento quasi completamente nere e con solo una forma vaga.

Era quasi impossibile preparare il dataset in Photoshop perché praticamente non riuscivo a vedere nulla. Ovviamente ognuno ha impostazioni di monitor diverse quindi è difficile dire se quelle immagini fossero davvero così scure, ma ha messo a dura prova i miei occhi. Anche ora guardare le immagini generate è un po’ difficile, anche se non sono scure come quelle di addestramento.

Ero sorpreso che il modello avesse captato qualcosa. Lo metterò da parte per ora finché non deciderò cosa farne. Sicuramente fa cose strane. In qualche modo mettere le immagini generate nel ControlNet IP-Adapter migliora tutto e produce risultati casuali.

Consigli per la generazione:

• Non ne ho idea... buona fortuna.