SDXL / Flux.1 D - Nero Opaco (Vanta) - Esperimento - SDXL v1.0

Flux.1 D - V2.0

Ultimo tentativo di farlo funzionare in Flux... e per funzionare intendo fare casino il più possibile. Probabilmente non farà mai la stessa cosa della versione SDXL. Anche dopo 6000 passi e solo dall'osservazione era abbastanza evidente. SDXL è praticamente come "ok, lo imparo, ma ci metterò il mio tocco" mentre Flux combatte/compensa come un matto contro tutto ciò che non sa cosa fare o cosa esattamente voglio che impari. D'altra parte, dopo un lungo addestramento produce totalmente quelle immagini e con forza, al punto da copiare i dati di addestramento 1/1, risultando in quasi nero assoluto. Flux può copiare un'immagine perfettamente, come foto, anche dopo pochi passi.

Come ho detto nell'ultima versione di Flux, per la maggior parte è qualcosa che voglio mescolare con altri LoRA più colorati o con uno stile particolare.

Stesse immagini della versione SDXL v.3.0 con molte più aggiunte per la versione Flux (alcune in formato paesaggio). Però... ho rimosso 3 immagini che probabilmente erano responsabili almeno dell'80% delle immagini postate da me o altri. Era qualcosa che volevo fare con la versione SDXL, ma all'epoca ho deciso di no. La ragione è che quelle immagini erano troppo dominanti causando molto comportamento strano e un bias a creare immagini specifiche. L'ho visto nella versione v.1.0 di Flux e ora non ci sono più. Probabilmente la popolarità ne risentirà, ma non me ne importa.

Credo che molte persone usino un certo LoRA solo perché è nella loro "pipeline". In alcuni casi immagini fatte senza LoRA sembrano migliori e non lo sapresti mai. I LoRA di stile sono una cosa diversa, perché aggiungono uno stile chiaramente visibile durante la generazione dei immagini. Questo invece ha molto potenziale per peggiorare tutto, motivo per cui non ho filtrato troppo le immagini che ho postato, solo per mostrare quello che intendo. Se aggiungi qualcosa con un bagliore forte o una fonte di luce come una candela, Flux (e alcuni modelli SDXL) aggiungono da soli un ambiente scuro, perché una fonte di luce ha sempre bisogno di un qualche tipo di oscurità per essere visibile (il faro di un’auto in una giornata di sole non fa molto).

E neanche chiedere se funziona in versione NF4 o QQUFUF 5.64.3255 K4 2 o chissà cosa. Il file non è molto grande quindi puoi provarlo tu stesso. Rimarrò distante da questi modelli a meno che non offrano più benefici rispetto a una normale versione FP8/16 Dev oltre a solo un consumo di memoria inferiore e/o un aumento di velocità trascurabile (o peggio, diminuzione di velocità).

Capisco quanto possa essere fastidioso quando qualcuno rilascia una nuova versione di un modello in breve tempo se ti sei appena abituato. Non proseguirò oltre con questo e vedrò se io o qualcun altro ne ricaverà qualcosa di utile.

Inoltre, il lavoro per preparare le immagini in Photoshop non vale la pena, specialmente se sai che non cambia nulla. Meglio fare qualcosa di nuovo, o più probabilmente stupido, che sia interessante o crei effetti casuali... oppure semplicemente fluxificare modelli vecchi per vedere cosa succede.

Flux.1 D - V1.0

Dopo alcune sperimentazioni con Kohya e altri, con risultati sorprendenti usando concept LoRA piuttosto strani per Flux, ho pensato di provare questo per vedere se funziona. In realtà non era il mio obiettivo ottenere una versione Flux, dato che Flux fa un buon lavoro con il contrasto (per la maggior parte). Il mio obiettivo principale era eliminare quell’aspetto artificiale/falso e pensavo che un dataset così "indefinito" avrebbe funzionato. Beh, a volte funziona, altre peggiora la situazione.

Come nella versione SDXL, è più qualcosa da usare con altri LoRA, soprattutto quelli che aggiungono molto colore.

Scusa per la pigrizia con i prompt e le immagini. Ho usato più o meno le stesse cose della V.3.0, ma dovrebbero andare bene per mostrare ora. A volte elimina i dettagli e non aggiunge nulla di particolarmente interessante (come l'immagine della medusa o del pappagallo).

• Stesso seed per immagini corrispondenti

• Le prime 2 immagini sono con e senza LoRA, poi invertito, quindi prima senza poi con LoRA (a volte con intensità diverse)

• Alcune hanno parole trigger all’inizio, ma dubito siano necessarie in Flux

• Basato sul dataset V1.0, non su quello nuovo (non volevo usare troppe immagini)

Non sono sicuro se farò altri LoRA per Flux, ma li testerò parecchio. È davvero confuso con tutte queste versioni diverse e non sembra valere la pena investire troppo tempo su qualcosa che potrebbe diventare obsoleto fra 10 ore.

E solo una nota a margine: è stato addestrato con una 4060 TI (16 GB), con uso massimo di VRAM tra 14.4 e 15.2 GB, 3.95s/it - 5.15s/it, 512x, Rank 4... quindi qui non serve una 4090. Ovviamente sarebbe più veloce, ma se puoi avviarlo e fare altro nel frattempo non è un problema, a meno che tu non voglia testare cose.

Come sempre, lo userò qua e là per vedere se riesco a ottenere qualcosa di significativo. Più probabilmente solo qualcosa per soddisfare la mia curiosità.

V.3.0

Dopo il mio piccolo errore con la v2.0 questa volta ho fatto in modo che sia quella vera, senza unioni o altro. Ero un po’ scettico all’inizio, per la quantità di immagini aggiunte, che si sarebbe allontanato troppo dalla prima versione, ma fortunatamente non è successo.

Sono davvero contento che molte persone abbiano trovato un uso per questo LoRA e abbiano fatto tante immagini. Considerando che non era mai stato destinato a fare quello che sta facendo ora è bello vedere che ha uno scopo diverso o si può usare per qualcosa d’altro (come tutti i LoRA).

Probabilmente (molto probabilmente) questa sarà l'ultima versione per un po’ perché aggiungere solo immagini non cambierà l’effetto principale. La maggior parte si fa usando modelli diversi, combinazioni LoRA e prompt comunque.

Mi concentrerò di più sulla creazione effettiva di immagini per trovare nuove combinazioni (e per rilassarmi un po’), creare nuovi LoRA strani, sistemare quelli vecchi ecc. Inoltre ho scaricato così tante cose da altre persone che non ho ancora avuto modo di usarle quasi per niente.

Grazie ancora per tutte le immagini finora postate e spero di vederne altre, anche se ogni LoRA ha una durata limitata in questo settore AI in rapido movimento e il fattore novità inevitabilmente finirà. :)

V2.0

Piccolo annuncio per V2.0 (02.04 o 04.02 a seconda del paese)

Bene, sono ufficialmente un idiota.

Ho iniziato ad addestrare un altro LoRA quando ho notato che nelle immagini di esempio non succedeva nulla nemmeno dopo 2000 passi, cosa praticamente impossibile. Ho cercato il motivo e ho visto un'impostazione che non avevo rimesso a posto (o impostato correttamente), ovvero LR warmup. Di solito non uso warmup steps, ma per quello che avevo fatto prima stavo testando cosa davvero fa. Quel dataset aveva circa 4 immagini. Ho sempre 100 Epoche come impostazione, ma è impostato per rilasciare un modello ogni 500 passi, non per epoca. Warm Up era al 32%, quindi 4 immagini x 10 ripetizioni x 100 epoche = 4000 passi (32% warmup = 1280 passi dove non succede molto).

Ora, questo LoRA aveva le stesse impostazioni, solo con 60 immagini (60 x 10 x 100 = 60000 - 32% warmup = 19200 passi)... quindi, anche dopo 12000 passi non era nemmeno iniziato, il che significa che ho praticamente addestrato solo aria calda. Spiega molto in realtà. Dato che mi sono addormentato non l'avevo notato, anche se era un po’ sconcertante che ci mettesse così tanto per dare effetto, che pensavo fosse colpa delle immagini stesse.

Sì... quindi questo è un buco nell’acqua e la maggior parte di ciò che fa viene dalla fusione con V1.0.

Lo addestrerò di nuovo nel weekend quando torno dal lavoro, stavolta con le impostazioni giuste.

Mi dispiace davvero. Forse era uno scherzo del pesce d’aprile non intenzionale :) .... :(

Ho aggiunto qualche immagine in più perché lo uso molto ultimamente e non ho caricato un nuovo LoRA da un po’, causa troppo lavoro e scegliere solo soggetti complicati che "devono" essere fatti nel modo più contorto... tutto il resto sarebbe noioso.

Inoltre ho dedicato molto tempo a smontare Pony, il che mi sorprende in alcuni aspetti. Se metti da parte tutto ciò che riguarda Furry, Anime e porno in generale, è quasi più base del modello Base XL, il che è buono per aggiungere concetti e stili tramite addestramento LoRA, ma conosce cose più complesse come posizionamento, emozioni, angolazioni strane ecc... ma questa è un’altra storia.

Non so quanti altri addestramenti farò quest'anno. Forse farò cose più facili in mezzo, ma non si sa. L’AI avanza veloce, quindi potrebbero esserci novità tra un mese... o una settimana.

• Ho testato lo stesso seed e lo stesso modello con immagini generate precedentemente. Il cambiamento è sottile in alcuni casi ed estremo in altri (e ora so perché: leggi annuncio)

• Scusa anche per non aver fatto più variazioni nelle immagini mostrate. A volte ci vuole più tempo a preparare le immagini che ad addestrare il LoRA, ma in questo caso non conta molto. Altre novità seguiranno naturalmente.

V1.0

Ho cercato di spingere un po’ l’AI per vedere cosa riusciva a cogliere da immagini di addestramento quasi completamente nere con solo una forma tenue.

È stato quasi impossibile preparare il dataset in Photoshop perché praticamente non si vedeva nulla. Ovviamente ognuno ha impostazioni diverse del monitor quindi è difficile dire se quelle immagini fossero davvero così scure, ma ha messo a dura prova i miei occhi. Anche ora guardare le immagini generate è un po’ difficile, anche se non sono scure come quelle di addestramento.

In realtà sono rimasto sorpreso che il modello abbia imparato qualcosa. Lo metterò da parte per ora finché non capirò cosa farci. Fa sicuramente cose strane. In qualche modo mettere le immagini generate nel ControlNet IP-Adapter migliora tutto e produce risultati casuali.

Consigli per la generazione:

• Non ne ho idea... buona fortuna.