SDXL / Flux.1 D - Nero opaco (Vanta) - Esperimento - SDXL v2.0

Flux.1 D - V2.0

Ultimo tentativo di farlo funzionare in Flux... e con farlo funzionare intendo fare il casino il più possibile. Probabilmente non farà mai la stessa cosa che faceva nella versione SDXL. Anche dopo 6000 passaggi e solo da osservazione era abbastanza ovvio. SDXL è praticamente come "ok, lo imparerò, ma ci metterò il mio tocco" mentre Flux lotta/compensa come un matto contro qualsiasi cosa non sappia cosa fare o cosa esattamente voglio che impari. D’altra parte, dopo un lungo addestramento produrrà totalmente quelle immagini e duramente, fino al punto di copiare i dati di addestramento 1/1, il che si traduce in quasi nero puro. Flux può copiare un'immagine perfettamente, come foto, anche dopo pochi passaggi.

Come ho detto nell’ultima versione di Flux, per la maggior parte è qualcosa che voglio mescolare con altre LoRA più colorate o con uno stile particolare.

Stesse immagini della versione SDXL v.3.0 con molte altre aggiunte per la versione Flux (alcune in formato paesaggio). Però... ho rimosso 3 immagini che probabilmente erano responsabili almeno dell’80% delle immagini postate da me o da altre persone. Era qualcosa che volevo fare anche con la versione SDXL, ma allora decisi di no. Il motivo è che quelle immagini erano semplicemente troppo dominanti, causando molti comportamenti strani e un bias nella creazione di immagini specifiche. L’ho visto nella versione v.1.0 di Flux e ora non ci sono più. Probabilmente la popolarità ne risentirà, ma non mi interessa.

Sento che molte persone usano una certa LoRA solo perché è nella loro "pipeline", suppongo. In alcuni casi le immagini fatte senza una LoRA sembrano migliori e non lo sapresti mai. Le LoRA di stile sono un’altra cosa, perché aggiungono uno stile piuttosto evidente nella generazione delle immagini. Questa qui invece ha molto potenziale per peggiorare tutto, perciò non ho nemmeno selezionato accuratamente le immagini che ho postato, proprio per mostrare cosa intendo. Se aggiungi qualcosa che ha un forte bagliore o una sorgente luminosa come una candela, Flux (e alcuni modelli SDXL) aggiungono da soli un ambiente scuro, perché una fonte di luce ha sempre bisogno di qualche tipo di oscurità per essere notata (il faro di un'auto in pieno sole non fa molto).

E non chiedere nemmeno se funziona nelle versioni NF4 o QQUFUF 5.64.3255 K4 2 o chissà cos’altro. Il file non è veramente così grande, quindi puoi testarlo tu stesso. Starò lontano da quei modelli a meno che non offrano più vantaggi rispetto a una versione FP8/16 Dev normale oltre a un minor consumo di memoria e/o un aumento trascurabile della velocità (o peggio, un calo della velocità).

So quanto può essere fastidioso se qualcuno rilascia una nuova versione di qualsiasi modello in un breve periodo quando ti sei appena abituato. Non intendo continuare con questa e vedrò solo se io o qualcun altro ricaveremo qualcosa di utile da essa.

Inoltre, il lavoro per preparare le immagini in Photoshop non vale la pena, specialmente se sai che non cambierà nulla. Piuttosto faccio qualcosa di nuovo, o più probabilmente stupido, che sia interessante o crei effetti casuali... oppure semplicemente fluxifico modelli vecchi per vedere cosa succede.

Flux.1 D - V1.0

Dopo aver smanettato un po’ con Kohya e altri, con qualche test sorprendentemente riuscito con LoRA concettuali piuttosto strane per Flux, ho pensato di provarci per vedere se funziona. In realtà non era proprio il mio obiettivo ottenere una versione Flux, dato che Flux fa un buon lavoro con il contrasto (per la maggior parte). Il mio obiettivo principale era liberarmi da quel tremendo aspetto artificiale/falso e pensavo che un dataset così “indefinito” avrebbe funzionato. Beh, a volte funziona, altre lo peggiora.

Come nella versione SDXL, è più qualcosa da usare insieme ad altre LoRA, specialmente quelle che aggiungono molto colore.

Scusa per la pigrizia con prompt e immagini. Ho usato praticamente le stesse cose della V.3.0, ma dovrebbe andare bene per ora come dimostrazione. A volte uccide i dettagli senza aggiungere qualcosa di particolarmente interessante (come l’immagine della medusa o del pappagallo).

• Stesso seed per immagini corrispondenti

• Le prime due immagini sono con e senza LoRA, poi è inverso, prima senza e poi con LoRA (a volte con intensità diverse)

• Alcune hanno le parole trigger all’inizio, ma dubito siano necessarie in Flux

• Basato sul dataset V1.0, non quello nuovo (non volevo usare troppe immagini)

Non so se voglio fare altre LoRA per Flux, ma testerò parecchio. È molto confuso al momento con tutte le versioni diverse e non sembra valere la pena spendere tanto tempo su qualcosa che potrebbe essere superato dopo 10 ore.

E, solo una nota: è stato addestrato con una 4060 TI (16 GB), con uso massimo VRAM tra 14.4 e 15.2 GB, 3.95s/iterazione - 5.15s/iterazione, 512x, rango 4... quindi non serve una 4090 qui. Ovviamente sarebbe più veloce, ma se puoi far partire e dimenticare per fare altro nel frattempo non è un problema, a meno che tu non voglia testare qualcosa.

Come sempre, lo userò ogni tanto per vedere se riesco a ottenere qualcosa di significativo. Probabilmente solo per soddisfare la mia curiosità.

V.3.0

Dopo il mio piccolo errore con la v2.0, mi sono assicurato che questa volta sia la versione vera, senza merge o roba simile. Ero un po' scettico all’inizio, dato il numero di immagini aggiunte, che si sarebbe allontanata troppo dalla prima versione, ma fortunatamente non è successo.

Sono davvero contento che molte persone abbiano trovato utile questa LoRA e abbiano creato tante immagini. Considerando che non era mai stata pensata per fare ciò che sta facendo ora, è bello vedere che ha un altro scopo o si può usare per qualcos'altro (come tutte le LoRA).

Probabilmente (molto probabilmente) questa sarà l’ultima versione per un po’ di tempo perché aggiungere solo immagini non cambierà l’effetto principale. La maggior parte dipende dall’uso di modelli diversi, combinazioni di LoRA e prompt.

Mi concentrerò di più sulla creazione di immagini per trovare altre combinazioni (e rilassarmi un po’), creare nuove LoRA strane, sistemare quelle vecchie ecc. Inoltre ho scaricato tante altre cose da altre persone e perlopiù non ho avuto occasione di usarle.

Grazie ancora per tutte le immagini finora postate e spero di vederne altre, anche se ogni LoRA ha una vita limitata in questo settore AI in rapido movimento e il fattore novità inevitabilmente finirà. :)

V2.0

Piccolo annuncio per la V2.0 (02.04 o 04.02 a seconda del paese credo)

Bene, sono ufficialmente un idiota.

Ho iniziato ad addestrare un’altra LoRA quando ho notato che nelle immagini di esempio non succedeva nulla nemmeno dopo 2000 passaggi, cosa praticamente impossibile. Così ho cercato il motivo e ho visto un’impostazione che non avevo riazzerato (o settata correttamente) che è il LR warmup. Normalmente non uso i warmup steps, ma per quello che avevo fatto prima stavo testando cosa succedeva. Era su un dataset di circa 4 immagini. Ho sempre un settaggio di 100 Epoch, ma è impostato per generare un modello ogni 500 passaggi e non per epoch. Warmup era al 32%, quindi 4 immagini x 10 ripetizioni x 100 Epochs = 4000 passaggi (32% warmup = 1280 passaggi in cui praticamente non succede niente).

Ora, questa LoRA aveva le stesse impostazioni, ma con 60 immagini (60 x 10 x 100 = 60000 - 32% warmup = 19200 passaggi)... quindi anche dopo 12000 passaggi non era nemmeno iniziato, il che significa che avevo addestrato solo aria calda. Spiega molte cose in realtà. Dato che mi ero addormentato non me ne sono accorto, anche se era strano che ci volesse così tanto per cominciare a vedere effetti, cosa che pensavo fosse dovuta alle immagini stesse.

Sì... questa è una ciofeca e la maggior parte di ciò che fa deriva dalla fusione con la V1.0.

Lo allenerò di nuovo nel weekend quando torno dal lavoro, questa volta con le impostazioni corrette.

Mi dispiace davvero. Forse era solo uno scherzo non intenzionale del pesce d'aprile :) .... :(

Aggiunte alcune immagini perché lo sto usando molto ultimamente e non ho caricato una nuova LoRA da un po’, probabilmente per via del troppo lavoro e per aver scelto soggetti complicati e stressanti da fare nel modo più contorto possibile... tutto il resto sarebbe noioso.

Inoltre, ho speso molto tempo a smontare Pony, che mi sorprende in alcuni aspetti. Se metti da parte tutta la roba furry, anime e pornografica varia, è quasi più basilare del modello Base XL, il che è buono per aggiungere concetti e stili tramite addestramento LoRA, ma conosce cose molto più complesse come posizionamenti, emozioni, angoli strani ecc... ma questa è un’altra storia.

Non so quanto addestramento riuscirò a fare quest’anno. Forse farò cose più semplici ogni tanto, ma chi lo sa. L’intelligenza artificiale procede veloce, quindi potrebbero uscire novità tra un mese... o una settimana.

• Testato lo stesso seed e lo stesso modello con immagini generate in precedenza. Il cambiamento è piuttosto sottile in alcuni casi e estremo in altri (e ora so perché: leggi annuncio)

• Scusa anche per non aver fatto più variazioni nelle immagini mostrate. A volte ci vuole più tempo a preparare le immagini che ad addestrare la LoRA, ma in questo caso non dovrebbe importare troppo. Tutto il resto seguirà naturalmente.

V1.0

Ho provato a spingere un po’ l’AI per vedere cosa riusciva a captare da immagini di addestramento quasi completamente nere e con solo una sagoma debole.

Era quasi impossibile preparare il dataset in Photoshop perché praticamente non si vedeva niente. Ovviamente ognuno ha impostazioni di monitor diverse quindi è difficile dire se quelle immagini fossero veramente così scure, ma ha affaticato molto i miei occhi. Anche ora guardare le immagini generate è un po’ difficile, anche se non sono scure come quelle di addestramento.

Ero sorpreso che il modello abbia captato qualcosa. Lo metto da parte per ora fino a che non decido cosa farne. Fa sicuramente cose strane. In qualche modo inserire immagini generate in ControlNet IP-Adapter migliora tutto e produce risultati casuali.

Consigli per la generazione:

• Non ho idea... buona fortuna.