SDXL / Flux.1 D - Matte (Vanta)Black - Esperimento - Flux.1 D v1.0

Flux.1 D - V2.0

Ultimo tentativo di farlo funzionare in Flux... e per farlo funzionare intendo rompere tutto il più possibile. Molto probabilmente non farà mai la stessa cosa che faceva nella versione SDXL. Anche dopo 6000 passi e solo dall'osservazione era abbastanza evidente. SDXL è un po' come "ok, lo imparo, ma ci metto del mio" mentre Flux lotta / compensa come un pazzo contro tutto ciò che non sa come gestire o cosa voglio esattamente che impari. D'altra parte, dopo un lungo addestramento produce esattamente quelle immagini ed è così preciso da copiare completamente i dati di addestramento 1/1, risultando quasi in nero puro. Flux può copiare perfettamente un'immagine, come una foto, anche dopo pochi passi.

Come detto nella versione precedente di Flux, per la maggior parte è qualcosa da mescolare con altre LoRA più colorate o con uno stile particolare.

Stesse immagini della versione SDXL v.3.0 con molte aggiunte per la versione Flux (alcune in formato paesaggio). Tuttavia, ho rimosso 3 immagini che probabilmente erano responsabili di almeno l'80% delle immagini pubblicate da me o da altri. Era qualcosa che volevo fare anche nella versione SDXL, ma decisi contro in quel momento. La ragione è che quelle immagini erano troppo dominanti, causando comportamenti strani e un bias verso la creazione di immagini specifiche. L'ho visto nella versione Flux v.1.0 e ora sono sparite. La popolarità ne risentirà probabilmente, ma non me ne importa.

Sento che molte persone usano una certa LoRA solo perché è nella loro "pipeline" suppongo. In alcuni casi le immagini create senza LoRA sembrano migliori senza che tu lo sappia. Le LoRA di stile sono una cosa diversa, perché aggiungono uno stile percepibile durante la generazione delle immagini. Questa cosa però ha tanto potenziale per peggiorare tutto, motivo per cui non ho selezionato con cura le immagini che ho postato, giusto per mostrare cosa intendo. Se aggiungi qualcosa con un forte bagliore o una fonte di luce come una candela, Flux (e alcuni modelli SDXL) aggiunge da solo un ambiente scuro, perché una fonte di luce ha sempre bisogno di un po' di oscurità per essere visibile (un faro di auto in una giornata di sole non fa molto effetto).

E non chiedere nemmeno se funziona nelle versioni NF4 o QQUFUF 5.64.3255 K4 2 o chissà cosa. Il file non è molto grande quindi puoi testarlo tu stesso. Rimarrò distante da questi modelli a meno che non offrano vantaggi maggiori rispetto a una versione Dev FP8/16 normale oltre a un minor consumo di memoria e/o un miglioramento di velocità trascurabile (o peggio un rallentamento).

So quanto può essere fastidioso quando qualcuno rilascia una nuova versione di qualsiasi tipo di modello in poco tempo a cui ti eri appena abituato. Non seguirò ulteriormente questa versione e vedrò se io o qualcun altro ne ricaviamo qualcosa di utile.

Inoltre, il lavoro per preparare le immagini in Photoshop non vale la pena, soprattutto sapendo che non cambierà nulla. Meglio fare qualcosa di nuovo, o più probabilmente stupido, che sia interessante o crei effetti casuali... o semplicemente fluxificare modelli vecchi per vedere cosa succede.

Flux.1 D - V1.0

Dopo qualche esperimento con Kohya e altri, con sorprendente successo usando LoRA con concetti strani per Flux, ho pensato di provare questa versione per vedere se funziona. In realtà non era il mio obiettivo principale avere una versione Flux, dato che Flux funziona già bene con il contrasto (per la maggior parte). Il mio obiettivo principale era sbarazzarmi di quell'aspetto artificiale/falso e ho pensato che un dataset così "indefinito" potesse aiutare. Beh, a volte funziona, altre volte peggiora la situazione.

Come nella versione SDXL, è qualcosa da usare con altre LoRA, soprattutto quelle che aggiungono molto colore.

Scusate se sono stato un po' pigro con i prompt e le immagini. Ho praticamente usato le stesse cose della V.3.0, ma dovrebbe andare bene per mostrare come funziona. A volte uccide i dettagli e non aggiunge niente di particolarmente interessante (come l'immagine della medusa o del pappagallo).

• Stesso seed per immagini corrispondenti

• Le prime 2 immagini sono con e senza LoRA, dopo è invertito, quindi prima senza e poi con LoRA (a volte con diverse intensità)

• Alcune hanno le parole trigger all'inizio, ma dubito siano necessarie in Flux

• Basato sul dataset V1.0, non quello nuovo (non volevo usare troppe immagini)

Non sono sicuro di voler fare altre LoRA per Flux, ma testerò parecchio. Al momento è davvero confuso con tutte queste versioni e non sembra valga la pena dedicare troppo tempo a qualcosa che potrebbe diventare obsoleto 10 ore dopo.

E, giusto per nota a margine: è stato addestrato con una 4060 TI (16 GB), uso della VRAM tra 14.4 e 15.2 GB, 3.95s/it - 5.15s/it, 512x, Rank 4. .... quindi, niente 4090 necessario. Ovviamente sarebbe più veloce, ma se puoi lanciare e dimenticare e fare altro nel frattempo non è un problema, a meno che tu non voglia testare qualcosa.

Come sempre, lo userò qua e là per vedere se riesco a tirarne qualcosa di significativo. Molto probabilmente solo per soddisfare la mia curiosità.

V.3.0

Dopo il mio piccolo errore con la v2.0 questa volta ho fatto in modo che fosse la versione definitiva, senza fusioni o altro. Ero un po' scettico all'inizio, per la quantità di immagini aggiunte, che si allontanasse troppo dalla prima versione, ma per fortuna non è successo.

Sono davvero felice che molte persone abbiano trovato un uso per questa LoRA e abbiano creato così tante immagini. Considerando che non era mai stata pensata per fare quello che fa adesso, è bello vedere che ha uno scopo diverso o che può essere usata per altro (come tutte le LoRA).

Probabilmente (molto probabilmente) sarà l'ultima versione per un bel po' di tempo perché aggiungere altre immagini non cambierà l'effetto principale. La maggior parte è fatta usando modelli diversi, combinazioni di LoRA e prompt comunque.

Mi concentrerò di più sul creare immagini reali per trovare più combinazioni (e per rilassarmi un po'), fare nuove LoRA strane, correggere quelle vecchie ecc. Inoltre ho scaricato così tante cose da altri che per la maggior parte non ho ancora avuto modo di usare.

Grazie ancora per tutte le immagini postate finora e spero di vederne altre, anche se ogni LoRA ha un ciclo di vita in questo settore AI in rapido movimento e il fattore "wow" inevitabilmente finirà. :)

V2.0

Piccolo annuncio per la V2.0 (02.04 o 04.02 a seconda del paese)

Bene, sono ufficialmente un idiota.

Ho iniziato ad addestrare un'altra LoRA quando ho notato che le immagini di esempio non mostravano alcun cambiamento anche dopo 2000 passi, cosa praticamente impossibile. Così cercavo il motivo e ho visto un'impostazione che non avevo riportato a posto (o impostato correttamente): il LR warmup. Normalmente non uso warmup steps, ma per quello che avevo fatto prima stavo testando cosa facesse realmente. Era su un dataset di circa 4 immagini. Ho sempre l'impostazione di 100 Epoch, ma è impostato per rilasciare un modello ogni 500 passi e non ogni epoca. Warm Up era al 32%, quindi 4 immagini x 10 ripetizioni x 100 Epoch = 4000 passi (32% warmup = 1280 passi dove non succede praticamente nulla)

Ora, questa LoRA aveva le stesse impostazioni, solo con 60 immagini (60 x 10 x 100 = 60000 - 32% warmup = 19200 passi)... quindi, anche dopo 12000 passi non aveva nemmeno iniziato, il che significa che ho praticamente addestrato solo aria calda. Spiega molto in effetti. Siccome mi sono addormentato non me ne sono accorto, anche se era un po' sconcertante che ci volesse tanto tempo per avere un effetto, che pensavo fosse causato dalle immagini stesse.

Sì... quindi questa è una fregatura e la maggior parte di quello che fa deriva dalla fusione con la V1.0.

Lo addestrerò di nuovo nel weekend quando torno dal lavoro, questa volta con le impostazioni corrette.

Mi dispiace molto. Forse era solo uno scherzo di pesce d'aprile non intenzionale :) .... :(

Ho aggiunto qualche immagine in più perché lo uso abbastanza spesso ultimamente e non caricavo una nuova LoRA da un po', cosa dovuta a combinazione di troppo lavoro e scelta di soggetti complicati e stressanti che "devono" essere fatti nel modo più contorto possibile... tutto il resto sarebbe noioso.

Inoltre, ho dedicato molto tempo a smontare Pony, che in qualche modo mi sorprende. Tolto tutto il materiale furry, anime e pornografico generale, è quasi più basilare del modello Base XL, il che è positivo per aggiungere concetti e stili tramite addestramento LoRA, ma conosce cose più complesse come posizionamento, emozioni, angoli strani ecc... ma questa è un'altra storia.

Non so quanto addestramento riuscirò a fare quest'anno. Forse farò cose più semplici nel frattempo, ma chissà. L'intelligenza artificiale si muove velocemente, quindi potrebbe uscire roba nuova fra un mese... o una settimana.

• Testato lo stesso seed e lo stesso modello con immagini generate precedentemente. Il cambiamento è sottile in alcuni casi e estremo in altri (e ora so perché: leggi l'annuncio)

• Scusa anche per non aver fatto più varianti nelle immagini mostrate. A volte richiede più tempo preparare le immagini che addestrare la LoRA, ma qui non dovrebbe importare troppo. Altre novità seguiranno naturalmente.

V1.0

Ho cercato di spingere un po' l'AI per vedere cosa riuscisse a captare da immagini di addestramento quasi completamente nere e con solo una forma vaga.

Era quasi impossibile preparare il dataset in Photoshop perché praticamente non si vedeva nulla. Ovviamente ognuno ha impostazioni diverse del monitor ecc., quindi è difficile dire se quelle immagini fossero davvero così scure, ma ha messo molta pressione ai miei occhi. Anche ora è un po' difficile guardare le immagini generate, anche se non sono scure come quelle di addestramento.

Ero davvero sorpreso che il modello avesse captato qualcosa. Lo metterò da parte per ora finché non capirò cosa farci. Fa sicuramente cose strane. In qualche modo inserire immagini generate in ControlNet IP-Adapter ne migliora tutto e produce risultati casuali.

Consigli per la generazione:

• Non ne ho idea... buona fortuna.