Corpo trasparente | Sperimentale - v1.0 - Normale

v2.4

Grazie a @Foredev per il suggerimento, che ha finanziato molte sperimentazioni. Questa versione finalmente produce risultati che mi piacciono più della v1 ma sono curioso di sapere da voi come la valutate nell'uso.

Usare pesi forti su caratteristiche specifiche del prompt, come espressioni facciali, può sopraffare l'effetto trasparenza. Ridurre il peso del prompt, es. "(smile:0.7)", può produrre risultati che interpolano con successo tra entrambi i concetti.

v2.3

Ho cercato senza successo di migliorare il modello. Questa versione ha meno artefatti rispetto alle precedenti, ma produce meno coerentemente l'effetto. Se devo investire tutto questo tempo a produrre modelli scadenti, almeno ne rilascio uno per farvelo provare. Forse lo troverete utile.

v1 - Large

Il medesimo dataset di v1 - Normale su una lora di dimensioni doppie. I risultati sembrano promettenti, ma il vostro feedback sarebbe apprezzato.

v1 - Normale (Consigliato)

Con un dataset migliorato i risultati sono migliori. Permane una forte influenza stilistica che sposta i risultati verso uno stile anime e gli sfondi presentano overfitting. L'effetto funziona meglio se lo sfondo è un motivo ripetuto (come muri di pietra, sentieri in cemento) o include elementi che si estendono sul soggetto (finestre, bordi ecc). Anche se non era per nulla taggato per questo, aggiungere "see-through head" può migliorare la trasparenza della testa se usato in aggiunta a "see-through body".

Aggiungere tag come "see-through clothes" al negativo può dare uno stile più invisibile al personaggio femminile. Alcuni problemi possono anche essere risolti aggiungendo "tattoo" al negativo.

v0

Proof of concept: Questo è un proof of concept per addestrare un concetto su immagini sintetiche e modificate. Il dataset iniziale era molto piccolo e il modello finale è sovra-addestrato ma mostra segni di comprensione del concetto.

Spiegazione del metodo

v0 e v1 sono stati addestrati interamente su dati sintetici creati generando soggetto e sfondo in modo indipendente e poi compositando un soggetto semi-trasparente su uno sfondo usando software di editing immagini.

Questo approccio ha uno svantaggio ovvio: i due componenti non sono ben integrati. Come creare allora un soggetto a figura intera orientato correttamente all'angolo di visuale dello sfondo? La mia soluzione è stata ricorrere al mio strumento preferito, il lineart controlnet.
Il prompt iniziale era:

1girl, standing, full body, turning around, looking back, long blonde hair, red jacket, blue jeans, park, grass, bench, concrete path, masterpiece, best quality, amazing detail, high definition

Che poi poteva essere modificato per il soggetto isolato:

1girl, standing, full body, turning around, looking back, long blonde hair, red jacket, blue jeans, simple background, masterpiece, best quality, amazing detail, high definition

e un prompt per lo sfondo:

no humans, park, grass, bench, concrete path, masterpiece, best quality, amazing detail, high definition

Mascherare il soggetto è molto più facile con uno sfondo semplice. Poi può essere sovrapposto come soggetto trasparente su uno sfondo completamente dettagliato. Anche usando un modello che non capiva "see-through body" siamo riusciti a creare dati sintetici di addestramento in modo che potesse apprendere il concetto. Molto interessante!

Prima non avevo idea se questo approccio fosse fattibile. I risultati, sebbene non incredibili, sono migliori di quanto mi aspettassi.