Przezroczyste ciało | Eksperymentalne - v1.0 - Normalne

v2.4

Dzięki @Foredev za wskazówkę, co umożliwiło wiele eksperymentów. Ta wersja w końcu generuje wyniki, które wolę niż v1, ale jestem ciekaw waszych opinii, jak wypada w waszym użyciu.

Sterowanie specyficznymi cechami na maksymalnej sile, jak mimika twarzy, może przytłoczyć efekt przezroczystości. Zmniejszenie wagi prompta, np. "(smile:0.7)", może dać wyniki skutecznie interpolujące oba koncepcje.

v2.3

Próbowałem bez skutku ulepszyć model. Ta wersja ma mniej starszych artefaktów, ale mniej spójnie generuje efekt. Jeśli mam poświęcać tyle czasu na trenowanie słabych modeli, mogę chociaż udostępnić jeden z nich, abyście mogli spróbować. Może znajdziecie dla niego zastosowanie.

v1 - Large

Ten sam zbiór danych co v1 - Normal, ale na lorze dwa razy większym. Wyniki wydają się obiecujące, ale będę wdzięczny za feedback.

v1 - Normal (Polecane)

Dzięki ulepszonemu zbiorowi danych wyniki są lepsze. Nadal występuje silny wpływ stylu, który nakierowuje wyniki na styl anime, a tła wykazują przetrenowanie. Efekt najlepiej działa, gdy tło jest powtarzalnym wzorem (jak kamienne ściany, betonowe ścieżki) lub zawiera elementy rozciągające się na postać (okna, krawędzie itp.). Choć nie było to wcale otagowane, dodanie "see-through head" może poprawić przezroczystość głowy używanej obok "see-through body".

Dodanie tagów „see-through clothes” do negatywu może dać efekt bardziej jak niewidzialna dziewczyna. Niektóre problemy może też rozwiązać dodanie "tattoo" do negatywu.

v0

Dowód koncepcji: Jest to dowód koncepcji treningu na syntetycznych i zmodyfikowanych obrazach. Początkowy zbiór danych był bardzo mały, a powstały model jest nadmiernie dopasowany, ale wykazuje oznaki zrozumienia konceptu.

Wyjaśnienie metody

v0 i v1 zostały wytrenowane wyłącznie na danych syntetycznych tworzonych poprzez generowanie postaci i tła oddzielnie, a następnie nakładanie półprzezroczystej postaci na tło za pomocą oprogramowania do edycji obrazów.

Ta metoda ma oczywistą wadę, ponieważ dwie części nie są dobrze zintegrowane. Jak zatem stworzyć pełnoplastyczną postać prawidłowo zorientowaną względem kąta widzenia tła? Moim rozwiązaniem było sięgnięcie po ulubione narzędzie, lineart controlnet.
Początkowy prompt brzmiał:

1girl, standing, full body, turning around, looking back, long blonde hair, red jacket, blue jeans, park, grass, bench, concrete path, masterpiece, best quality, amazing detail, high definition

który następnie można było zmodyfikować dla izolowanej postaci:

1girl, standing, full body, turning around, looking back, long blonde hair, red jacket, blue jeans, simple background, masterpiece, best quality, amazing detail, high definition

i prompt tła:

no humans, park, grass, bench, concrete path, masterpiece, best quality, amazing detail, high definition

Maskowanie postaci jest znacznie łatwiejsze przy prostym tle. Można ją wtedy nałożyć jako przezroczystą postać na w pełni szczegółowe tło. Nawet używając modelu, który nie rozumiał "see-through body", mogliśmy stworzyć syntetyczne dane treningowe, aby mógł się tego nauczyć. Całkiem sprytne!

Przedtem nie miałem pojęcia, czy to wykonalne. Wyniki, choć nie niesamowite, są lepsze niż się spodziewałem.