투명한 몸 | 실험용 - v1.0 - 일반

v2.4

@Foredev 님의 팁 덕분에 많은 실험을 진행할 수 있었습니다. 이 버전은 드디어 v1보다 더 만족스러운 결과를 내지만, 여러분이 사용하면서 어떻게 느끼는지 궁금합니다.

얼굴 표정과 같은 특정 특징을 최대 강도로 프롬프트할 경우 투명 효과가 과도해질 수 있습니다. "(smile:0.7)"과 같이 프롬프트 가중치를 낮추면 두 개념 사이를 성공적으로 보간하는 결과를 얻을 수 있습니다.

v2.3

모델을 개선하려 여러 차례 시도했으나 실패했습니다. 이 버전은 이전의 일부 아티팩트는 줄었지만 효과를 내는 데 일관성이 떨어집니다. 나쁜 모델을 훈련시키는 데 많은 시간을 쓰는 대신, 하나를 공개해 여러분께서 활용해 보시길 바랍니다.

v1 - 대형

v1 - 일반 버전과 동일한 데이터셋을 사용하지만 크기가 두 배인 lora입니다. 결과는 유망해 보이며, 피드백을 환영합니다.

v1 - 일반 (추천)

강화된 데이터셋으로 결과가 개선되었습니다. 여전히 강한 스타일 영향이 있어 결과가 애니메이션 스타일에 편향되고 배경은 과적합되는 경향이 있습니다. 이 효과는 배경이 반복 무늬(예: 돌담, 콘크리트 길)거나 피사체를 가로지르는 요소(창문, 모서리 등)가 포함될 때 가장 잘 작동합니다. "see-through head"을 "see-through body"와 함께 사용하면 머리 부분의 투명도가 향상될 수 있습니다.

"see-through clothes"와 같은 부정 태그를 추가하면 더 투명한 소녀 스타일을 얻을 수 있습니다. "tattoo" 태그를 부정으로 넣으면 일부 문제를 해결할 수 있습니다.

v0

개념 증명: 합성 및 수정 이미지를 사용한 개념 훈련에 대한 개념 증명입니다. 초기 데이터셋은 매우 작았으며 결과 모델은 과도하게 학습되었지만 개념 이해의 징후를 보입니다.

방법 설명

v0와 v1은 주제와 배경을 독립적으로 생성한 다음 이미지 편집 소프트웨어로 반투명한 주체를 배경 위에 합성하여 완전 합성 데이터로 훈련했습니다.

이 방법에는 두 구성 요소가 잘 통합되지 않는 명백한 단점이 있습니다. 그렇다면 배경의 시점에 맞게 전체 신체 피사체를 어떻게 생성할까요? 제 해결책은 제가 좋아하는 도구인 lineart controlnet을 사용하는 것이었습니다.
초기 프롬프트는 다음과 같았습니다:

1girl, standing, full body, turning around, looking back, long blonde hair, red jacket, blue jeans, park, grass, bench, concrete path, masterpiece, best quality, amazing detail, high definition

그 후 분리된 주체용으로 수정할 수 있었습니다:

1girl, standing, full body, turning around, looking back, long blonde hair, red jacket, blue jeans, simple background, masterpiece, best quality, amazing detail, high definition

그리고 배경 프롬프트:

no humans, park, grass, bench, concrete path, masterpiece, best quality, amazing detail, high definition

간단한 배경을 사용하면 주체를 마스킹하는 것이 훨씬 쉬워집니다. 그런 다음 완전히 디테일한 배경 위에 투명한 주체로 중첩할 수 있습니다. "see-through body"를 이해하지 못하는 모델을 사용했음에도 합성 학습 데이터를 생성하여 학습할 수 있게 했습니다. 꽤 멋집니다!

이전에 이 방법이 실행 가능한지 전혀 몰랐습니다. 결과는 놀라울 정도는 아니지만 예상보다 좋았습니다.