이 모델은 LoCon입니다. 로드를 위해 반드시 Lycoris 확장 기능을 설치해야 합니다.

저는 Lora Block Weight를 사용하고 있습니다. 또한 Additional Networks와 SD Webui Lycoris도 사용할 수 있다고 생각합니다.

업데이트 2023/4/27: 훈련이 정체 상태에 도달해 데이터셋에 얽힌 손가락과 같은 좀 더 복잡한 이미지들을 추가하는 중입니다. 학습률을 더 낮춰야 할 것 같아 앞으로 속도가 느려질 수 있습니다. 진행 상황을 계속 알려드리겠습니다.

베타 2 사용 팁:

• vanilla Stable Diffusion 1.5 위에 완전히 새로 훈련한 모델입니다. 동료 애호가의 조언을 바탕으로 만들었으며, 다양한 모델과의 호환성이 훨씬 좋아진 점이 놀랍습니다. 모델 스타일에 전혀 영향을 주지 않으며, 주로 손과 가끔 팔에만 영향을 미치고 나머지 부분은 건드리지 않습니다.

• 강도 1에서 가장 잘 작동하는 듯하며, 1.5나 2처럼 높이면 일부 이미지에서는 도움이 되지만 다른 이미지에서는 품질이 나빠질 수 있습니다. CFG 스케일은 조절할 필요 없으며, 이 수준에서는 과도한 처리 현상이 없습니다.

• 다른 LoRA들과 자유롭게 혼합 가능합니다.

• 긍정 프롬프트에 "nice hands, perfect hands"를 넣는 것이 가장 좋았고 (가중치를 높이면 오히려 안 좋아짐), 부정 프롬프트에는 "(extra fingers, deformed hands, polydactyl:1.5)"를 넣으세요. 이는 EnvyMix v1 (아마도 RevAnimated)에서 효과적이지만, 다른 모델에서는 결과가 다를 수 있습니다.

• "Bad hands" 부정 임베딩은 상태를 악화시키는 경향이 있으나 충분히 테스트하지는 않았습니다.

• 기적을 바라는 것은 아니지만, 많은 이미지에 걸쳐 평균적으로는 상태가 전반적으로 개선되는 것을 확인했습니다. 앞으로 몇 차례 더의 훈련을 통해 개선될 것이라 기대합니다.

알파 3 및 베타 1 사용 팁:

• 이 조언은 RevAnimated 1.2용입니다. 다른 모델에선 결과가 다를 수 있습니다.

• 약간 과도한 처리 현상이 있지만, 효과를 내려면 강도를 1.0으로 설정해야 합니다. 이를 위해 CFG 값을 5~6 정도로 낮추는 방법이 있습니다. 다이나믹 스레숄딩 확장을 활성화하고 CFG 5를 모방하도록 설정하면, CFG 값을 9~10으로 올려도 결과가 좋습니다.

• 다른 LoRA와 함께 사용 시 의외의 결과가 나오기도 하니, 사용 환경에 따라 다를 수 있습니다. 현재는 간단한 용례에서 안정적 작동을 시도 중입니다.

• 중립 자세 손에서는 다소 퇴보한 느낌이 있지만, 복잡한 상호작용(예: 물건 잡기)에서는 꽤 개선되었습니다. 예시 이미지에 대장장이와 사서 사진이 많은 이유입니다.

• 프롬프트는 단순하게 유지하는 것이 더 좋습니다.

• RevAnimated 사용 시, 8장 중 1~2장은 바로 사용할 수 있고, 나머지 가까운 이미지들은 인페인팅으로 수정 가능했습니다.

알파 2 사용 팁:

• 현재 강도가 강해지고 있으며, 강도 1 근처에서 가장 잘 작동합니다. 이전 버전처럼 1.3으로 하면 품질이 나빠집니다.

• 부정 프롬프트는 여전히 "(extra fingers, deformed hands:1.15), (worst quality, low quality, poor quality, bad quality:1.35)"입니다.

• 긍정 프롬프트에 간단히 "nice hands"를 넣는 것이 효과적이었습니다.

알파 1 사용 팁:

• 프롬프트에 "beautiful hands, perfect hands, fingernails"라는 단어를 포함하세요. 중간 정도 위치에 넣고 강조하지 않는 것이 가장 좋았습니다.

• 알파 1 LoCon은 RevAnimated 1.1에서 약 1.3 강도에서 가장 잘 작동합니다 (다른 모델에서는 다를 수 있음).

• 부정 임베딩을 손 개선용으로 사용하지 마세요. badhandv4를 부정 프롬프트에서 제거하니 상당히 개선되었습니다. 부정 임베딩 없이 시도해보는 것도 좋습니다. 요즘은 사용하지 않고 있습니다.

• 부정 프롬프트는 "(extra fingers, deformed hands:1.15), (worst quality, low quality, poor quality, bad quality:1.35)"로 우여곡절 끝에 강도와 용어를 조정하여 얻은 결과입니다. 상당히 효과적입니다.

• 이로써 SD 1.5에서 손 문제 해결 가능성이 있음을 기대합니다. 좋은 프롬프트에도 완벽한 결과를 얻지는 못하지만, 근접한 상태입니다. 긍정 및 부정 프롬프트에 아무것도 추가하지 않고도 잘 형성된 손만 만들면 완료하겠습니다.

이제 원래 정기 업데이트인 readme로 돌아갑니다...

MidJourney의 손이 최근 크게 개선된 이유가 고품질 손 이미지셋에 대해 별도 네트워크를 훈련했기 때문이라는 이론을 테스트하고 있습니다. 아무도 시도하지 않은 것으로 보입니다. 이 LoRA는 아직 MidJourney 수준은 아니지만, 여러 날 밤새 훈련하며 부족한 부분에 대해 데이터셋을 보완 중이고 품질이 꾸준히 좋아지고 있습니다. 그래서 지금 공개해 사람들이 사용 시작할 수 있도록 합니다. 초기 알파로 생각하세요 — 더 이상 개선되지 않을 때까지만 업데이트를 중단합니다.

예시 이미지는 엄선한 것입니다. 이 모델이 모든 손 생성물을 무조건 개선한다고 기대하지 마세요. 오히려 일부는 악화될 수 있으니, 하나가 아니라 많은 이미지로 평가하세요. 저에게 효과가 있었던 것처럼, 여러분도 대부분 결과가 같거나 더 나은 품질이 될 것입니다 (다른 방식으로 나쁜 것도 있을 수 있음).