LEOSAM의 HelloWorld XL - HW5.0_Euler_a_Lightning

🖥️친구와 제가 개발한 오픈소스 GPT4V-Image-Captioner를 사용해 보세요. 원클릭 설치가 가능하며 이미지 사전 압축, 이미지 태깅, 태그 통계 등 다양한 기능이 통합되어 있습니다. 최근에는 웹 UI 플러그인 버전도 출시하여 모두가 자유롭게 사용할 수 있습니다!

🌍QQ群 "兔狲·AIGC梦工北厂" 가입 환영합니다. 그룹 번호: 780132897 ；"兔狲·AIGC梦工南厂" 그룹 번호: 835297318(입장 비밀번호: 兔狲). Telegram 채팅방 "兔狲의 SDXL 브로드웨이" 링크:https://t.me/+KkflmfLTAdwzMzI1

📖HelloWorld 7.0 업데이트 - 2024년 6월 13일

한 문장 요약: HelloWorld 7.0은 시리즈 전체에서 최고의 신체 성능을 가진 반복 최적화 버전이며, 개념 범위와 디테일 풍부함이 더욱 향상되었습니다.

업데이트 세부 사항:

1. 부정적인 학습 이미지 추가, 포즈 학습 강화, 클립 모델 최적화를 통해 이전 버전보다 사지와 손의 정확도가 향상되었습니다. 권장하는 부정 프롬프트 단어는 "bad hand, bad anatomy, worst quality, ai generated images, low quality, average quality"입니다.

2. 공식 SPO 모델에서 미세 조정된 LoRA를 추출하여 HelloWorld 7.0에 통합했습니다. SPO는 DPO 기법의 추가 개선입니다. SPO 기본 모델은 DPO XL 기본 모델 및 원본 SDXL 기본 모델보다 더 나은 성능을 보이며, SPO LoRA는 이미지 디테일과 대비를 강화하고 이미지를 아름답게 만듭니다. SPO 기술팀에 감사드립니다.

3. 학습 세트의 개념 범위를 계속 확장했지만, 학습 세트 최적화 및 간소화를 진행했습니다 (큰 학습 세트 미세 조정 비용이 매우 높고, 최근 H800 임대가 어려워 로컬 학습 시간이 부족함). 현재 총 학습 세트는 20,821장 이미지입니다. 학습 세트 해상도 분포는 아래와 같으며, 이미지 수가 많은 여러 해상도를 함께 사용하여 출력하는 것을 권장합니다:

   (832, 1248) - 수: 7128
   (896, 1152) - 수: 6250
   (1248, 832) - 수: 2402
   (1024, 1024) - 수: 1639
   (1360, 768) - 수: 928
   (1152, 896) - 수: 870
   (768, 1360) - 수: 432
   (960, 1088) - 수: 506
   (992, 1056) - 수: 162
   (1088, 960) - 수: 140
   (704, 1472) - 수: 120
   (1056, 992) - 수: 122
   (1472, 704) - 수: 115
   (1632, 640) - 수: 75
   (640, 1632) - 수: 12

4. GPT4O를 사용하여 모든 데이터셋을 재라벨링했습니다. 이번에는 "한 문장 요약 설명 + 다수의 이미지 요소 태그 + XXX에서 영감 + 심미적 품질 설명 단어" 구조화 방식으로 라벨링했으며, 심미적 품질 설명 단어는 최악 품질, 낮은 품질, 평균 품질, 최고 품질, 걸작의 다섯 단계로 나뉩니다. 대표 라벨링 예시는 다음과 같습니다:

   붉은색과 베이지색 리본으로 감싼 인간 손을 특징으로 하는 개념 미술, 평범하고 밝은 배경에 격리, 사실적 스타일, 미니멀한 색채 구성, 부드러운 질감, 길고 초현실적 심미성, 살바도르 달리의 초현실주의 작품에서 영감, 걸작

HelloWorld 7.0 버전의 Inspired by XXX에 포함된 "고빈도 태깅 단어 리스트"와 "고빈도 아트 스타일 리스트"는 상업 라이선스 사용자에게만 제공됩니다. 과거 HelloWorld XL 시리즈 모델 허가를 구매한 파트너는 누락 사항이 있으면 무료로 받으실 수 있도록 연락 바랍니다.

사용자는 HelloWorld 6.0 고빈도 태깅 단어 리스트를 참고할 수 있습니다. 또한 갤러리에 150장 이상의 고품질 HelloWorld 7.0 예제 이미지를 제공하여 출력 참고용으로 활용할 수 있습니다. 모델 제작은 쉽지 않으니 플레이어 여러분의 이해와 관용에 감사드립니다!

📖HelloWorld 6.0 업데이트 - 2024년 4월 20일

LEOSAM HelloWorld 6.0 상위 250 고빈도 태깅 단어 리스트

기다려 주셔서 감사합니다. 최근 취업 준비로 HelloWorld 업데이트가 다소 지연되었습니다. 버전 6.0의 주요 업데이트는 다음과 같습니다:

• HelloWorld 6.0은 버전 5.0을 기반으로 한 반복 개선입니다. 자체 테스트 결과 사실감 효과는 5.0과 크게 차이 없으며, 주된 강점은 학습 세트 내 개념 범위가 확장되었다는 점입니다. 피드백에 따라 초현실주의, 뷰두아르, 단체 사진, 마스크, 종이접기, 3D 렌더링, 자동차, 용, 임산부 사진 등 다양한 테마가 강화되었습니다. 일러스트에 일부 예시가 제공됩니다.

• HelloWorld 6.0은 부정 프롬프트에 대응하기 위해 일부 저품질 이미지를 의도적으로 포함했습니다. 권장 부정 프롬프트 단어는 "low quality, jpeg artifacts, blurry, poorly drawn, ugly, worst quality"입니다.

• HelloWorld 6.0 학습 세트 본체는 GPT4v 태깅을 사용하며, 태깅이 어려운 이미지에는 blip2-opt-6.7b가 안내하는 cogVQA를 적용했습니다. 이 멀티모달 모델들의 태깅 언어 스타일은 전통적인 WD1.4 태거와 크게 다르므로, 다양한 개념을 정확히 유도할 수 있도록 HelloWorld 6.0 학습 세트 상위 250 고빈도 태깅 단어를 정리해두었습니다. 해당 고빈도 단어는 이 문서에서 확인 가능합니다.

마지막으로 SD3가 곧 출시될 예정이지만, 저는 계속해서 HelloWorld XL 7.0까지 업데이트하여 7.0 버전에서 더 큰 향상을 이루고자 합니다!

📖2024.2.22 "HW5.0_Euler_a_Lightning" 소개

이 모델은 HelloWorld SDXL 기본 모델의 실행 가속 버전으로, SDXL-Lightning 기술을 모두 포함합니다. Eular a 샘플러와 CFG 1이 장착되어 있어 6~8 스텝만에 이미지를 생성할 수 있으며, 이는 원본 SDXL 버전보다 3배 빠른 성능입니다. 또한 비교 결과 LCM 또는 Turbo 버전보다 이미지 품질이 우수합니다.

이 모델의 권장 출력 매개변수는 다음과 같습니다:

샘플러: Eular a (중요! 이 모델은 특히 Eular a에 최적화되어 있으며, 다른 샘플러는 좋은 결과를 내기 어려울 수 있습니다)

CFG 스케일: 1

샘플링 단계: 8단계 (6~8단계 권장)

고해상도 알고리즘: ESRGAN 4x / 8x_NMKD-Faces_160000_G

고해상도 업스케일 배율: 1.5x

고해상도 단계: 8단계

고해상도 노이즈 감소 강도: 0.3

📖2024.2.11 "HelloWorld 5.0 GPT4V" 소개

HelloWorld 5.0은 HelloWorld 시리즈 역사상 가장 큰 업데이트이며, GPT-4v로 태깅되었고 SF, 동물, 건축, 일러스트 등 분야에서 큰 미세 조정을 거쳤습니다.

비교 테스트 결과 이번 버전의 향상점은 다음과 같습니다:

1. 보다 다양하고 역동적인 캐릭터 포즈와 이미지 구성을 통해 시각적으로 매력적인 그림 생성;

2. 영화 데이터셋이 광범위하게 훈련됨. 버전 2.0부터 4.0까지 영화 질감이 약했으나 많은 팬들이 버전 1.0의 leogirl 스타일을 그리워했음. 이번 업데이트는 영화 질감을 강화하면서 다른 사진 품질을 저해하지 않음. 'film grain texture', 'analog photography aesthetic' 같은 프롬프트로 영화 질감을 유발 가능;

3. SF, 스릴러, 동물 등의 주제 표현력 향상, 메카 및 기타 주제는 더 디자인된 느낌. 눈표범, 레서판다, 자이언트 판다, 호랑이, 팔라스 고양이, 집고양이 및 개 등이 더욱 생동감 있게 표현됨;

4. GPT 태깅 덕분에 프롬프트 준수 및 개념 정확도 추가 개선.

단점은 다음과 같습니다:

1. 대규모 미세 조정 업데이트로 인해 사지 오류율이 약간 증가할 수 있는데, 이는 새로운 최적화 영역에 진입하는 과정에서 정상적인 현상임. 이전 버전들은 사지 개선을 위해 광범위한 테스트를 거쳤으며, 이번 버전은 시간 제약으로 인해 제한적이었음. 그럼에도 이번 버전의 사지 정확도는 버전 1.0보다 우수하며, 향후 업데이트에서 계속 개선 예정.

2. 영화 질감 강화로 인해, GPT 태깅이 최대한 정확해도 이미지에 불가피한 따뜻한 톤이 포함될 수 있음. 그러나 'studio light' 또는 'sharp focus' 같은 프롬프트를 사용하면 고화질 스튜디오 품질 이미지 생성 가능하며, 적절한 프롬프트 사용 시 이전 버전보다 피부 톤과 시각적 매력이 향상됨.

3. 전신 캐릭터 이미지가 더 많이 포함되어 전신 효과가 강화되어 있으며, 별도의 캐릭터 구성이 없으면 더 넓은 장면이 생성될 수 있음. 현재 1024 해상도의 전신 얼굴 디테일은 반신이나 클로즈업보다 덜 선명할 수 있으나, adetailer와 1.5x 고해상도 0.3 강도 픽스 또는 특정 구성을 지정하는 프롬프트로 개선 가능.

4. 소량의 고품질 일러스트 데이터 세트가 추가되어 애니메이션 스타일 관련 프롬프트 시 애니메이션 이미지가 생성될 가능성이 있음. 우려가 있다면 프롬프트를 조정하세요.

이상이 이번 버전의 주요 업데이트입니다. SDXL 기본 모델 학습은 어렵고, 학습 세트가 만 장에 가까워질 때마다 태깅 및 학습 비용이 각 모델당 300달러 이상 소요됩니다. 모델 사용을 환영하며 피드백을 기다립니다! 만족하시면 널리 알려 주시면 대단히 감사하겠습니다.

📖2024.1.31 "HelloWorld 4.0" 소개

HelloWorld4.0은 blip+clip 태깅에서 GPT4V 태깅으로 점진적 전환 버전입니다. 순수 GPT4V 태깅 모델을 최초 훈련한 후, HelloWorld3.2 버전의 다수가량과 Juggernaut XL의 일부(0.05 비율)를 병합해 피부 톤을 조정했습니다. 새 버전은 3.2 버전 대비 프롬프트 준수와 개념 커버리지가 개선되었습니다.

새로운 GPT4V 태깅 학습 세트는 helloworld3 시리즈의 4000장에서 8000장으로 두 배 증가했으며, 인물뿐 아니라 동물, 건축, 자연, 음식, 일러스트 등도 포함합니다. 다만 순수 GPT4V 버전에서 과적합 문제가 나타났는데, 이는 학습 이미지 수가 두 배로 증가한 데 기인한다고 봅니다. 이후 반복 최적화 단계 중 하나는 인물과 비인물 개념 모두 충분히 훈련하면서 포함하는 방법을 찾는 것입니다. 현재는 원본과 신규 버전을 융합해 미세 조정하며 버전 간 원활한 전환을 도모해, 확장된 개념 세트와 GPT4V 태깅으로 인한 장점은 아직 크게 체감되지 않으나, 후속 5 및 6세대에서 점차 뚜렷해질 예정입니다.

📖2024.1.5 "HelloWorld 3.2" 소개

버전 3.2는 DPO 기술로 최적화된 반복 버전이며, 3.0 버전과 비교해 피부 톤과 사지 정확도에 약간의 개선이 있지만 큰 향상은 아닙니다. 그래서 4.0 대신 3.2로 버전명이 지정되었습니다.

📖2023.12.15 "HelloWorld 3.0" 소개

1. 새 버전은 학습 세트를 확장하여 SF와 예술 등 다양한 스타일 표현 능력을 향상시켰습니다.

2. 슬라이더 기술로 제작된 자체 품질 향상 LoCon을 도입하여 이미지 질감을 개선하고 손가락과 사지 왜곡 문제를 완화했습니다.

📖2023.11.17 "HelloWorld 2.0" 소개

모두 기다려주셔서 감사합니다. 여러 난관을 극복한 끝에 HelloWorld 2.0 버전을 만족스러운 상태로 여러분께 선보이게 되었습니다. HelloWorld 2.0과 1.0의 주요 차이점은 다음과 같습니다:

1. HelloWorld 2.0은 더 이상 트리거 단어가 필요 없으며, 1.0의 트리거 단어 사용 결과와 동등한 품질을 제공합니다. 1.0의 'leogirl' 트리거 단어는 동아시아인과 강하게 연관되었습니다. 트리거 단어가 없어진 후에도 '1girl'과 같이 경주를 명시하지 않으면 동아시아 인물 사진이 나올 가능성이 있으나 국적, 피부색 등의 키워드로 인종을 지정할 수 있습니다. 예를 들면 'Chinese', 'Russian', 'Iranian', 'Jamaican', 'Kenyan', 'dark-skinned', 'pale-skinned' 등이 있습니다. 트리거 효과 예시는 아래와 같습니다.

   

   다른 나라 및 성별의 인물 이름을 프롬프트에 적으면 다양한 스타일의 캐릭터를 얻을 수 있습니다. 예: 한메이메이(중국), 소피 마틴(프랑스), 프리야 파텔(인도), 파티마 알-하산(아랍), 완지루 므완기(케냐) 등. 위 예시는 일부일 뿐이며, 다양한 프롬프트와 플레이 방법을 탐색하고 공유하시길 바랍니다.

   

2. HelloWorld 2.0은 품질과 색상 균형을 조절하며 더 다양한 스타일 옵션을 제공합니다. 1.0 버전은 'leogirl'과 함께 사용 시 강한 영화 질감 이미지가 생성되기 쉬웠으나, 2.0은 영화 질감에 구속되지 않고 품질 관련 프롬프트로 맞춤 설정할 수 있습니다. 테스트를 통해 효과적인 프롬프트 예시는 다음과 같습니다:

   고급 패션 촬영, 제품 소개 사진, 인기 한국 메이크업, 애교살, 선명한 고품질 사진, 스튜디오 조명, 중형 카메라 사진, 마미야 촬영, 아날로그 필름, 부드러운 조명의 중형 초상, 실제 이미지, 정교한 편집 사진, 로우 사진, 실제 사진, 스캔 사진, 필름 스틸

   이 프롬프트들의 색상 효과 예시는 아래와 같습니다:

   

3. HelloWorld 2.0의 학습 세트는 전신 사진 비율을 크게 늘려 SDXL이 전신과 원거리 초상화 생성에 더 강하도록 했습니다. 1.0 대비 개선되었으나, 전신 사진 생성 시에는 'adetailer' 사용이 강력히 권장됩니다. 또한 충분한 비디오 메모리(24GB)가 있다면 1.5배 고해상도 보정을 수행하는 것이 얼굴 디테일을 크게 향상시킵니다.

📖2023.8.29 "HelloWorld" SDXL 기본 모델 소개

특별 안내: HelloWorld 1.0 모델을 사용할 때는 반드시 트리거 단어 "leogirl"을 추가하세요.

SD1.5 기본 모델 “MoonFilm”과는 달리, “HelloWorld”는 완전히 새롭고 현실적인 SDXL 기본 모델 시리즈입니다. 더 많은 사용자가 HelloWorld를 발견할 수 있도록 Moonfilm의 원본 모델 링크를 유지했습니다. 이는 SDXL 신플랫폼에서 Moonfilm의 정신적 연속성으로 볼 수 있으나, HelloWorld는 인물 사진의 사실감과 영화 같은 품질 이상의 목표를 지닙니다. SDXL이 SD1.5보다 훨씬 우수한 정보량과 텍스트 이해 능력을 지녀, HelloWorld는 사실적으로 모든 것을 묘사하거나, 가상 사진 세계를 점차 구축하려는 기본 모델입니다.

SD1.5 현실적 기본 모델은 상당히 성숙 단계에 도달했으며, 기술적 돌파구 없이는 큰 성능 향상이 어려워 Moonfilm & MoonMix 시리즈는 사실상 업데이트가 중단될 예정입니다. 제 주력은 HelloWorld SDXL 대형 모델 개발에 집중할 계획이며, 1.0 버전은 현재 다운로드 가능하고 2.0 버전은 긴급 개발 중으로 9월 초 업데이트 예정입니다.

새로운 SDXL 모델인 HelloWorld와 기존 SD1.5 모델의 차이점은 다음 세 가지입니다:

1. 일반적으로 SD1.5 기본 모델은 트리거 단어가 없지만, HelloWorld 1.0은 "leogirl" 트리거 단어를 반드시 사용해야 SDXL 모델의 학습 세트 효과가 안정적으로 발동합니다.

2. HelloWorld 모델은 1024*1024 픽셀 해상도에서 직접 출력을 지원해 고해상도 확대가 불필요합니다. 직접 출력한 클로즈업 초상화 품질은 SD1.5 버전과 동등하지만, 원거리 초상화 출력 시에는 여전히 결점이 있으므로 ADetailer 플러그인을 사용하는 것이 권장됩니다.

3. SDXL은 이제 간단한 자연어 프롬프트로의 출력이 용이해졌습니다. 보다 자연스러운 언어 프롬프트를 사용해 AI 현실 사진 출력을 개선해 보세요.

여러 차례 테스트한 권장 그리기 매개변수는 다음과 같습니다:

• 스텝 ≥ 25

• 샘플러: DPM++ 2M Karras

• CFG 스케일: 10

• 사이즈 ≥ 1024x1024

• ADetailer: 활성화

모두 HelloWorld를 시도하고 많은 피드백을 부탁드립니다. 여러분의 소중한 의견은 모델 개선에 매우 중요합니다!

저작권 고지:

HelloWorld 시리즈 모델(이하 "모델")은 본인(이하 "소유자")이 LiblibAI 플랫폼의 도움을 받아 제작하였습니다. 소유자의 허가 없이 LiblibAI 및 Civitai를 제외한 플랫폼에 모델을 재배포하는 것은 금지됩니다.

소유자는 모델로 생성된 이미지를 비상업적 교육 또는 정보 제공 목적으로 무상 사용할 수 있도록 허용하며, 다음 조건을 충족해야 합니다:

- 사용자는 관련 법률을 준수하고 모델 또는 제3자의 권리를 침해하지 않아야 합니다.

- 이미지에는 반드시 "LEOSAM의 HelloWorld 기본 모델로 제작됨"이라는 출처 표기를 명확히 해야 합니다.

상업적 이용은 사전 소유자와의 상업 라이선스 계약이 필요하며, 상업 라이선스 및 맞춤화 문의는 소유자의 홈페이지에 기재된 연락처로 문의해 주시기 바랍니다.

SDXL 모델 개발 및 무료 배포는 상당한 노력의 결과로, 소유자는 오픈소스 개발에 대한 커뮤니티의 기여에 감사하여 개인 애호가를 위한 HelloWorld 모델의 지속적 무상 업데이트를 약속합니다. 모델의 발전과 정밀화를 위한 상업적 협력도 중요시합니다. 소유자는 모든 사용자의 이해와 지원에 감사드립니다.

무단 사용은 관련 법률을 위반할 수 있으며 법적 처벌을 받을 수 있습니다. 본 고지 해석권은 소유자에게 독점적으로 있으며, 현행 법률 및 규정에 따릅니다.