LEOSAM의 HelloWorld XL - HelloWorld XL 1.0

🖥️저와 친구가 개발한 오픈 소스 GPT4V-Image-Captioner를 사용해 보세요. 원클릭 설치가 가능하며 이미지 사전 압축, 이미지 태깅 및 태그 통계 같은 여러 기능을 통합하고 있습니다. 최근에는 이 도구의 webui 플러그인 버전도 출시했으며, 누구나 환영합니다!

🌍『兔狲·AIGC梦工北厂』 QQ그룹에 가입하세요. 그룹 번호: 780132897 ；『兔狲·AIGC梦工南厂』, 그룹 번호: 835297318 (가입 답변: 兔狲). 『兔狲의 SDXL 브로드웨이』 텔레그램 그룹 대화, 링크: https://t.me/+KkflmfLTAdwzMzI1

📖HelloWorld 7.0 업데이트 - 2024년 6월 13일

한 문장 요약: HelloWorld 7.0은 전체 시리즈에서 최고의 바디 퍼포먼스를 자랑하며 개념 범위와 디테일 풍부도가 더욱 향상된 반복 최적화 버전입니다.

업데이트 세부사항:

1. 부정적 학습 이미지 추가, 포즈 학습 강화, 클립 모델 최적화를 통해 이전 버전보다 사지 및 손 정확도가 개선되었습니다. 추천하는 부정 프롬프트 단어는 "bad hand, bad anatomy, worst quality, ai generated images, low quality, average quality"입니다.

2. 공식 SPO 모델에서 미세 조정된 LoRA를 추출하여 HelloWorld 7.0에 도입했습니다. SPO는 DPO 방법의 추가 개선판으로, SPO 기본 모델은 DPO XL 및 원래 SDXL 기본 모델보다 더 나은 성능을 보입니다. SPO LoRA는 이미지 디테일과 대비를 향상하고 이미지를 아름답게 합니다. SPO 기술팀에 감사드립니다.

3. 학습 세트의 개념 범위를 계속 확장하는 동시에 최적화 및 간소화했습니다 (대규모 학습 세트 미세 조정 비용이 너무 높고 최근 H800 대여가 어려워 로컬 훈련 시간이 부족함). 현재 총 학습 세트는 20,821장의 이미지로, 해상도 분포는 다음과 같으며 많은 이미지가 포함된 여러 해상도로 출력하는 것을 권장합니다:

   (832, 1248) - 개수: 7128
   (896, 1152) - 개수: 6250
   (1248, 832) - 개수: 2402
   (1024, 1024) - 개수: 1639
   (1360, 768) - 개수: 928
   (1152, 896) - 개수: 870
   (768, 1360) - 개수: 432
   (960, 1088) - 개수: 506
   (992, 1056) - 개수: 162
   (1088, 960) - 개수: 140
   (704, 1472) - 개수: 120
   (1056, 992) - 개수: 122
   (1472, 704) - 개수: 115
   (1632, 640) - 개수: 75
   (640, 1632) - 개수: 12

4. GPT4O를 사용해 모든 데이터셋을 재라벨링했습니다. 이번에는 구조화된 라벨링 방식을 사용했으며, 구조는 "한 문장 요약 설명 + 여러 이미지 요소 태그 + XXX에 영감받음 + 미적 품질 설명 단어"로 구성되고, 미적 품질 설명 단어는 최악의 품질, 낮은 품질, 평균 품질, 최고 품질, 걸작으로 5단계로 나뉩니다. 대표적인 라벨링 예시는 다음과 같습니다:

   빨간색과 베이지색 리본으로 감싸인 인간 손을 특징으로 한 개념적 예술, 단색의 밝은 배경에 고립된, 사실적인 스타일, 미니멀한 색채 구성, 부드러운 질감, 길고 초현실적인 미학, 살바도르 달리의 초현실주의 작품에 영감받음, 걸작

7.0 버전에서 Inspired by XXX에 포함된 '고빈도 태그 단어 목록'과 '고빈도 아트 스타일 목록'은 상업 라이선스 사용자에게만 제공됩니다. 이전에 HelloWorld XL 시리즈 모델 권한을 구매한 파트너분들은 누락된 사항이 있으면 무료로 받을 수 있도록 연락주세요.

사용자들은 HelloWorld 6.0 고빈도 태그 단어 목록을 참고할 수 있습니다. 또한 갤러리에 150장 이상의 고퀄리티 HelloWorld 7.0 예시 이미지도 제공하며, 출력 시 참고자료로 활용할 수 있습니다. 모델 제작은 쉽지 않으니 여러분의 이해와 관용에 감사드립니다!

📖HelloWorld 6.0 업데이트 - 2024년 4월 20일

LEOSAM HelloWorld 6.0 상위 250개 고빈도 태깅 단어 목록

여러분의 인내에 감사드립니다. 최근 구직 활동으로 인해 HelloWorld 업데이트가 다소 지연되었습니다. 6.0 버전의 주요 업데이트 내용은 다음과 같습니다:

• HelloWorld 6.0은 5.0 버전을 기반으로 한 반복적 개선판입니다. 저의 자체 테스트 결과, 리얼리즘 효과는 5.0 버전과 큰 차이가 없습니다. 6.0 버전의 주요 강점은 학습 세트 내 개념 커버리지가 더 넓다는 점입니다. 피드백에 따라 초현실주의, 부도와, 단체사진, 마스크, 종이접기, 3D 렌더링, 자동차, 용, 임신 촬영 등 여러 테마에서 향상이 있었습니다. 일부 예시는 그림에 제공됩니다.

• HelloWorld 6.0은 모델의 부정 프롬프트 반응을 강화하기 위해 의도적으로 일부 저품질 이미지를 학습에 포함했습니다. 부정 프롬프트에는 "low quality, jpeg artifacts, blurry, poorly drawn, ugly, worst quality"를 사용하는 것이 권장됩니다.

• HelloWorld 6.0 학습 세트 본체에는 GPT4v 태깅이 적용되었습니다. GPT4v가 태깅할 수 없는 이미지에는 blip2-opt-6.7b가 가이드하는 cogVQA를 사용합니다. 이 다중 모달 모델들의 태깅 언어 스타일은 기존 WD1.4 태거와 크게 다릅니다. 학습 세트 내 다양한 개념 트리거를 보다 정확히 하기 위해 HelloWorld 6.0 학습 세트 상위 250개 고빈도 태깅 단어를 정리했습니다. 이 고빈도 단어들은 이 문서에서 확인할 수 있습니다.

마지막으로, SD3가 곧 출시되더라도 HelloWorld XL 7.0으로 계속 업데이트해 7.0 버전에서 더 큰 개선을 이루고자 합니다!

📖2024.2.22 "HW5.0_Euler_a_Lightning" 소개

이 모델은 HelloWorld SDXL 기본 모델의 가속 버전으로 SDXL-Lightning 기술을 통합했습니다. Eular a 샘플러와 CFG 1을 장착해 원본 SDXL 버전보다 3배 빠른 6~8스텝에서 이미지 생성이 가능합니다. 또한 비교 시 LCM 또는 Turbo 버전보다 우수한 영상 결과를 보입니다.

이 모델로 이미지 생성 시 권장 파라미터는 다음과 같습니다:

샘플러: Eular a (중요! 모델이 Eular a에 최적화 되었으므로 다른 샘플러 사용 시 결과가 좋지 않을 수 있습니다)

CFG 스케일: 1

샘플링 스텝: 8 스텝 (6~8 스텝 허용)

고해상도 알고리즘: ESRGAN 4x / 8x_NMKD-Faces_160000_G

고해상도 업스케일 비율: 1.5x

고해상도 스텝: 8 스텝

고해상도 디노이징 강도: 0.3

📖2024.2.11 "HelloWorld 5.0 GPT4V" 소개

HelloWorld 5.0은 HelloWorld 시리즈 역사상 가장 중대한 업데이트로, GPT-4v 태깅을 적용했으며, 과학 소설, 동물, 건축, 일러스트 등 분야에서 대폭 미세 조정되었습니다.

비교 테스트 결과 개선점은 다음과 같습니다:

1. 보다 다양하고 역동적인 캐릭터 포즈와 이미지 구성으로 시각적으로 매력적인 그림을 만듭니다;

2. 영화 데이터셋을 광범위하게 학습했습니다. 2.0~4.0 버전까지는 영화 질감이 약했으나, 많은 팬들이 1.0 버전의 leogirl 스타일을 그리워했습니다. 이번 업데이트는 다른 사진 품질을 해치지 않으면서 영화 질감을 강화했습니다. 영화 질감은 film grain texture와 analog photography aesthetic 같은 문구로 트리거할 수 있습니다;

3. SF, 스릴러, 동물 같은 주제 표현력이 강화되었고, 메카 등은 더 디자인된 느낌이며 눈표범, 레서판다, 자이언트 판다, 호랑이, 팔라스 고양이 및 집고양이와 개는 더욱 실물 같아졌습니다;

4. GPT 태깅 덕분에 프롬트 일치도와 개념 정확성이 크게 향상되었습니다.

반면, 이 버전의 단점은 다음과 같습니다:

1. 큰 폭의 미세 조정 업데이트로 사지 오류율이 약간 증가했으며, 이는 새로운 최적화 영역으로 이동할 때 정상 현상입니다. 이전 버전은 사지 개선에 많은 시간을 투자했으나 새 버전은 제한적이었습니다. 그럼에도 불구하고 이 버전의 사지 정확도는 1.0 버전보다 높으며 앞으로도 개선을 계속할 예정입니다.

2. 강화된 영화 질감으로 인해, GPT 태깅이 최대한 정확해도 이미지에 기본적으로 따뜻한 톤이 있을 수 있습니다. 그러나 스튜디오 조명 또는 선명한 초점 프롬트를 사용하면 고해상도 스튜디오 품질 이미지를 얻을 수 있으며, 적절한 프롬트 사용 시 이전 버전보다 피부 톤과 시각적 매력이 좋아집니다.

3. 이 버전에는 풀바디 캐릭터 이미지가 더 포함되어 풀바디 효과가 증대되어, 특정 캐릭터 구성이 없을 경우 더 넓은 장면이 생성될 수 있습니다. 현재 1024 해상도 풀바디 샷의 얼굴 디테일은 하프바디나 클로즈업보다 덜 선명할 수 있으나, adetailer와 1.5배 고해상도 보정 강도 0.3 또는 구성을 명시해 전체 신장 이미지를 피하는 프롬트를 사용해 개선할 수 있습니다.

4. 소수의 고퀄리티 일러스트 데이터셋이 추가되어, 애니메이션 스타일과 관련된 프롬트가 애니메이션 이미지를 생성할 가능성이 있습니다. 우려된다면 프롬트를 조정하십시오.

이상으로 이번 버전의 주요 업데이트 사항입니다. SDXL 기본 모델을 훈련하는 것은 매우 어렵고, 학습 세트가 만 장에 근접할 때마다 각 모델 태깅과 훈련 비용은 300달러를 넘어갑니다. 여러분의 피드백을 환영하며, 이 모델에 만족하신다면 널리 알려 주시면 대단히 감사하겠습니다.

📖2024.1.31 "HelloWorld 4.0" 소개

HelloWorld 4.0은 blip+clip 태깅에서 GPT4V 태깅으로 점진적으로 넘어가는 전환 버전입니다. 저는 처음에 순수 GPT4V 태깅 모델을 훈련했으며, 이후 HelloWorld 3.2 버전의 대다수와 Juggernaut XL 0.05 비율(피부 톤 조정용)을 병합했습니다. 이 새 버전은 3.2 버전 대비 프롬트 일치도와 개념 커버리지에서 개선된 모습을 보입니다.

새 GPT4V 태깅 학습 세트는 helloworld3 시리즈의 4,000장에서 8,000장으로 두 배로 늘었으며, 초상화뿐 아니라 동물, 건축, 자연, 음식, 일러스트 등도 포함합니다. 다만 순수 GPT4V 버전은 오버피팅 문제에 직면했으며, 이는 학습 이미지 수 두 배 증가에 원인이 있다고 추정됩니다. 반복 최적화의 다음 단계는 초상화를 충분히 학습시키면서 가능한 한 많은 비초상화 개념을 포함하는 방법을 찾는 것입니다. 현재는 새 버전과 이전 버전을 융합해 미세 조정을 진행하여, 개념 확장과 GPT4V 태깅의 장점이 지금 당장은 명확하지 않지만, 이후 5세대 및 6세대에서 점차 명확해질 것입니다.

📖2024.1.5 "HelloWorld 3.2" 소개

버전 3.2는 DPO 기술로 최적화된 반복 버전이며, 3.0 버전과 비교했을 때 피부 톤과 사지 정확도가 일부 개선되었지만 큰 차이는 없습니다. 그래서 4.0이 아닌 3.2로 명명되었습니다.

📖2023.12.15 "HelloWorld 3.0" 소개

1. 새 버전은 학습 세트를 확장해 과학 소설과 예술 등 다양한 예술 스타일 표현 능력을 강화했습니다.

2. 직접 만든 품질 향상용 LoCon(슬라이더 기술 사용)을 통합해 이미지 질감을 개선하고 손가락 및 사지 왜곡 문제를 완화했습니다.

📖2023.11.17 "HelloWorld 2.0" 소개

여러분의 인내에 감사드립니다. 여러 도전을 극복한 후 HelloWorld 2.0 버전을 여러분께 만족스럽게 선보일 수 있게 되었습니다. 1.0과 2.0의 주요 차이점은 다음과 같습니다:

1. HelloWorld 2.0은 더 이상 트리거 단어가 필요 없으며, 1.0에서 트리거 단어를 사용한 결과와 품질이 비슷합니다. 1.0에서 'leogirl' 트리거 단어는 동아시아인과 강하게 관련되어 있었습니다. 트리거 단어가 없어져서 '1girl'과 같은 단어도 인종을 지정하지 않으면 동아시아 초상을 생성할 가능성이 있으나, 이제 인종을 국가, 피부색 등의 키워드로 지정할 수 있습니다. 예를 들어 'Chinese', 'Russian', 'Iranian', 'Jamaican', 'Kenyan', 'dark-skinned', 'pale-skinned' 등의 단어 트리거 효과는 아래와 같습니다.

   

   또한 서로 다른 국가와 성별의 인물 이름을 프롬트에 적어 다양한 스타일의 캐릭터를 얻을 수 있습니다. 예: Han Meimei (중국), Sophie Martin (프랑스), Priya Patel (인도), Fatima Al-Hassan (아랍), Wanjiru Mwangi (케냐). 위 프롬트는 예시일 뿐이며, 다양한 프롬트와 방법을 탐색하고 공유할 수 있습니다.

   

2. HelloWorld 2.0은 품질/색상 균형과 더 많은 스타일 옵션을 제공합니다. 1.0 버전은 'leogirl' 사용 시 강한 영화 질감이 나타났으나, 2.0은 영화 질감에 얽매이지 않으며 품질 관련 프롬트로 커스터마이징이 가능합니다. 테스트된 우수 프롬트 예시는 다음과 같습니다:

   고급 패션 사진 촬영, 제품 소개 사진, 인기 한국 메이크업, 애교살, 선명한 고품질 사진, 스튜디오 조명, 중형 카메라 사진, 마미야 촬영, 아날로그 필름, 소프트 라이트를 사용하는 중형 인물 사진, 실물 이미지, 정제된 편집 사진, 원본 사진, 진짜 사진, 스캔 사진, 필름 스틸

   이 프롬트들의 색상 효과는 다음과 같습니다:

   

3. HelloWorld 2.0의 학습 세트는 풀바디 사진 비율을 크게 늘려 SDXL이 풀바디 및 원경 인물 생성에 더 잘 대응하도록 했습니다. 1.0에 비해 개선되었지만, 여전히 풀바디 생성 시 adetailer 사용을 강력 권장합니다. 또한 충분한 비디오 메모리(24GB)를 가진 사용자는 1.5배 고해상도 보정을 수행하면 얼굴 디테일이 크게 향상됩니다.

📖2023.8.29 "HelloWorld" SDXL 기본 모델 소개

특별 안내: HelloWorld 1.0 모델 사용 시, 반드시 트리거 단어 "leogirl"을 추가하세요.

SD1.5 기본 모델 “MoonFilm”과 달리, “HelloWorld”는 현실적인 SDXL 베이스 모델 시리즈입니다. 더 많은 사용자가 HelloWorld를 발견할 수 있도록 기존 Moonfilm 모델 링크를 유지했습니다. Moonfilm의 영적인 연장선으로 이해할 수 있으나, HelloWorld는 단순 리얼리즘과 영화 같은 인물 품질 추구를 넘어서고자 합니다. SDXL의 막강한 정보량과 텍스트 이해 능력을 활용해 HelloWorld는 사실적으로 모든 것을 묘사하거나, 다시 말해 가상 사진 촬영 세계를 점차 구축하고자 합니다.

SD1.5의 현실적인 기본 모델은 거의 성숙 단계에 도달해 더 이상의 큰 성능 향상은 어려우며, 획기적 기술이 나오지 않는 한 Moonfilm & MoonMix 시리즈는 업데이트가 사실상 중단될 것입니다. 저는 HelloWorld SDXL 대형 모델 개발에 주력할 계획입니다. 1.0 버전은 이미 다운로드 가능하며, 2.0은 긴급 개발 중으로 9월 초 업데이트가 예상됩니다.

신규 SDXL 모델인 HelloWorld는 전통적인 SD1.5 모델과 다음 세 가지 차이점이 있습니다:

1. 전통적으로 SD1.5 기본 모델은 트리거 단어가 없으나, HelloWorld 1.0은 트리거 단어 "leogirl" 사용을 반드시 기억하세요. 이는 SDXL 모델이 학습 세트 효과를 더 안정적으로 발현하도록 합니다.

2. HelloWorld 모델은 1024*1024 해상도에서 직접 출력이 가능해 고해상도 확대가 필요 없습니다. 클로즈업 인물 출력 품질은 SD1.5 버전과 비슷하지만 원경 인물 출력에는 여전히 결함이 있으므로 ADetailer 플러그인 사용을 권장합니다. 이는 원거리 얼굴 문제를 효과적으로 개선합니다.

3. SDXL은 이제 간단한 자연어 프롬프트를 통한 출력이 용이해졌으며, 자연스러운 언어 프롬프트를 다양하게 시도하면 AI 리얼리스틱 사진 출력 시 더 좋은 결과를 얻습니다.

여러 차례 테스트 후 권장 드로잉 파라미터 설정은 다음과 같습니다:

• 스텝 ≥ 25

• 샘플러: DPM++ 2M Karras

• CFG 스케일: 10

• 크기 ≥ 1024x1024

• ADetailer: 활성

모두가 HelloWorld를 사용해 보고 많은 피드백을 주시기 바랍니다. 여러분의 소중한 의견은 다음 모델 개선에 매우 중요합니다!

저작권 안내:

HelloWorld 시리즈 모델(이하 "모델")은 저(이하 "소유자")가 LiblibAI 플랫폼의 도움을 받아 제작했습니다. LiblibAI 및 Civitai를 제외한 플랫폼에 모델을 무단 재배포하는 행위는 소유자의 허가 없이는 금지됩니다.

소유자는 모델로 생성된 이미지를 비상업적 교육 또는 정보 목적으로만 무상 사용을 허용하며, 조건은 다음과 같습니다:

- 사용자는 관련 법규를 준수하며 모델 또는 제3자의 권리를 침해하지 않아야 합니다.

- 이미지에 "LEOSAM의 HelloWorld 기본 모델로 제작됨"이라는 명확한 출처 표기를 해야 합니다.

상업적 이용 시에는 사전 상업 라이선스 계약이 필요합니다. 상업 라이선스 및 모델 개인화 문의는 소유자 홈페이지에 기재된 연락처로 문의해주세요.

SDXL 모델의 개발과 무료 배포는 중요한 노력의 산물입니다. 소유자는 개인 애호가에게 계속 무료 업데이트를 제공하며, 이는 커뮤니티의 오픈소스 개발 기여에 대한 감사의 표시입니다. 협력적 상업 활동은 모델의 발전과 개선에 필수적입니다. 소유자는 모든 사용자에게 감사드립니다.

무단 사용은 관련 법규 위반이며 법적 책임이 따를 수 있습니다. 본 안내문의 해석권은 소유자에게 있으며, 관련 법령 및 규정을 준수합니다.