LEOSAM의 HelloWorld XL - HelloWorld XL 5.0 GPT4V

🖥️친구와 제가 개발한 오픈 소스 GPT4V-Image-Captioner를 사용해 보세요. 원클릭 설치와 이미지 사전 압축, 이미지 태깅, 태그 통계 등 다양한 기능이 내장되어 있습니다. 최근에는 웹UI 플러그인 버전도 출시하였으니 많은 이용 바랍니다!

🌍QQ群 "兔狲·AIGC梦工北厂" 입장 권장, 그룹 번호：780132897 ；"兔狲·AIGC梦工南厂" 그룹 번호：835297318(입장 키워드：兔狲). 텔레그램 그룹 채팅 “兔狲的SDXL百老汇” 링크：https://t.me/+KkflmfLTAdwzMzI1

📖HelloWorld 7.0 업데이트 - 2024년 6월 13일

한 문장 요약: HelloWorld 7.0은 전체 시리즈 중 최고의 신체 표현 성능을 가진 점진적 최적화 버전이며, 개념 범위와 디테일 풍부함이 더욱 향상되었습니다.

업데이트 상세 내용:

1. 부정적 학습 이미지 추가, 자세 학습 강화 및 클립 모델 최적화를 통해 이전 버전 대비 팔다리와 손의 정확도가 향상되었습니다. 권장 부정 프롬프트 단어는 "나쁜 손, 나쁜 해부학, 최악 품질, AI 생성 이미지, 저품질, 평균 품질"입니다.

2. 공식 SPO 모델에서 미세조정된 LoRA를 추출하여 HelloWorld 7.0에 통합했습니다. SPO는 DPO 기법의 발전으로, SPO 기본 모델은 DPO XL 기본 모델과 원래 SDXL 기본 모델보다 더 나은 성능을 제공합니다. SPO LoRA는 이미지 디테일과 대비를 향상시키고 이미지를 아름답게 합니다. SPO 개발팀에 감사드립니다.

3. 학습 세트의 개념 범위를 계속 확장하였으나, 대규모 학습 세트 미세조정 비용과 최근 임대가 어려운 H800으로 인해 학습 세트를 최적화하고 간소화했습니다. 현재 총 학습 세트는 20,821장입니다. 학습 세트 해상도 분포는 아래와 같으며, 이미지 수가 많은 해상도 여러 개를 사용해 출력하는 것을 권장합니다:

   (832, 1248) - 7128장
   (896, 1152) - 6250장
   (1248, 832) - 2402장
   (1024, 1024) - 1639장
   (1360, 768) - 928장
   (1152, 896) - 870장
   (768, 1360) - 432장
   (960, 1088) - 506장
   (992, 1056) - 162장
   (1088, 960) - 140장
   (704, 1472) - 120장
   (1056, 992) - 122장
   (1472, 704) - 115장
   (1632, 640) - 75장
   (640, 1632) - 12장

4. GPT4O를 사용해 모든 데이터셋을 재라벨링 했으며, 이번에는 "한 문장 요약 설명 + 다중 이미지 요소 태그 + XXX에서 영감 + 미적 품질 설명 단어"의 구조화된 라벨링 방식을 적용하였습니다. 미적 품질 설명 단어는 최악 품질, 낮은 품질, 평균 품질, 최고 품질, 걸작의 다섯 단계로 나누어집니다. 대표 라벨링 예시는 다음과 같습니다:

   빨간색과 베이지색 리본으로 감싼 인간 손을 특징으로 하는 개념 미술, 평범하고 밝은 배경을 배경으로 하며, 리얼리스틱 스타일, 미니멀한 색상 구성, 부드러운 질감, 길고 초현실적 미학, 살바도르 달리의 초현실주의 작품에서 영감 받은, 걸작

HelloWorld 7.0 버전에 포함된 Inspired by XXX 항목의 "고빈도 태깅 단어 목록"과 "고빈도 아트 스타일 목록"은 상업 라이선스 사용자에 한해 제공됩니다. 과거 HelloWorld XL 시리즈 모델 권한을 구매한 파트너분들은 누락이 있을 경우 무료로 받으실 수 있도록 저에게 연락해 주세요.

사용자분들은 HelloWorld 6.0의 고빈도 태깅 단어 목록을 참고할 수 있습니다. 또한 갤러리에 150장이 넘는 고품질 HelloWorld 7.0 예시 이미지도 제공하고 있으니, 출력 참고 자료로 활용해 주세요. 모델 제작은 쉽지 않으므로 사용자의 이해와 관용에 감사드립니다!

📖HelloWorld 6.0 업데이트 - 2024년 4월 20일

LEOSAM HelloWorld 6.0 상위 250개 고빈도 태깅 단어 목록

기다려 주셔서 감사합니다. 최근 구직 활동으로 인해 HelloWorld 업데이트에 일부 지연이 있었습니다. 6.0 버전 주요 업데이트는 다음과 같습니다:

• HelloWorld 6.0은 5.0 기반 iterative 개선 버전입니다. 제 자체 테스트 결과, 사실감 효과는 5.0과 큰 차이가 없으며, 주된 장점은 학습 세트 내 다양한 컨셉 확장에 있습니다. 피드백에 따르면 초현실주의, 부드와, 단체 사진, 마스크, 종이접기, 3D 렌더, 자동차, 용, 산모 사진 등 다양한 주제가 개선되었습니다. 일러스트 예시도 일부 제공됩니다.

• HelloWorld 6.0은 부정적 프롬프트 대응 향상을 위해 일부 저품질 이미지를 훈련에 의도적으로 포함하였습니다. 권장 부정 프롬프트 단어는 "저품질, JPEG 아티팩트, 흐림, 형편없는 그림, 못생김, 최악 품질"입니다.

• HelloWorld 6.0 주 학습 세트는 GPT4v 태깅을 사용합니다. GPT4v 태깅이 불가한 이미지에 대해서는 blip2-opt-6.7b 기반 cogVQA로 태깅합니다. 이 멀티모달 모델 태깅 스타일은 기존 WD1.4 태깅기와 크게 달라, 훈련 세트 내 다른 컨셉의 정확한 트리거를 돕기 위해 6.0 상위 250개 고빈도 태그 목록을 문서로 정리하여 제공합니다.

마지막으로 SD3 출시 예정임에도 불구하고 HelloWorld XL 7.0 업데이트는 계획대로 진행하여, 7.0 버전에서 더욱 큰 향상을 기대합니다!

📖2024.2.22 소개 "HW5.0_Euler_a_Lightning"

이 모델은 HelloWorld SDXL 기본 모델의 실행 속도 가속 버전으로, SDXL-Lightning 기술을 포함합니다. Eular a 샘플러와 CFG 1을 탑재해 6-8 스텝 만에 생성할 수 있으며, 원본 SDXL 버전보다 3배 빠릅니다. 또한 LCM 또는 Turbo 버전보다도 이미지 품질이 우수합니다.

이 모델을 사용할 때 권장 매개변수는 다음과 같습니다:

샘플러: Euler a (중요! 모델은 특히 Euler a에 맞춰져 있어, 다른 샘플러 사용 시 결과가 떨어질 수 있습니다)

CFG 스케일: 1

샘플링 스텝: 8 스텝 (6~8 스텝 허용)

하이레즈 알고리즘: ESRGAN 4x / 8x_NMKD-Faces_160000_G

하이레즈 업스케일 배율: 1.5배

하이레즈 스텝: 8 스텝

하이레즈 노이즈 제거 강도: 0.3

📖2024.2.11 소개 "HelloWorld 5.0 GPT4V"

HelloWorld 5.0은 HelloWorld 시리즈 역사상 가장 큰 업데이트로, GPT-4v 태깅을 적용했으며, SF, 동물, 건축, 일러스트 분야에 대대적 미세 조정을 거쳤습니다.

비교 테스트 결과 향상 내용은 다음과 같습니다:

1. 더욱 다채롭고 역동적인 캐릭터 포즈 및 이미지 구성을 통해 시각적으로 흥미로운 그림 생성;

2. 영화 데이터셋을 광범위하게 학습. 2.0~4.0 버전에서 약했던 필름 질감이, 1.0 버전의 leogirl 스타일을 그리워하는 팬들을 위해 특별히 강화됨. 필름 질감은 필름 그레인 텍스처, 아날로그 사진 미학과 같은 문구로 활성화 가능;

3. SF, 스릴러, 동물 주제의 표현이 향상되었으며, 메카 등 대상이 더 디자인된 느낌을 줌. 눈표범, 홍다람쥐, 자이언트 판다, 호랑이, 팔라스 고양이, 집고양이 및 반려견 등 동물은 더욱 생동감 있게 표현됨;

4. GPT 태깅 덕분에 프롬프트 준수도와 개념 정확성이 더욱 개선됨.

단점은 다음과 같습니다:

1. 대대적인 미세 조정 업데이트인 만큼, 팔다리 오차율이 다소 증가할 수 있는데, 이는 최적화 영역 전환 시 흔히 나타나는 정상 현상입니다. 이전 버전들은 팔다리 개선을 위해 광범위한 테스트를 거쳤으나, 신버전은 그 시간이 제한적이었습니다. 그럼에도 본 버전의 팔다리 정확도는 최소한 1.0 버전보다 뛰어나며, 향후 업데이트로 개선 예정입니다.

2. 강화된 필름 질감 때문에, GPT 태깅이 최대한 정확해도 이미지에 불가피한 기본 따뜻한 톤이 나타날 수 있습니다. 그러나 스튜디오 라이트 또는 선명한 초점 같은 프롬프트를 사용하면 고해상도 스튜디오 품질 이미지를 만들 수 있고, 적절한 프롬프트 활용 시 이전 버전보다 피부 톤과 시각적 매력이 더 좋아집니다.

3. 본 버전은 전신 캐릭터 이미지를 더 많이 포함해 전신 효과를 강화하여, 특정 캐릭터 구성이 지시되지 않으면 모델이 더 넓은 장면을 생성할 수 있습니다. 현재 1024 해상도 전신샷의 얼굴 디테일은 반신 또는 클로즈업 샷보다 다소 덜 선명할 수 있으나, adetailer와 1.5배 하이레즈 보정(0.3 강도)를 사용하거나 특정 구성을 지정해 전신 이미지 생성을 피하면 개선할 수 있습니다.

4. 소량의 고품질 일러스트 데이터셋이 추가되어 애니메이션 스타일 관련 프롬프트가 애니메이션 이미지 생성 가능성이 있으니, 이 점이 우려된다면 프롬프트를 조정해 주세요.

이상이 이번 버전 주요 업데이트입니다. SDXL 대형 모델 훈련은 어렵고, 학습 세트가 만장에 가까워지면 각 모델의 태깅 및 훈련 비용이 300달러를 넘습니다. 모델 사용을 환영하며, 피드백도 감사히 받습니다! 해당 모델이 만족스럽다면 널리 알려 주시면 매우 감사하겠습니다.

📖2024.1.31 소개 "HelloWorld 4.0"

HelloWorld4.0은 blip+clip 태깅에서 GPT4V 태깅으로 점진적으로 전환하는 과도기 버전입니다. 처음에는 순수 GPT4V 태깅 모델을 훈련했으며, 이후 HelloWorld3.2 버전의 많은 부분과 Juggernaut XL 0.05 비율(피부 톤 조정을 위해)과 병합했습니다. 새 버전은 3.2보다 프롬프트 준수도와 컨셉 커버리지에서 개선을 보였습니다.

새 GPT4V 태깅 학습 세트는 helloworld3 시리즈 4000장에서 8000장으로 두 배 증가했으며, 초상화뿐 아니라 동물, 건축, 자연, 음식, 일러스트 등도 포함합니다. 다만, 순수 GPT4V 버전은 오버피팅 문제를 겪었는데, 이는 학습 이미지 수가 두 배로 늘어난 데 따른 것으로 보입니다. 차후 반복 최적화 단계에서, 초상화 학습을 충분히 하면서 최대한 비초상 개념을 포함시키는 방법을 모색할 예정입니다. 현재는 새 버전과 구 버전을 융합하여 미세 조정해 버전 간 부드러운 전환을 도모하고 있어, 확장된 컨셉 세트와 GPT4V 태깅이 가져오는 장점은 아직 크게 체감되지 않습니다. 이 장점들은 이후 5, 6세대 모델에서 점차 더 뚜렷해질 것입니다.

📖2024.1.5 소개 "HelloWorld 3.2"

버전 3.2는 DPO 기술로 최적화된 반복 버전이며, 3.0 버전과 비교해 피부 톤과 팔다리 정확도가 개선되었으나, 향상 폭은 크지 않습니다. 따라서 4.0이 아닌 3.2로 표기했습니다.

📖2023.12.15 소개 "HelloWorld 3.0"

1. 새 버전은 학습 세트를 확장해, SF와 미술 등 다양한 예술 스타일 표현 능력을 향상시켰습니다.

2. 직접 제작한 품질 향상 LoCon(슬라이더 기술 활용)을 통합하여 이미지 질감을 개선하고 손가락 및 팔다리 왜곡 문제를 완화했습니다.

📖2023.11.17 소개 "HelloWorld 2.0"

여러분의 인내심에 감사드립니다. 여러 난관을 극복하여, 만족할 만한 상태로 HelloWorld 2.0 버전을 선보이게 되었습니다. HelloWorld 2.0과 1.0 버전의 주요 차이점은 다음과 같습니다:

1. HelloWorld 2.0은 더 이상 트리거 단어가 필요 없으며, 품질은 1.0 트리거 단어 사용과 견줄 만합니다. 1.0의 'leogirl' 트리거 단어는 동아시아인과 강하게 연관되어 있었습니다. 트리거 단어 폐지 후, '1girl'과 같은 단어는 인종 미지정 시 동아시아 초상화를 생성할 가능성이 여전히 크나, '국적', '피부색' 등의 키워드로 인종을 명시할 수 있습니다. 예를 들어 'Chinese', 'Russian', 'Iranian', 'Jamaican', 'Kenyan', 'dark-skinned', 'pale-skinned' 등의 단어 트리거 효과는 아래 예시와 같습니다.

   

   또한 프롬프트에 서로 다른 국가와 성별의 인명(한메이메이(중국), 소피 마르탱(프랑스), 프리야 파텔(인도), 파티마 알-하산(아랍), 완지루 음완지(케냐) 등)을 써서 다양한 스타일의 인물을 생성할 수 있습니다. 위 예시는 일부에 불과하며, 이용자 여러분도 다양한 방식으로 탐구 및 공유를 환영합니다.

   

2. HelloWorld 2.0은 품질과 색상 균형을 이루고 더 많은 스타일 옵션을 제공합니다. 1.0 버전은 'leogirl'과 함께 사용 시 강한 필름 질감이 나타났으나, 2.0은 필름 질감에 얽매이지 않으며 품질 관련 프롬프트로 커스터마이징 가능합니다. 검증된 일부 프롬프트는 다음과 같습니다:

   하이엔드 패션 사진촬영, 제품 소개 사진, 인기 한국 메이크업, 애교살, 선명한 고화질 사진, 스튜디오 라이트, 중형 카메라 사진, 마미야 사진, 아날로그 필름, 소프트 라이트 중형 초상화, 실사 이미지, 정제된 편집 사진, 원본 사진, 스캔 사진, 필름 스틸

   이 프롬프트들의 색감 효과는 다음과 같습니다:

   

3. HelloWorld 2.0 학습 세트는 전신 사진 비중을 크게 늘려, SDXL로 전신 및 원거리 초상화 생성 효과를 개선했습니다. 1.0 버전보다 개선되었으나, 여전히 전신 사진 생성 시 'adetailer' 사용을 강력히 권장합니다. 또 VRAM 24GB 이상 사용자에게는 1.5배 고해상도 보정을 권장하며, 얼굴 디테일이 크게 향상됩니다.

📖2023.8.29 소개 "HelloWorld" SDXL 기본 모델

특별 알림: HelloWorld 1.0 모델 사용 시 반드시 트리거 단어 "leogirl"을 추가해 주세요.

기존 SD1.5 기본 모델 "MoonFilm"과 달리, "HelloWorld"는 사실적인 SDXL 기본 모델 시리즈입니다. 더 많은 사용자가 HelloWorld를 발견할 수 있도록 Moonfilm 모델 링크를 그대로 유지해, SDXL 신 플랫폼에서 Moonfilm의 정신적 계승으로 볼 수 있으나, HelloWorld는 초상화에서 현실감과 필름 질감 이상의 성취를 목표로 합니다. SDXL이 SD1.5보다 훨씬 우수한 정보량과 텍스트 이해력을 갖춰, HelloWorld는 모든 사물을 사실적으로 묘사하거나, 다른 말로 가상 사진 세계 구축을 점진적으로 이루고자 합니다.

SD1.5의 현실적 기본 모델은 매우 성숙 단계에 이르러 의미 있는 향상이 어려우며, SD1.5 플랫폼에 혁신적 기술이 나오지 않는 한 Moonfilm & MoonMix 시리즈는 업데이트를 중단할 예정입니다. 저는 HelloWorld SDXL 대형 모델 개발에 주력할 것입니다. 1.0 버전은 이미 다운로드 가능하며, 2.0 버전은 9월 초 업데이트를 목표로 개발 중입니다.

신규 SDXL 모델인 HelloWorld와 기존 SD1.5 모델 간 세 가지 차이점은 다음과 같습니다:

1. SD1.5 기본 모델은 일반적으로 트리거 단어가 없으나, HelloWorld 1.0 사용 시 트리거 단어 "leogirl" 사용을 반드시 기억하세요. 이는 SDXL 모델이 학습 세트 효과를 더 안정적으로 작동하게 합니다.

2. HelloWorld 모델은 1024*1024 해상도로 바로 출력이 가능해, 고해상도 확대가 필요 없습니다. 근접 초상화 품질은 SD1.5 버전과 견줄 만하나, 원거리 초상화 직접 출력 시 아직 미흡한 점이 있어 ADetailer 플러그인 사용이 권장됩니다.

3. SDXL은 간단한 자연어 프롬프트로도 더 쉽게 출력할 수 있습니다. 자연어 프롬프트를 다양하게 시도해 보시길 추천하며, AI 리얼리스틱 사진 출력에 더 좋은 결과를 얻을 수 있습니다.

여러 차례 테스트를 거쳐 권장 그림 매개변수 설정은 다음과 같습니다:

• 스텝 ≥ 25

• 샘플러: DPM++ 2M Karras

• CFG 스케일: 10

• 크기 ≥ 1024x1024

• ADetailer 켬

누구든 HelloWorld를 사용해 보시고 많은 피드백 주시기 바랍니다. 소중한 의견은 모델 개선의 다음 단계에 매우 중요합니다!

저작권 고지:

HelloWorld 시리즈 모델(이하 "모델")은 저(이하 "소유자")가 LiblibAI 플랫폼의 도움을 받아 제작한 것입니다. LiblibAI 및 Civitai 이외 플랫폼에 모델 재배포는 소유자의 허가 없이 불가합니다.

소유자는 비상업적 교육 또는 정보 목적으로 모델로 생성된 이미지를 비용 없이 사용할 수 있도록 허용하며, 단:

- 사용자는 적용 법률을 준수하고 모델 또는 제3자 권리를 침해하지 않아야 합니다.

- 이미지 출처는 "LEOSAM의 HelloWorld 기본 모델 제작"으로 명확히 표기되어야 합니다.

상업적 이용 시에는 사전 상업 라이선스 계약이 필요하며, 상업 라이선스 및 모델 개인화 문의는 소유자 홈페이지의 연락처를 통해 연락해 주시기 바랍니다.

SDXL 모델 개발 및 무료 배포는 상당한 노력의 산물입니다. 소유자는 개인 열정을 가진 사용자들을 위해 HelloWorld 모델의 지속적 무료 업데이트를 약속하며, 커뮤니티의 오픈소스 개발 기여에 감사 표시입니다. 협력적 상업 활동은 모델 발전과 개선에 필수적이며, 소유자는 모든 사용자에게 감사드립니다.

허가되지 않은 사용은 해당 법률을 위반하여 법적 책임을 질 수 있습니다. 본 고지는 소유자가 단독 해석 권한을 가지며, 현행 법규를 따릅니다.