LEOSAM의 FilmGirl Ultra 필름 스타일 - 울트라 기본 모델

🌍QQ群 "兔狲·AIGC梦工北厂"에 오신 것을 환영합니다, 그룹 번호 ：780132897 ；"兔狲·AIGC梦工南厂" 그룹 번호 ：835297318（입장 답변：兔狲）.Telegram 그룹 채팅 “兔狲的SDXL百老汇” 링크：https://t.me/+KkflmfLTAdwzMzI1

🚨FilmGirl Ultra 권장 파라미터：

Clip skip:1

CFG scale: 9

직접 출력 이미지 해상도: 약 50만 픽셀 (640x768)

2024.2.29 "FilmGirl Ultra" 소개, SD1.5 AI 얼굴과 작별 인사

작년 2월 24일, 첫 번째 FilmGirl LoRA 버전을 완성했습니다. 이 LoRA는 제 첫 고다운로드 모델로 AI 꿈의 시작을 의미합니다. SDXL 출시 이후, HelloWorld와 AIArt XL 모델 개선에 많은 노력을 기울여 왔습니다. FilmGirl 시리즈는 8개월간 업데이트가 없었습니다.

실제로 FilmGirl이나 이후의 Polaroid LoRA, Helloworld XL 모두에서 극도의 사실감을 추구해왔습니다. 1년이 지나면서 1주년을 기념하여 SD1.5 사실감을 새로운 수준으로 끌어올릴 모델을 출시하기로 했습니다. 더 이상 LoRA 모델은 이 임무를 수행하기에 부족하며, 새 FilmGirl Ultra는 SD1.5 기본 모델입니다.

SD1.5 사실적 모델의 동질화와 AI 얼굴 문제를 완전히 벗어나기 위해 FilmGirl Ultra는 basilmix, chilloutmix 및 후속 모델을 훈련 기반 모델로 선택하지 않고, UCLA에서 새로 발표한 SPIN-Diffusion을 선택했습니다.

SPIN-Diffusion은 pickapic_v2 데이터셋의 최고 이미지로 자체 플레이 미세 조정된 SD1.5 기본 모델로서, SD1.5 오리지널과 DPO 기본 모델보다 우수하며 Chilloutmix와 같은 대량 미세 조정 및 합병된 모델보다 프롬프트 정렬 성능이 훨씬 뛰어납니다.

FilmGirl Ultra의 훈련 세트는 HelloWorld XL에서 유래했습니다. 사실 HelloWorld XL 첫 버전도 마지막 FilmGirl LoRA 버전 훈련 세트를 사용했습니다. 1년 내내 이 훈련 세트를 정교하게 축적하고 선별하여 현재 약 10,000장의 이미지를 보유하고 있습니다. 훈련 과정에서 GPT4V 자연어 캡션, GPT4V 태그식 캡션, Blip+Clip 캡션 등 다양한 라벨링 방법을 병행 사용했습니다.

모델이 자주 쓰이는 "1girl", "best quality", "masterpiece" 등의 프롬프트와 호환되도록 일부 이미지에도 적절히 이 단어들을 추가했습니다(하지만 "child girl" / "little girl" 프롬프트로도 어린 소녀 효과를 정확히 트리거할 수 있습니다). 다중 라벨링을 사용하는 이유는 원하는 효과가 높은 확률로 발현되도록 하기 위함입니다. FilmGirl 전통에 따라 필름 스타일에도 중점을 두어 "film grain analog photography" 프롬프트로 스타일을 활성화할 수 있습니다.

총 7단계 훈련을 거쳤으며, 각 단계마다 배치 크기, 옵티마이저, 학습률, 훈련 세트 비율을 다르게 하여 현재 효과를 달성했습니다. SPIN-Diffusion 미세 조정에 관심이 있다면 총 훈련 반복 횟수가 5만 스텝 이상이 되도록 권장하며, 저는 배치 크기 40~64로 약 10만 스텝을 훈련했습니다.

FilmGirl Ultra의 사실적 효과는 제 기대를 넘어 현재 SDXL 이미지 품질에 근접합니다. 아래는 이 모델과 Realistic Vision v6, epiCPhotoGasm과의 비교입니다. 전자는 현재 Civitai에서 다운로드 수가 가장 많은 기본 모델이며, 후자는 오랜 기간 제가 가장 사실적이라고 생각한 SD1.5 기본 모델입니다. 이 두 훌륭한 모델과 제작자들께 경의를 표합니다.

클로즈업 커플 초상, 아프리카 젊은 여성과 남성, 맑은 피부 얼굴, 카메라 응시, 패션 사진, 단순 배경
부정 프롬프트: 워터마크, 애니메이션, 만화, 입을 벌림

클로즈업 커플 초상, 아프리카 어린 소녀와 소년, 맑은 피부 얼굴, 카메라 응시, 패션 사진, 단순 배경,
부정 프롬프트: 워터마크, 애니메이션, 만화, 입을 벌림,

GPT4V 캡션과 SPIN-Diffusion 기반 모델 덕분에, 모델의 프롬프트 정렬 성능은 매우 우수합니다. 아래는 다양한 개념에 대한 xy 플롯 테스트입니다.

민족성 테스트

체형 테스트

피부색 테스트

나이 테스트

동물 테스트

하지만 FilmGirl Ultra가 모든 차원에서 우위에 있는 것은 아닙니다. 새 출발점에서 출발하여 커뮤니티 1.5 기본 모델의 지속적 개선을 포기했기 때문입니다. 광범위한 테스트와 비교 결과, 이 기본 모델은 커뮤니티의 성숙한 사실적 모델보다 사지 오류율이 높습니다. 또한 훈련 세트에 애니메이션 관련 콘텐츠가 부족하여 ACGN 관련 태그가 포함된 프롬프트 입력 시 출력 품질이 좋지 않습니다. "digital art", "anime", "cartoon" 등의 단어 사용을 피하는 것이 좋습니다. 이 두 가지가 FilmGirl Ultra의 주요 단점입니다.

FilmGirl Ultra는 AI 여정 첫 해의 연말 결산으로, 저를 지원해주신 AI 동호인 여러분께 드리는 선물입니다. 오픈 소스 커뮤니티는 많은 친구, 추억, 기쁨과 지식을 선사해 주었고 저도 커뮤니티에 조금이나마 보답하고자 합니다. 이 모델 제작 요약이 여러분께 도움이 되길 바라며, FilmGirl Ultra 기반 훈련이나 병합도 환영합니다. 본 모델과 훈련 기반 모델 SPIN-Diffusion 모두 Apache-2.0 라이선스를 준수하여 사용해 주시기 바랍니다. 위반 시 책임을 물을 수 있습니다. 모델이 여러분의 모델 개선에 도움이 되었다면 모델 설명란에 언급해 주세요. FilmGirl Ultra와 SPIN-Diffusion이 더 널리 알려지고 사용되길 바랍니다.

FilmGirl Ultra는 계속 업데이트될 예정이며, 즐거운 사용 되시길 바랍니다!

AI와 함께 계속 발전하며 내년 이맘때 다시 만날 수 있길 바랍니다!

저작권 고지:

FilmGirl Ultra 시리즈 모델(이하 '본 모델')은 저(이하 '소유자')가 SPIN-Diffusion을 기반으로 개발한 SD1.5 대형 모델입니다.

소유자는 개인 또는 기관이 본 모델로 생성된 이미지를 비상업적 교육 또는 정보 전달 목적으로 무료 사용할 수 있도록 허락하며, 다음 조건을 준수해야 합니다:

- 관련 법률을 준수하며, 본 모델 또는 제3자의 권리를 침해하지 않을 것.

- 이미지 사용 시 출처를 "LEOSAM's FilmGirl Ultra 대형 모델 생성"으로 명기할 것.

상업적 사용 시에는 소유자와 상업적 라이선스 계약을 체결해야 합니다. 상업 라이선스 및 모델 맞춤 제작 관련 문의는 소유자의 Civitai 프로필을 통해 연락 바랍니다.

소유자는 개인 사용자에게 FilmGirl Ultra 모델 업데이트를 무료로 제공하여 커뮤니티 오픈 소스 기여자에 대한 감사를 표현합니다. 상업 사용자의 유료 협력은 모델 개발 및 지속 개선의 중요한 동력입니다. 모든 이용자의 이해와 지원에 감사드립니다.

무단 사용은 관련 법률 위반 및 법적 책임을 초래할 수 있음을 유념하시기 바랍니다. 본 고지의 최종 해석권은 소유자에게 있으며, 관련 법률에 따릅니다.