산 깊숙한 곳에 인간에게 도움을 주거나 파괴를 일으킬 수 있는 잠자는 거인이 있습니다...

Colossus가 일어납니다...

내 SDXL 시리즈 이후로 이번에는 이 프로젝트의 FLUX 시리즈입니다... 이번에는 처음부터 직접 훈련했습니다. 훈련에는 내 자체 이미지들을 사용했으며, schnell Flux 모델 DemonFlux/Colossus Project schnell과 SDXL Colossus Project 12를 정제기로 사용했습니다.

이 SD Flux-Checkpoint는 거의 모든 것을 생성할 수 있습니다. Colossus는 매우 사실적인 사진, 애니메이션, 아트 생성에 뛰어납니다.

마음에 드시면 피드백을 주시고, 지원하고 싶으시면 여기에서 도와주실 수 있습니다. Flux 모델을 실제로 훈련할 수 있는 컴퓨터 구축에 많은 비용이 들어갔으며, 훈련과 테스트에도 많은 시간과 전기가 소요됩니다.

https://ko-fi.com/afroman4peace

버전 V12 "Hephaistos"

이 체크포인트를 공개하는 것은 기쁨과 슬픔이 공존합니다... V12는 이 시리즈의 마지막 체크포인트가 될 것입니다... 주된 이유는 다가오는 EU AI 법안이며, 또 다른 이유는 Flux .1 DEV 자체의 라이선스 때문입니다. 모두의 지원에 감사드립니다! 작년 동안 이 프로젝트에 많은 시간을 투자했습니다. 이제 다른 프로젝트로 넘어갈 때입니다.

어쨌든 이 시리즈를 좋은 마무리로 끝내겠습니다...

V12는 V10B "BOB"에 기반하지만, 이 시리즈의 최고의 부분들을 블록 병합해서 하나의 체크포인트로 만들었습니다. (1시간 30분 정도 소요된 새 병합 방법 결과이며 128GB RAM 전체를 사용했습니다). V10과 비교해 얼굴과 피부 질감을 향상시켰고, 눈은 훨씬 더 사실적이고 살아있는 듯합니다.

직접 시험해보고 V12에 대해 피드백을 주세요. 느린 인터넷 연결 때문에 먼저 FP8_UNET을 업로드하고, 다음에 FP8 "all in one" 버전과 FP16_unet, FP16_BEHEMOTH 순으로 공개할 예정입니다. int4와 fp4 변환도 시도할 계획입니다 (성공을 빕니다).

항상 V12에 대한 피드백을 주세요...

버전 V12 "Behemoth" (AIO)

이 "all in one" 모델은 내 V12 시리즈 중 최고이자 당연히 크기가 가장 큰 모델입니다 :-)

Behemoth는 커스텀 T5xxl과 Clip_l이 모델 안에 내장되어 있습니다. 품질을 중시한다면 이 체크포인트를 사용하세요!

버전 V12 FP4/int4

V12 양자화를 담당한 Nunchakutech의 Muyang Li 님께 감사드립니다. https://huggingface.co/nunchaku-tech 와 놀라운 Nunchaku에 감사드립니다!

이 버전은 진정으로 놀랍습니다. 전례 없는 품질과 속도의 결합입니다.

주의!

FP4와 int4 두 버전이 있습니다. FP4는 Nvidia 50xx 그래픽카드 전용이며, int4는 40xx 이하 그래픽카드(최소 20xx 시리즈 필요)에서 작동합니다.

두 버전 모두 여기서 직접 다운로드할 수 있습니다: https://huggingface.co/nunchaku-tech/nunchaku-flux.1-dev-colossus

설치 가이드 및 워크플로우

빠른 설치 가이드와 진행 중인 워크플로우를 제공합니다.

https://civitai.com/articles/17313

상세 워크플로우 가이드

https://civitai.com/articles/17358

나는 아직 Nunchaku용 새 워크플로우 작업 중이며, 아래 워크플로우는 진행 중입니다. 주말에 상세한 글을 추가할 예정입니다.

버전 V12 FP16_B_variant

늦은 밤(오전 2시)에 실수로 "잘못된" 체크포인트를 이름 변경하고 업로드했습니다. 매우 실험적인 체크포인트로 공개할 의도가 없었습니다. 많이 테스트되지 않았지만 쇼케이스를 만들 때 성능이 꽤 좋았습니다. 표준 버전보다 나을 수도 있습니다.

아시아계 얼굴 쪽으로 더 치우친 경향이 있습니다. 아직 작업 중인 사이드 프로젝트와 혼합 테스트를 위한 것입니다. 이 체크포인트 사용 경험을 알려주세요 :-)

버전 V12 AIO FP8

이 버전은 V12의 올인원 버전입니다. 모든 클립이 내장되어 있어 FP8_unet과 내 커스텀 clip_l을 사용한 출력과 동일한 결과를 냅니다.

버전 V12 GGUF Q5_1

요청에 의해 만들어진 버전입니다. 품질이 나쁘지 않습니다.

버전 V10B "BOB"

V10의 대체 버전입니다. V10 FP8 버전을 개선하기 위해 만들었습니다. 일반적으로 FP8 버전이 더 정밀하고 색감이 좋습니다. 최근 시간이 부족해(현실 생활 우선) 이 버전 출시가 늦었습니다. 이 버전을 선호하는지 알려주세요. FP16 "BOB" 버전도 보유 중이며, 피드백에 따라 int4 버전도 공개할 예정입니다.

워크플로우:

V12 및 V10 워크플로우 안내: https://civitai.com/articles/17163

버전 V10_int4_SVDQ "Nunchaku"

먼저 FP16_Unet을 int4_SVDQ로 변환해주신 theunlikely님께 감사드립니다: https://huggingface.co/theunlikely. 페이지 방문 후 좋아요를 눌러주세요.

이 버전은 거의 FP8 버전과 동일하며, 내 워크플로우의 일반 모드에서도 이 모델이 일반 모델보다 약 2~3배 빠릅니다. 워크플로우의 "빠른 모드"에서는 3090ti 기준으로 약 19초 만에 2MP 이미지를 렌더링할 수 있습니다.

SVDQ "Nunchaku"란?

이 새로운 양자화 방법은 Flux 모델(본 경우 FP16 네이티브 모델)의 용량을 24GB에서 약 6.7GB로 줄일 수 있습니다. 또한 품질 손실을 최소화하면서 이전보다 더 빠른 생성 속도를 제공합니다. 물론 내 32GB Behemoth 모델과는 약간 차이가 있지만, 해당 모델을 운영하려면 훨씬 더 많은 VRAM/RAM이 필요합니다.

자세한 내용은 다음을 참고하세요: https://github.com/mit-han-lab/ComfyUI-nunchaku?tab=readme-ov-file

설치: 워크플로우/설치 가이드 방문: https://civitai.com/articles/15610

버전 V10 "Behemoth" (FP16_AIO)

본 버전은 아직 실험 단계입니다. 주요 목표는 더 현실적인 결과를 얻는 것입니다. 또한 일부 'Flux Lines'를 줄이려고 했습니다. 이 모델은 Colossus Project V5.0_Behemoth, V9.0 및 "Ouroboros Project"라는 다른 프로젝트에 기반합니다.

FP16 버전은 매우 안정적이며, 곧 FP8 버전도 출시 예정입니다. FP8 버전도 좋지만 안정성은 FP16에 미치지 못합니다.

직접 실험해보시고 의견을 주세요.

즐겁게 사용하세요 :-)

버전 V9.0:

먼저 왜 버전이 V9.0인지 설명해야 합니다.

나는 최근 새 아파트로 이사했는데, 인터넷 공급자가 문제를 일으켜 제대로 된 인터넷 연결이 없었습니다. 이사 작업하는 동안 컴퓨터를 계속 켜두었고 결과적으로 다수의(대부분은 망가진) 체크포인트를 제작했습니다. V8의 매우 좋은 버전들도 있으며, 추후 공개할 수도 있습니다.

무엇이 변경되었나요?

내가 V5.0의 최상의 결과 일부를 기반으로 얼굴과 피부 질감을 새로 훈련했습니다. 또한 발과 다리 해부학 훈련을 추가했는데, 이전 V5.0에서는 머리와 발이 잘리는 문제가 종종 있었습니다. 일부 문제를 해결했다고 생각합니다.

추가로 내 풍경 이미지로 더욱 훈련했습니다. 그리고 이 모든 작업이 새 아파트로 이사하는 동안 진행된 것입니다... 총 약 2주간의 연산 시간이며 비용도 만만치 않았습니다 (전기는 시간당 약 25센트 수준임).

어쨌든 이 버전이 마음에 들길 바라며, 지원하고 싶다면 멋진 이미지 게시나 기부(버즈 또는 코피 등)를 부탁드립니다.

의견을 알려주세요 :-)

버전 5.0:

V5.0은 사실상 V4.2 및 곧 출시될 V4.4 기반입니다. 피부 디테일과 해부학 훈련을 추가하여 주로 손과 유두 같은 부분을 개선했습니다. 얼굴 디테일도 크게 향상되었습니다. 일부 작은 Flux Lines 문제도 수정하려 했습니다.

일반적으로 이 버전은 V4.2보다 더 현실적이고 세밀하며, V4.2와 마찬가지로 하이브리드 탈증류 모델입니다. V4.2와 동일한 설정으로 사용할 수 있습니다.

다음은 새로운 워크플로우입니다: https://civitai.com/articles/11950/workflow-for-colossus-project-flux-50

V4.2나 V2.1과 비교해 의견을 주세요..

버전 4.4 "Research":

완성도를 위해 추가한 버전으로, V4.2보다 약간 더 사실적이며 V5.0의 기반입니다. 필요하면 사용하고, V5.0과 V4.2 워크플로우도 사용할 수 있습니다.

버전 4.2:

본 버전은 Demoncore Flux 및 Colossus Project Flux의 추가 개발판입니다. 목표는 안정적인 결과, 향상된 피부 질감, 더 나은 손과 얼굴 다양성 확보였습니다. 일부는 Demoncore Flux 하이브리드 모델에 기반해 훈련되었습니다. 유두 및 NSFW 부분도 약간 개선했습니다. V4.2를 V2.1보다 선호하는지 알려주세요 :-)

쇼케이스 이미지에는 SDXL 해상도 또는 2MP 해상도(예: 1216x1632)의 원본 이미지만 사용했습니다. 이 모델은 더 높은 해상도도 처리 가능하며, 최대 2500x2500까지 테스트했지만 약 2000x2000 해상도를 추천합니다.

권장 설정은 약 30 스텝과 CFG 2-2.5입니다. 나는 주로 워크플로우에서 2.2 또는 2.3을 씁니다. 쇼케이스에는 DPM++ 2M과 Simple 스케줄러를 사용했습니다.

곧 다른 버전도 추가할 예정이나 크리스마스 전까지는 시간이 많지 않습니다...

설정

곧 더욱 개선된 Comfy 전용 워크플로우를 추가할 예정입니다. 현재는 쇼케이스 이미지를 다운로드하여 활용할 수 있습니다.

"올인원" 버전은 Forge에서도 잘 작동합니다.

기본적으로 V2.1 버전과 동일한 설정으로 작동합니다 (아래 참고).

20-30 스텝, CFG 약 2.2 정도를 권장합니다.

버전 2.1_de-distilled_experimental (병합)

이 버전은 완전히 다른 Flux 모델과 실제로 다르게 작동합니다!

나의 버전 2.0과 탈증류 버전 https://huggingface.co/nyanko7/flux-dev-de-distill 의 실험적 병합입니다. 우연히 이뤄졌지만 결과는 놀랍습니다. 매우 디테일하고 프롬프트에 매우 충실합니다... 다음 작업은 탈증류 모델을 직접 훈련하는 것입니다. 이미 일부 테스트용 Lora를 만들었습니다. 매우 실험적이니 문제 발견 시 알려주시고, 좋은 이미지나 문제 있는 이미지도 공유해 주세요 :-) 버전 2.0도 시도해보고 어느 체크포인트가 좋은지 알려주세요.

주의!

이 버전은 일반 Flux 워크플로우와 호환되지 않습니다. 반드시 내 워크플로우를 다운로드하세요!

본인이 알아서 방법을 찾을 수도 있지만, 이미지 품질 문제에 대해 나를 탓하지 마세요. 매우 실험적 모델입니다... 아래 단점 참조.

본 체크포인트의 장단점:

• 이 체크포인트는 매우 정교한 디테일을 생성하지만 대가로 속도가 느립니다. 대신 추가 업스케일이 필요 없으며, Flux Guidance 대신 cfg 스케일을 사용해 표준 워크플로우와는 다르게 작동합니다.

• 부정 프롬프트(negative prompts)를 사용할 수 있어 원하지 않는 요소를 제거할 수 있습니다.

• 가끔 아티팩트가 발생할 수 있는데, 간단한 업스케일로 해결 가능합니다(현재 수정 중). 특정 시드에서만 발생합니다. 업데이트: 모델 문제보다는 워크플로우 문제이며 해결 중입니다. 이런 경우 첫 업스케일 값을 1.14로 줄여보세요(기본 1.2 대신).

  

  

설정 및 워크플로우 V2.1:

워크플로우 안내: https://civitai.com/articles/8419

설정: 일반 Flux와 달리 Flux Guidance 스케일을 끄고 cfg를 사용하세요. 나는 워크플로우에서 주로 3 cfg를 사용하며, 일부 이미지는 더 낮은 cfg를 요구합니다.

가장 중요한 점은 Flux Guidance 스케일을 꺼야 한다는 것입니다.

워크플로우 없이도 30 스텝과 2-3 cfg 설정으로 테스트했습니다. Forge용 설정도 이와 비슷합니다. 실험해 보세요.

부정 프롬프트에 "blurry" 단어를 사용하는 것을 추천합니다.

샘플러 및 스케줄러:

다음 샘플러들이 잘 작동합니다:

Euler, Heun, DPM++2m, deis, DDIM

나는 주로 "simple" 스케줄러를 사용합니다.

더 나은 설정을 발견하면 알려주세요 :-)

Forge에서는 AIO 모델 사용을 추천합니다. 예시 설정:

버전 2.0_dev_experimental

이 버전은 실험적입니다. 목표는 더 일관되고 빠른 모델 생성입니다. 자체 훈련한 Lora를 통합하고, 결과 모델들을 Tensor merge로 병합했습니다. 내가 수정한 "Attention Seeker"를 적용한 맞춤형 T5xxl이 포함되어 있습니다. 속도와 품질 향상을 위해 ByteDance의 Hyper Flux Lora를 병합했습니다. 이는 작동 영역이 이동했다는 의미입니다. 메인 이미지로 설명합니다.

16 스텝 V 2.0

30 스텝 V 1.0

단점:

먼저, 이 버전은 이전 버전보다 용량이 약간 큽니다. 둘째로, 아직 Unet 전용 버전을 만들어야 합니다. 완료되면 업데이트 하겠습니다.

설정 및 워크플로우 V2.0:

이제 이 모델은 적은 스텝으로도 실행할 수 있습니다. 16 스텝은 기존 30 스텝에 해당합니다.

품질을 위해 여전히 20-30 스텝 사용을 권장합니다.

샘플러: Euler와 Simple 스케줄러를 선호합니다. 가이던스는 1.5-3 사이에서 조절하세요 (범위 밖도 실험 가능). 1.8 가이던스는 사실적인 이미지에 적합합니다. 다른 샘플러도 테스트해 보세요. DPM++2M과 Heun도 훌륭합니다.

워크플로우 2.0:

V2.0 및 V1.0용 새 워크플로우를 만들었으며, 새 Flux 프롬프트 생성기가 포함되었습니다. 두 번째 업스케일 단계도 동작합니다: https://civitai.com/articles/7946

Forge:

이 모델을 Forge에서 테스트했으며 매우 잘 작동했습니다. 다만 Comfy UI와는 이미지 결과가 다를 수 있습니다.

버전 1.0_dev_beta:

이 모델은 시리즈 첫 모델입니다. 피드백과 이미지 공유를 부탁드리며, 프로젝트 개선에 큰 도움이 됩니다. 여러 버전이 있으며, 품질 면에서 최고는 FP16 버전입니다. FP16 버전은 용량이 크고 고사양 그래픽 카드와 많은 램이 필요합니다. FP8 버전은 품질과 성능 사이의 좋은 선택지입니다. GGUF 버전이 필요하면 Q8_0을 다운로드하세요. GGUF Q4_0/4.1은 요청에 의한 작은 크기의 버전이며 품질 일부를 잃습니다.

모델 유형은 크게 두 가지인데, "All in one" 모델은 단일 파일만 다운로드하면 됩니다. Clip_l, T5xxl fp8과 VAE가 내장되어 있습니다 (아래 참조). 'checkpoints' 폴더에 넣으세요.

UNET-ONLY 버전은 모든 파일을 별도 로드해야 합니다.

동작을 위해 반드시 내 Clip_L을 다운로드해야 합니다.

또한, FP8 버전에는 fp8_e4m3fn t5xxl 클립을, FP16 버전에는 FP16 클립을 사용하세요. 기본 가중치 유형 선택을 확인하세요. (아래는 FP8 예시 이미지)

GGUF 버전을 위해서는 GGUF 로더가 필요합니다!

현재까지 알려진 V1.0 특징:

시리즈 첫 모델이라 특정 프롬프트나 스타일(특히 예술)에 약할 수 있습니다. 다음 버전에서는 더 많은 훈련이 있을 예정입니다. 모델이 못하는 점을 알려주세요.

설정 및 워크플로우:

대략 30 스텝, Euler 샘플러 및 Simple 스케줄러로 테스트했습니다. 가이던스는 1.5-3 범위에서 설정 가능하며 (물론 범위 외 테스트도 자유), 1.8 가이던스는 사실적인 이미지에 적합합니다.

이 설정으로 실험해 보시고 좋은 결과가 나오면 공유 바랍니다.

쇼케이스 이미지도 학습 데이터에 포함했습니다. Comfy용 워크플로우가 포함되어 있습니다. 워크플로우 다운로드는 다음 링크에서: https://civitai.com/articles/7946

"All in one" 모델:

UNET_only:

Clip_L (240MB)도 반드시 다운로드해야 합니다.

GGUF: GGUF 워크플로우도 여기에 추가했습니다: https://civitai.com/articles/7946

중요:

개발 모델은 상업용이 아닙니다. 상업용으로는 "schnell" 모델을 별도 장소에 공개할 예정이며, 개인 또는 과학적 용도로 적합합니다.

라이선스:

https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/LICENSE.md

크레딧:

theunlikely https://huggingface.co/theunlikel (다시 한 번 감사드립니다)

버전 2.1/V4.2/5.0: nyanko7의 Flux_dev_de-distill

https://huggingface.co/nyanko7/flux-dev-de-distill

V2.0부터: ByteDance의 Hyper Lora https://huggingface.co/ByteDance/Hyper-SD

Black Forrest의 놀라운 Flux 모델 https://huggingface.co/black-forest-labs