๋ชจ๋ธ/Flux.1 Compact | CLIP ๋ฐ VAE ํฌํ•จ - ๐ŸŸจ Flux.1-Dev fp8

Flux.1 Compact | CLIP ๋ฐ VAE ํฌํ•จ - ๐ŸŸจ Flux.1-Dev fp8

์„ ๋ช…ํ•œ ์ฃผํ™ฉ์ƒ‰ ๋นˆํ‹ฐ์ง€ ์ž๋™์ฐจ๊ฐ€ ์†Œ์šฉ๋Œ์ด์น˜๋Š” ์ƒ์ƒํ•œ ์ƒ‰์ƒ์˜ ํ•˜๋Š˜๊ณผ ์งˆ๊ฐ ์žˆ๋Š” ๋ถ“ํ„ฐ์น˜, ์—ญ๋™์ ์ธ ์›€์ง์ž„๊ณผ ํ•จ๊ป˜ ๋„์‹œ ๊ฑฐ๋ฆฌ๋ฅผ ๋น ๋ฅด๊ฒŒ ๋‹ฌ๋ฆฝ๋‹ˆ๋‹ค.
H.R. Giger ์Šคํƒ€์ผ์˜ ๋งค์šฐ ์ƒ์„ธํ•œ ์ด‰์ˆ˜ ๊ณตํฌ ์ƒ๋ฌผ ํด๋กœ์ฆˆ์—… ์ธก๋ฉด ํ”„๋กœํ•„๋กœ, ํ˜„์‹ค์ ์ธ ๋””์ž์ธ๊ณผ ์ถ”์ƒ์ ์ธ ์š”์†Œ๊ฐ€ ํŠน์ง•์ž…๋‹ˆ๋‹ค.
๊ท ์—ด๋˜๊ณ  ๊ฑฐ์นœ ํ”ผ๋ถ€์—์„œ ๋‚˜์˜ค๋Š” ๊ฑฐ๋Œ€ํ•œ ์ƒ์ƒํ•œ ๋ˆˆ์„ ํŠน์ง•์œผ๋กœ ํ•˜๋Š” ์ดˆํ˜„์‹ค์ ์ธ ์—ฌ์„ฑ ์–ผ๊ตด์˜ ํฌํ† ๋ฆฌ์–ผ๋ฆฌ์Šคํ‹ฑ ํด๋กœ์ฆˆ์—… ๋””์ง€ํ„ธ ํŽ˜์ธํŒ…์œผ๋กœ, ํ™•์‚ฐ๋œ ๋ถ€๋“œ๋Ÿฌ์šด ์กฐ๋ช…์ด ์„ฌ์„ธํ•œ ์งˆ๊ฐ์„ ๊ฐ•์กฐํ•ฉ๋‹ˆ๋‹ค.
ํ‘ธ๋ฅธ์ƒ‰๊ณผ ๋ถ‰์€์ƒ‰ ๋„ค์˜จ ์กฐ๋ช…์ด ๋น›๋‚˜๋Š” ๋ฏธ๋ž˜ํ˜• ๋กœ๋ด‡์ด ์•ˆ๊ฐœ ๋‚€ ๊ณต์ƒ๊ณผํ•™ ํ™˜๊ฒฝ ์†์—์„œ ๋”ฐ๋œปํ•œ ์ฃผํ™ฉ๋น›์„ ๋‚ด๋Š” ํฐ ์›ํ˜• ํฌํ„ธ๋“ค์— ๋‘˜๋Ÿฌ์‹ธ์ธ ๋Œ ํ”Œ๋žซํผ์— ๋ฌด๋ฆŽ์„ ๊ฟ‡๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.
์ƒ๊ธฐ ์žˆ๋Š” ํƒœ์–‘๊ด‘์— ๋น„์ถ”์–ด์ง„ ํ†ฑ๋‹ˆ ๋ชจ์–‘์˜ ๊ฐ€์žฅ์ž๋ฆฌ๋ฅผ ๊ฐ€์ง„ ์–ด๋‘์šด ํญ๋ฐœ ๊ฑด๋ฌผ์˜ ์ดˆํ˜„์‹ค์  ๊ทธ๋ฆผ์œผ๋กœ, ํŒŒ๋ž€ ํ•˜๋Š˜ ๋ฐฐ๊ฒฝ์— ์˜ค๋ Œ์ง€์ƒ‰ ๊ฐ€์„ ์žŽ์œผ๋กœ ํ‹€์„ ์ด๋ฃจ๋ฉฐ ๋ณต์žกํ•˜๊ฒŒ ๋ถ€์„œ์ง„ ์ฐฝ๋ฌธ๊ณผ ์œผ์Šค์Šคํ•œ ๊ทธ๋ฆผ์ž๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค.
๋ ˆํŠธ๋กœ-ํ“จ์ฒ˜๋ฆฌ์Šคํ‹ฑํ•œ ๋จธ๋ฆฌ์™€ ๊ธฐ๊ณ„์‹ ๋ชฉ ๋ถ€ํ’ˆ์„ ๊ฐ€์ง„ ์„ธ๋ฐ€ํ•œ ์‚ฌ์ด๋ฒ„๋„คํ‹ฑ ์•ˆ๋“œ๋กœ์ด๋“œ๊ฐ€ ์ฃผํ™ฉ์ƒ‰ ๊ฐ€์ฃฝ ์žฌํ‚ท์„ ์ž…๊ณ , ํ๋ฆฟํ•œ ์‚ฐ์—… ๋ฐฐ๊ฒฝ ์•ž์— ์„œ ์žˆ๋Š” ๋ชจ์Šต.
๋ชจ๋น„์šฐ์Šค ์Šคํƒ€์ผ์—์„œ ์˜๊ฐ์„ ๋ฐ›์€, ์–ด๋‘ก๊ณ  ์Œ์šธํ•œ ๋ฏธ๋ž˜ ๋„์‹œ ํ’๊ฒฝ์œผ๋กœ, ๊ณ ์ธต ๊ฑด๋ฌผ๋“ค๊ณผ ๋น›์ค„๊ธฐ๊ฐ€ ์–ด์šฐ๋Ÿฌ์ ธ ์žˆ์œผ๋ฉฐ, ์ „๊ฒฝ์—๋Š” ์‹ค๋ฃจ์—ฃ์œผ๋กœ ํ‘œํ˜„๋œ ์‚ฌ์ด๋ณด๊ทธ ์ธ๋ฌผ์ด ์„œ ์žˆ์Šต๋‹ˆ๋‹ค.
๋…ธ๋ž€ ๋ฐฉ์ˆ˜ ์šฐ๋น„๋ฅผ ์ž…๊ณ  ๋น„ ์˜ค๋Š” ๋„์‹œ ๊ฑฐ๋ฆฌ์˜ ์ –์€ ๋ณด๋„ ์œ„์— ์„œ ์žˆ๋Š” ์‚ฌ๋ž‘์Šค๋Ÿฌ์šด ์ž‘์€ ๊ณฐ, ๋ชจํ”ผ์™€ ์šฐ๋น„์— ๋ฌผ๋ฐฉ์šธ์ด ๋งบํ˜€ ์žˆ์Šต๋‹ˆ๋‹ค.
๋‹ฌ์˜ ํ‘œ๋ฉด์„ ๋‹ฎ์€ ํ”ผ๋ถ€์— ์ •๊ตํ•œ ํ‘๋ฐฑ ๋ฌด๋Šฌ๊ฐ€ ์žฅ์‹๋œ ์—ฌ์„ฑ์˜ ์ดˆ๊ณ ํ•ด์ƒ๋„ ์ดˆํ˜„์‹ค์  ์ดˆ์ƒํ™”๋กœ, ๊ธˆ์† ํ—ค๋“œ๊ธฐ์–ด๋ฅผ ์ฐฉ์šฉํ•œ ์ผ๋ณธํ’ ์Šคํƒ€์ผ์—์„œ ์€ํ•˜ ํ‰ํ™”์™€ ์‹ ๋น„๋กœ์›€์„ ์ž์•„๋ƒ…๋‹ˆ๋‹ค.
ํฐ ๊ฒ€์€ ํ…Œ๊ฐ€ ์žˆ๋Š” ๋ˆˆ, ํฌ๊ณ  ์ฐฝ๋ฐฑํ•œ ํ”ผ๋ถ€, ์ž…์„ ๋ฒŒ๋ฆฐ ๋ฏธ์†Œ๋ฅผ ์ง“๊ณ  ๊ฒ€์€ ์‹คํฌ ๋ชจ์ž์— ๋ฉ๊ตด ์žฅ์‹๊ณผ ์–ด๋‘์šด ์ •์žฅ์„ ์ž…์€ ์˜ค์‹นํ•œ ๊ธฐ์ดํ•œ ์Šคํƒ€์ผ์˜ ์ฐฝ๋ฐฑํ•œ ์†Œ๋…„.
๊ธฐ๊ณ„ ๋ถ€ํ’ˆ๊ณผ ์œตํ•ฉ๋œ ๋ถ€์‹๋œ ๊ธˆ์†๊ณผ ์œ ๊ธฐ ์™ธ๊ณ„ ์กฐ์ง์ด ๋“œ๋Ÿฌ๋‚œ ๋…น์Šจ ๋…ธ๋ž‘-๊ฒ€์ • ํ—ฌ๋ฉง์„ ์“ด ์ดˆํ˜„์‹ค์  ์ƒ์ฒด๊ธฐ๊ณ„ ์‚ฌ์ด๋ณด๊ทธ.
๋ฐ˜์ง€ ๊ธฐ๋‘ฅ์œผ๋กœ ์ง€์ง€๋œ ์ปค๋‹ค๋ž€ ๋น›๋‚˜๋Š” ๊ธˆ์† ์•„์น˜ ๋‹ค๋ฆฌ๋ฅผ ๊ฑด๋„ˆ๋Š” ๋นจ๊ฐ„ ์‹ ์นธ์„ผ๊ณผ ๊ตฌ์กฐ๋ฌผ๊ณผ ์—ด์ฐจ๊ฐ€ ๋ฐ˜์‚ฌ๋˜๋Š” ๋ฌผ.

์ถ”์ฒœ ๋งค๊ฐœ๋ณ€์ˆ˜

samplers

Euler, Simple

steps

4 - null

cfg

1

vae

ae_Dev - n/a, ae_Schnell - n/a

ํŒ

๋” ๋‚˜์€ ํ†ตํ•ฉ์„ ์œ„ํ•ด FLUX ์ „์šฉ SamplersCustomAdvanced ๋…ธ๋“œ๋ฅผ ์‚ฌ์šฉํ•˜์„ธ์š”.

์ „์šฉ FLUX ์ƒ˜ํ”Œ๋Ÿฌ ๋…ธ๋“œ๋ฅผ ์‚ฌ์šฉํ•˜์ง€ ์•Š์„ ๊ฒฝ์šฐ ํ”„๋กฌํ”„ํŠธ์™€ ์ƒ˜ํ”Œ๋Ÿฌ ์‚ฌ์ด์— FluxGuidance ๋…ธ๋“œ๋ฅผ ์‚ฌ์šฉํ•ด ๊ฐ€์ด๋“œ ๊ด€๋ฆฌ๋ฅผ ํ•˜์„ธ์š”.

์ปดํŒฉํŠธ ๋ชจ๋ธ์€ ํฌ๊ธฐ๋ฅผ ์•ฝ 30% ์ค„์—ฌ ์„ฑ๋Šฅ์ด ๋‚ฎ์€ ๊ธฐ๊ธฐ์—์„œ๋„ ํ’ˆ์งˆ ์ €ํ•˜ ์—†์ด ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์ƒ˜ํ”Œ๋Ÿฌ์˜ CFG๋ฅผ 1๋กœ ์œ ์ง€ํ•˜๊ณ , FluxGuidance ๋…ธ๋“œ๋ฅผ ํ†ตํ•ด ๊ฐ€์ด๋˜์Šค๋ฅผ ์กฐ์ ˆํ•˜์„ธ์š” (๊ถŒ์žฅ Flux Guidance: 2+).

FLUX COMPACT

Clips์™€ VAE๊ฐ€ ํ•˜๋‚˜์˜ ๋ชจ๋ธ์— ํฌํ•จ๋œ ์ปดํŒฉํŠธํ•œ Flux ๋ชจ๋ธ ์ปฌ๋ ‰์…˜์„ ์„ ๋ณด์ด๊ฒŒ ๋˜์–ด ๊ธฐ์ฉ๋‹ˆ๋‹ค. ์ด ๋ชจ๋ธ๋“ค์€ ๋‹ค์–‘ํ•œ ๊ธฐ์กด ์›Œํฌํ”Œ๋กœ์šฐ์— ์›ํ™œํ•˜๊ฒŒ ํ†ตํ•ฉ๋˜๋„๋ก ์ตœ์ ํ™”๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค. ์ด ์ปดํŒฉํŠธ ๋ฒ„์ „์€ ๋‹ค์–‘ํ•œ Clips ๋ฐ ๋ชจ๋ธ ์กฐํ•ฉ์„ ํฌํ•จํ•˜๊ณ  ์žˆ์–ด, ๋ณ„๋„์˜ ์„ค์ • ์—†์ด 'CheckpointLoaderSimple'๊ณผ ๊ฐ™์€ ๋…ธ๋“œ๋ฅผ ํ†ตํ•ด ์‰ฝ๊ฒŒ ์ง์ ‘ ๋กœ๋“œํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

Sampler Node๋กœ๋Š” SDXL์— ์ด๋ฏธ ์กด์žฌํ•˜๋Š” ์ƒ˜ํ”Œ๋Ÿฌ๋ฅผ ์‚ฌ์šฉํ•˜๋ฉฐ, CFG๋ฅผ 1๋กœ ์„ค์ •ํ•˜๊ฑฐ๋‚˜, FLUX ์ „์šฉ 'SamplersCustomAdvanced'๋ฅผ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์œ„์— ํ‘œ์‹œ๋œ ์ „์šฉ FLUX ๋…ธ๋“œ๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด ์ƒ˜ํ”Œ๋Ÿฌ์˜ 'CFG' ๋Œ€์‹  ๊ฐ€์ด๋˜์Šค๋ฅผ ๊ด€๋ฆฌํ•˜๊ธฐ ์œ„ํ•ด 'Guiders' ์ค‘ ํ•˜๋‚˜๋ฅผ ๋…ธ๋“œ๋กœ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์ „์šฉ FLUX ๋…ธ๋“œ๋ฅผ ์‚ฌ์šฉํ•˜์ง€ ์•Š๋Š” ๊ฒฝ์šฐ์—๋Š” SDXL์— ์ด๋ฏธ ์žˆ๋Š” ๋‹ค๋ฅธ ์ƒ˜ํ”Œ๋Ÿฌ์—์„œ 'CFG'๋ฅผ 1๋กœ ์œ ์ง€ํ•˜๊ณ , ํ”„๋กฌํ”„ํŠธ์™€ ์ƒ˜ํ”Œ๋Ÿฌ ์‚ฌ์ด์— ๋ฐฐ์น˜๋œ 'FluxGuidance' ๋…ธ๋“œ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ๊ฐ€์ด๋˜์Šค๋ฅผ ๊ด€๋ฆฌํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์ตœ์ข… ํฌ๊ธฐ๋ฅผ ์•ฝ 30% ์ค„์ž„์œผ๋กœ์จ, ์ด ๋ชจ๋ธ๋“ค์€ ์„ฑ๋Šฅ์ด ๋‚ฎ์€ ๊ธฐ๊ธฐ์—์„œ๋„ ์ ‘๊ทผ ๊ฐ€๋Šฅํ•˜์ง€๋งŒ, ์ด๋ ‡๊ฒŒ ๊ฐ€๋Šฅํ•œ ์ด์œ ๋Š” ํ™•์‹ค์น˜ ์•Š์Šต๋‹ˆ๋‹ค. ์ œ ํ…Œ์ŠคํŠธ์—์„œ๋Š” ์ „์ฒด ๋ฒ„์ „๊ณผ ์ถœ๋ ฅ๋ฌผ์—์„œ ์ฐจ์ด๋ฅผ ๊ด€์ฐฐํ•˜์ง€ ๋ชปํ–ˆ์Šต๋‹ˆ๋‹ค.

์—ฌ๋Ÿฌ๋ถ„์˜ ์‹คํ—˜ ๊ฒฐ๊ณผ๋„ ์•Œ๋ ค ์ฃผ์„ธ์š”.

์ด ๋ชจ๋ธ๋“ค์˜ ์›๋ณธ ์ œ์ž‘ ๋ฐ ๊ณต๊ฐœ์— ๋Œ€ํ•œ ๊ถŒ๋ฆฌ๋Š” ์ „์ ์œผ๋กœ 'Black Forest Labs'์™€ ๊ทธ ์žฌ๋Šฅ ์žˆ๋Š” ํŒ€์— ์žˆ์œผ๋ฉฐ, ์ €๋Š” ์ด๋“ค์˜ ๋›ฐ์–ด๋‚œ ์ž‘์—…์„ ์ปค๋ฎค๋‹ˆํ‹ฐ์— ๋” ์‰ฝ๊ฒŒ ์ œ๊ณตํ•˜๋ ค๋Š” ๊ฒƒ์ด ๋ชฉํ‘œ์ž…๋‹ˆ๋‹ค.

์ด ์ปดํŒฉํŠธ Flux ๋ชจ๋ธ๋“ค์ด ์—ฌ๋Ÿฌ๋ถ„์˜ ์ฐฝ์ž‘ ๋ฐ ๊ธฐ์ˆ ์  ์ž‘์—…์— ์œ ์šฉํ•˜๊ฒŒ ์‚ฌ์šฉ๋˜๊ธธ ๋ฐ”๋ผ๋ฉฐ, ํ–ฅํ›„ ์ด ๋„๊ตฌ๋“ค์„ ํ•จ๊ป˜ ํƒํ—˜ํ•˜๊ณ  ๊ฐœ์„ ํ•ด ๋‚˜๊ฐ€๋Š”๋ฐ ์—ฌ๋Ÿฌ๋ถ„์˜ ํ”ผ๋“œ๋ฐฑ์„ ๊ธฐ๋Œ€ํ•ฉ๋‹ˆ๋‹ค.

Flux.1-Dev Compact

์ฃผ์š” SAMPLER: Euler + Simple

์ผ๋ฐ˜ CFG: 1

FLUX GUIDANCE: 2+

๋” ์ข‹์€ STEPS: 20+

Flux.1-Schnell Compact

์ฃผ์š” SAMPLER: Euler + Simple

์ผ๋ฐ˜ CFG: 1

FLUX GUIDANCE: 2+

๋” ์ข‹์€ STEPS: 4+

๋ฒ„์ „ ๋‚ด์šฉ:

Flux.1-Dev fp8

  • Unet: Flux.1-Dev

  • weight_dtype: fp8_e4m3fn

  • Clip1: t5xxl_fp8_e4m3fn

  • Clip2: clip_l

  • VAE: ae_Dev

Flux.1-Dev fp16

  • Unet: Flux.1-Dev

  • weight_dtype: fp8_e4m3fn

  • Clip1: t5xxl_fp16

  • Clip2: clip_l

  • VAE: ae_Dev

Flux.1-Schnell fp8

  • Unet: Flux.1-Schnell

  • weight_dtype: fp8_e4m3fn

  • Clip1: t5xxl_fp8_e4m3fn

  • Clip2: clip_l

  • VAE: ae_Schnell

Flux.1-Schnell fp16

  • Unet: Flux.1-Schnell

  • weight_dtype: fp8_e4m3fn

  • Clip1: t5xxl_fp16

  • Clip2: clip_l

  • VAE: ae_Schnell

Flux.1-Dev fp16 ALT

  • Unet: Flux.1-Dev

  • weight_dtype: fp8_e5m2

  • Clip1: t5xxl_fp16

  • Clip2: clip_l

  • VAE: ae_Dev

Flux.1-Dev fp8 ALT

  • Unet: Flux.1-Dev

  • weight_dtype: fp8_e5m2

  • Clip1: t5xxl_fp8_e4m3fn

  • Clip2: clip_l

  • VAE: ae_Dev

์ด์ „
ChronoKnight์˜ ์ปฌ๋Ÿฌ ๋ชฉํƒ„ํ™” - [FLUX] - v1.0
๋‹ค์Œ
์Šคํƒ€์ผํ™”๋œ ์„์กฐ ์กฐ๊ฐ ์งˆ๊ฐ - v1.0

๋ชจ๋ธ ์„ธ๋ถ€์‚ฌํ•ญ

๋ชจ๋ธ ์œ ํ˜•

Checkpoint

๊ธฐ๋ณธ ๋ชจ๋ธ

Flux.1 D

๋ชจ๋ธ ๋ฒ„์ „

๐ŸŸจ Flux.1-Dev fp8

๋ชจ๋ธ ํ•ด์‹œ

363d9d476a

์ œ์ž‘์ž

ํ† ๋ก 

๋Œ“๊ธ€์„ ๋‚จ๊ธฐ๋ ค๋ฉด log inํ•˜์„ธ์š”.

Flux.1 Compact | CLIP ๋ฐ VAE ํฌํ•จ - ๐ŸŸจ Flux.1-Dev fp8 ์ œ์ž‘ ์ด๋ฏธ์ง€

๊ธฐ๋ณธ ๋ชจ๋ธ ์ด๋ฏธ์ง€

stable diffusion ์ด๋ฏธ์ง€