์งง์€ ํƒ‘ ํฌ๋‹ˆํ…Œ์ผ์„ ํ•œ ๊ธˆ๋ฐœ ๋จธ๋ฆฌ ์†Œ๋…€์˜ ํด๋กœ์ฆˆ์—… ์ดˆ์ƒํ™”๋กœ, 'KESTRAL'๋ผ๊ณ  ์“ฐ์ธ ๋Œ ์•„์น˜ ์•„๋ž˜ ์ˆฒ์† ๊ณต์›์—์„œ ๋ถ„ํ™์ƒ‰๊ณผ ํฐ์ƒ‰ ์ค„๋ฌด๋Šฌ ์…”์ธ ๋ฅผ ์ž…๊ณ  ๋…น์ƒ‰ ๋ˆˆ๊ณผ ์ž‘์€ ๊ธˆ ๊ท€๊ฑธ์ด๋ฅผ ์ฐฉ์šฉํ•จ.
๋‚˜๋ฌด ํ…Œ์ด๋ธ” ์œ„์— ๋‹ค์–‘ํ•œ ์ข…๋ฅ˜์˜ ์น˜์ฆˆ, ์—ฌ๋Ÿฌ ์ข…๋ฅ˜์˜ ํ์–ด๋“œ ๋ฏธํŠธ, ํฌ๋„, ๊ฑด์กฐ ํ† ๋งˆํ† , ํ™”์ดํŠธ ์™€์ธ ์ž”์ด ๋†“์ธ ๊ณ ๊ธ‰์Šค๋Ÿฌ์šด ์ƒคํ€ดํ…Œ๋ฆฌ ๋ณด๋“œ๋ฅผ ํ‘œํ˜„ํ•œ ์• ๋‹ˆ๋ฉ”์ด์…˜ ์Šคํƒ€์ผ ์ด๋ฏธ์ง€.
ํ‚ค๊ฐ€ ํฌ๊ณ  ๋‚ ์”ฌํ•œ ๊ณต์ฃผ๊ฐ€ ์ฒญ๋ก์ƒ‰ ๋“œ๋ ˆ์Šค์™€ ๋ชจํ—˜๊ฐ€ ๋งํ† ๋ฅผ ์ž…๊ณ  ๊ธด ๊ธˆ๋ฐœ ๋จธ๋ฆฌ๋ฅผ ํฌ๋‹ˆํ…Œ์ผ๋กœ ๋ฌถ์€ ์ฑ„ ๋‚˜๋ฌด ์ฒœ์žฅ ์•„๋ž˜ ๋†’์€ ๊ฝƒ๋ฐญ์—์„œ ๋งˆ์„๊ณผ ๋ˆˆ ๋ฎ์ธ ์‚ฐ์„ ๋ฐฐ๊ฒฝ์œผ๋กœ ์ถค์ถ”๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.
๊ธด ๊ฒ€์€ ๋จธ๋ฆฌ, ์ข์€ ํŒŒ๋ž€ ๋ˆˆ, ๋„ํ†ฐํ•œ ์ž…์ˆ ์„ ๊ฐ€์ง„ ์—ฌ์„ฑ์ด ํฐ์ƒ‰ ์…”์ธ , ๊ฒ€์€ ๋„ฅํƒ€์ด, ๊ธˆ์ƒ‰ ๋‹จ์ถ”๊ฐ€ ๋‹ฌ๋ฆฐ ๊ฒ€์€ ํŽœ์Šฌ ์Šค์ปคํŠธ, ๊ฒ€์€ ๋ง์‚ฌ ์Šคํƒ€ํ‚น์„ ์ž…๊ณ  ํ˜ธํ…” ๋ณต๋„์— ์„œ์„œ ๋ƒ‰์ฒ ํ•œ ํ‘œ์ •์œผ๋กœ ์•„๋ž˜๋ฅผ ๋ฐ”๋ผ๋ณด๊ณ  ์žˆ๋‹ค.

์ถ”์ฒœ ๋งค๊ฐœ๋ณ€์ˆ˜

samplers

Euler

steps

20

cfg

4

vae

flux VAE

ํŒ

Flux ํ›ˆ๋ จ์€ ๋น„์šฉ๊ณผ ์‹œ๊ฐ„์ด ๋งŽ์ด ๋“ค๋ฉฐ, ๊ธฐ๋ถ€๋Š” ๊ฐœ๋ฐœ ์†๋„๋ฅผ ๋†’์ด๋Š” ๋ฐ ๋„์›€์ด ๋ฉ๋‹ˆ๋‹ค.

Flux ๋ชจ๋ธ์˜ ์ด์ „ ๋ฒ„์ „์€ ๊ณ„์† ๋ฌด๋ฃŒ๋กœ ์ œ๊ณต๋ฉ๋‹ˆ๋‹ค.

์‚ฌ์šฉ์ž๋“ค์€ Flux๋กœ ์ƒ์„ฑํ•œ ์ด๋ฏธ์ง€๋ฅผ ํ‰๊ฐ€ํ•˜๊ณ  ๊ฒŒ์‹œํ•˜๋Š” ๊ฒƒ์ด ๊ถŒ์žฅ๋ฉ๋‹ˆ๋‹ค.

ํฌ๋ฆฌ์—์ดํ„ฐ ์Šคํฐ์„œ

ํ˜„์žฌ ์œ ๋ฃŒ ๊ธฐ๊ฐ„ ๋™์•ˆ ๊ธฐ๋ถ€ํ•˜์—ฌ ์ง€์†์ ์ธ ํ›ˆ๋ จ์„ ์ง€์›ํ•˜์„ธ์š”. ์ด์ „ ๋ชจ๋ธ์€ ๊ณ„์† ๋ฌด๋ฃŒ์ž…๋‹ˆ๋‹ค.

ํ•„์š” ๋ชจ๋ธ ๋‹ค์šด๋กœ๋“œ:
Google T5 v1.1 XXL Encoder-only
CLIP L
Flux VAE

์žฅ๊ธฐ ์ผ๋Ÿฌ์ŠคํŠธ๋ ˆ์ด์…˜(์• ๋‹ˆ๋ฉ”) ๋ชจ๋ธ์˜ ๊ธฐ์ดˆ ์‹œ์ž‘์ž…๋‹ˆ๋‹ค. ์ข€ ๋” ํ˜„๋Œ€์ ์ด๊ณ  ์„ธ๋ จ๋œ ์• ๋‹ˆ๋ฉ”์ด์ง€๋งŒ ์ผ๋ฐ˜ Flux ๊ธฐ๋ณธ ๋ชจ๋ธ์„ ๋Šฅ๊ฐ€ํ•ฉ๋‹ˆ๋‹ค.

์œ ๋‘์™€ ์ƒ์‹๊ธฐ๊ฐ€ ์ถ”๊ฐ€๋˜์—ˆ์œผ๋ฉฐ, ์Œ๋ž€ํ•˜์ง€๋Š” ์•Š์Šต๋‹ˆ๋‹ค. ์ง€๊ธˆ๊นŒ์ง€ ์ผ์ฃผ์ผ๊ฐ„ ํ›ˆ๋ จํ–ˆ์œผ๋ฉฐ ์•ž์œผ๋กœ๋„ ๊ณ„์† ๋ชจ๋ธ์— ์ถ”๊ฐ€ํ•  ์˜ˆ์ •์ž…๋‹ˆ๋‹ค.

Flux ํ›ˆ๋ จ์€ ๋น„์šฉ๊ณผ ์‹œ๊ฐ„์ด ๋งŽ์ด ๋“ค๊ธฐ ๋•Œ๋ฌธ์— ์ตœ์‹  ๋ชจ๋ธ์€ ๋‹จ๊ธฐ๊ฐ„ ๊ธฐ๋ถ€๊ฐ€ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค. ์ด์ „ ๋ชจ๋ธ๋“ค์€ ๋ฌผ๋ก  ๋ฌด๋ฃŒ์ž…๋‹ˆ๋‹ค. ์—ฌ์œ ๊ฐ€ ์žˆ์œผ๋ฉด ํ›„์›ํ•ด ์ฃผ์„ธ์š”.๊ทธ๋ฆฌ๊ณ  ๋” ์ค‘์š”ํ•œ ๊ฑด, ํ‰๊ฐ€ํ•˜๊ณ  ์ด๋ฏธ์ง€๋ฅผ ๊ฒŒ์‹œํ•˜๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค!

๋‹ค์šด๋กœ๋“œ ์‹œ๊ฐ„์„ ์ ˆ์•ฝํ•˜๊ธฐ ์œ„ํ•ด fp8๋กœ ๋งŒ๋“  unet๋งŒ ํฌํ•จ๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค. ๋‘ ๊ฐœ์˜ clip ๋ชจ๋ธ๊ณผ flux VAE๋„ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค:

https://huggingface.co/mcmonkey/google_t5-v1_1-xxl_encoderonly

https://huggingface.co/comfyanonymous/flux_text_encoders/blob/main/clip_l.safetensors

https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/ae.safetensors

์ด์ „
์—ฌ์„ฑ - ์–ผ๊ตด ์ดˆ์ƒํ™” - ์„ธ๋ฐ€ํ•œ ํ”ผ๋ถ€ - ํด๋กœ์ฆˆ์—… ๋งคํฌ๋กœ - Flux - v1.0
๋‹ค์Œ
Overnoizz - Illus x Niji - v1.0

๋ชจ๋ธ ์„ธ๋ถ€์‚ฌํ•ญ

๋ชจ๋ธ ์œ ํ˜•

Checkpoint

๊ธฐ๋ณธ ๋ชจ๋ธ

Flux.1 D

๋ชจ๋ธ ๋ฒ„์ „

V0.1

๋ชจ๋ธ ํ•ด์‹œ

d75d2065c2

์ œ์ž‘์ž

ํ† ๋ก 

๋Œ“๊ธ€์„ ๋‚จ๊ธฐ๋ ค๋ฉด log inํ•˜์„ธ์š”.

Zovya์˜ Kestral Flux (์• ๋‹ˆ๋ฉ”) - V0.1 ์ œ์ž‘ ์ด๋ฏธ์ง€

์งง์€ ํƒ‘ ํฌ๋‹ˆํ…Œ์ผ์„ ํ•œ ๊ธˆ๋ฐœ ๋จธ๋ฆฌ ์†Œ๋…€์˜ ํด๋กœ์ฆˆ์—… ์ดˆ์ƒํ™”๋กœ, 'KESTRAL'๋ผ๊ณ  ์“ฐ์ธ ๋Œ ์•„์น˜ ์•„๋ž˜ ์ˆฒ์† ๊ณต์›์—์„œ ๋ถ„ํ™์ƒ‰๊ณผ ํฐ์ƒ‰ ์ค„๋ฌด๋Šฌ ์…”์ธ ๋ฅผ ์ž…๊ณ  ๋…น์ƒ‰ ๋ˆˆ๊ณผ ์ž‘์€ ๊ธˆ ๊ท€๊ฑธ์ด๋ฅผ ์ฐฉ์šฉํ•จ.
๋‚˜๋ฌด ํ…Œ์ด๋ธ” ์œ„์— ๋‹ค์–‘ํ•œ ์ข…๋ฅ˜์˜ ์น˜์ฆˆ, ์—ฌ๋Ÿฌ ์ข…๋ฅ˜์˜ ํ์–ด๋“œ ๋ฏธํŠธ, ํฌ๋„, ๊ฑด์กฐ ํ† ๋งˆํ† , ํ™”์ดํŠธ ์™€์ธ ์ž”์ด ๋†“์ธ ๊ณ ๊ธ‰์Šค๋Ÿฌ์šด ์ƒคํ€ดํ…Œ๋ฆฌ ๋ณด๋“œ๋ฅผ ํ‘œํ˜„ํ•œ ์• ๋‹ˆ๋ฉ”์ด์…˜ ์Šคํƒ€์ผ ์ด๋ฏธ์ง€.
ํ‚ค๊ฐ€ ํฌ๊ณ  ๋‚ ์”ฌํ•œ ๊ณต์ฃผ๊ฐ€ ์ฒญ๋ก์ƒ‰ ๋“œ๋ ˆ์Šค์™€ ๋ชจํ—˜๊ฐ€ ๋งํ† ๋ฅผ ์ž…๊ณ  ๊ธด ๊ธˆ๋ฐœ ๋จธ๋ฆฌ๋ฅผ ํฌ๋‹ˆํ…Œ์ผ๋กœ ๋ฌถ์€ ์ฑ„ ๋‚˜๋ฌด ์ฒœ์žฅ ์•„๋ž˜ ๋†’์€ ๊ฝƒ๋ฐญ์—์„œ ๋งˆ์„๊ณผ ๋ˆˆ ๋ฎ์ธ ์‚ฐ์„ ๋ฐฐ๊ฒฝ์œผ๋กœ ์ถค์ถ”๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.
๊ธด ๊ฒ€์€ ๋จธ๋ฆฌ, ์ข์€ ํŒŒ๋ž€ ๋ˆˆ, ๋„ํ†ฐํ•œ ์ž…์ˆ ์„ ๊ฐ€์ง„ ์—ฌ์„ฑ์ด ํฐ์ƒ‰ ์…”์ธ , ๊ฒ€์€ ๋„ฅํƒ€์ด, ๊ธˆ์ƒ‰ ๋‹จ์ถ”๊ฐ€ ๋‹ฌ๋ฆฐ ๊ฒ€์€ ํŽœ์Šฌ ์Šค์ปคํŠธ, ๊ฒ€์€ ๋ง์‚ฌ ์Šคํƒ€ํ‚น์„ ์ž…๊ณ  ํ˜ธํ…” ๋ณต๋„์— ์„œ์„œ ๋ƒ‰์ฒ ํ•œ ํ‘œ์ •์œผ๋กœ ์•„๋ž˜๋ฅผ ๋ฐ”๋ผ๋ณด๊ณ  ์žˆ๋‹ค.

์• ๋‹ˆ๋ฉ” ์ด๋ฏธ์ง€

๋ฌด์„ฑํ•œ ํ˜‘๊ณก ์ ˆ๋ฒฝ์— ์„ธ์›Œ์ง„ ๋ฏธ๋ž˜์ง€ํ–ฅ์  ๊ณต์ƒ ๊ณผํ•™ ์ˆ˜๋„์›๊ณผ ๋„์‹œ, ์•„๋ž˜ ๊ฐ•๊ณผ ํ•จ๊ป˜ ๋น„ํ–‰ ๊ธฐ๊ณ„์™€ ๊ฐ€๋А๋‹ค๋ž€ ๋‹ค๋ฆฌ๋ฅผ ๊ฑด๋„ˆ๋Š” ์™ธ๋กœ์šด ์—ฌ์„ฑ.
์—ฐํ•œ ํŒŒ์Šคํ…” ํ†ค๊ณผ ๊ณ ๋Œ€๋น„ ์• ๋‹ˆ๋ฉ” ์Šคํƒ€์ผ๋กœ ์—ด๋Œ€ ์šฐ๋ฆผ์˜ ๊ฐ€์ง€์— ์•‰์•„ ์žˆ๋Š” ๋‹ค์ฑ„๋กœ์šด ๋งˆ์ฝ”์•ต๋ฌด.
์•„๋ฆ„๋‹ค์šด ๋ˆˆ๊ณผ ์•ž๋จธ๋ฆฌ๋ฅผ ๊ฐ€์ง„ ์†Œ๋…€๊ฐ€ ํ’€๋ฐญ์— ์•‰์•„ ์žˆ๊ณ  ํ–‡๋น›๊ณผ ์žŽ ๊ทธ๋ฆผ์ž๊ฐ€ ๊ทธ๋…€์™€ ๋•… ์œ„์— ์–ฝํ˜€ ์žˆ์Šต๋‹ˆ๋‹ค.
๋ฐค์˜ ๋‹ฌ๋น› ์•„๋ž˜ ๋น›๋‚˜๋Š” ๋ฐ์€ ๋ˆˆ๊ณผ ๊ธด ๊ณฑ์Šฌ๋จธ๋ฆฌ, ์„ธ๋ฐ€ํ•œ ๊ฐ‘์˜ท๊ณผ ๋น›๋‚˜๋Š” ๋ณด์„ ๊ท€๊ฑธ์ด๋ฅผ ์ฐฉ์šฉํ•œ ๋ ˆํŠธ๋กœ ๋ฏธ๋ž˜ ์†Œ๋…€์˜ ์ดˆ์ƒํ™”.
ํ–‡๋น›์— ๋น„์น˜๊ณ  ๊ฐ€์„ ์žŽ์ด ๊ทธ๋…€์˜ ํ™ฉ๊ฐˆ์ƒ‰ ํ”ผ๋ถ€์— ๋ณต์žกํ•œ ๊ทธ๋ฆผ์ž๋ฅผ ๋“œ๋ฆฌ์šฐ๋Š” ํŒŒ๋ž€ ๊ธด ๋จธ๋ฆฌ์™€ ์•„๋ฆ„๋‹ค์šด ๋ˆˆ์„ ๊ฐ€์ง„ ์• ๋‹ˆ๋ฉ” ์Šคํƒ€์ผ ์†Œ๋…€์˜ ์ดˆ์ƒํ™”
์‚ฌ๋ง‰์— ๋ฌด๋ฆŽ์„ ๊ฟ‡์€ ์• ๋‹ˆ๋ฉ” ์Šคํƒ€์ผ์˜ ์ด์ง‘ํŠธ ์—ฌ์„ฑ, ํฐ ํ”ผ๋ถ€, ํฐ ๋จธ๋ฆฌ, ๋ถ‰์€ ๋ˆˆ, ํฐ์ƒ‰ ๋กœ๋ธŒ์™€ ์ด์ง‘ํŠธ์‹ ๋ชฉ๊ฑธ์ด ์ฐฉ์šฉ, ๋ฐฐ๊ฒฝ์— ํ–‡์‚ด.
์งง์€ ๋จธ๋ฆฌ๋ฅผ ํ•œ ์• ๋‹ˆ๋ฉ” ์†Œ๋…€๊ฐ€ ๋ฐค์˜ ํŒŒ๋ž€ ๊ฝƒ๋ฐญ์— ์„œ ์žˆ์œผ๋ฉฐ, ํ•˜๋Š˜์—๋Š” ๋น›๋‚˜๋Š” ํŒŒ๋ž€ ๋น›๊ณผ ์€ํ•˜์ˆ˜๊ฐ€ ์žˆ๊ณ , ๋ฉ€๋ฆฌ ๋„์‹œ์˜ ๋ถˆ๋น›์ด ๋ณด์ธ๋‹ค.
๊ธธ๊ณ  ๊ฒ€์€ ๋จธ๋ฆฌ์™€ ์„ ๋ช…ํ•œ ์ดˆ๋ก์ƒ‰ ๋ˆˆ์„ ๊ฐ€์ง„ ์Šคํƒ€์ผ๋ฆฌ์‹œํ•œ ์• ๋‹ˆ๋ฉ”์ด์…˜ ์†Œ๋…€๊ฐ€ ๊ฒ€์€์ƒ‰ ์˜์ƒ๊ณผ ๋นจ๊ฐ„ ๊ฝƒ ๋ฌธ์‹ ์ด ์žฅ์‹๋œ ๋ฌด๋ฆŽ ์œ„๊นŒ์ง€ ์˜ค๋Š” ์Šคํƒ€ํ‚น์„ ์ฐฉ์šฉํ•˜๊ณ  ๋นจ๊ฐ„ ๋ฐฐ๊ฒฝ ์•ž์—์„œ ์นดํƒ€๋‚˜๋ฅผ ๋“ค๊ณ  ์žˆ์Œ.
ํญํ’์šฐ๊ฐ€ ๋ชฐ์•„์น˜๋Š” ํ•˜๋Š˜ ์•„๋ž˜ ๋„์‹œ ์Šค์นด์ด๋ผ์ธ์„ ๋ฐฐ๊ฒฝ์œผ๋กœ ํ•œ ๋น„ํ–‰์„ ์ด ๋–  ์žˆ๋Š” ๊ทน์ ์ธ ์ŠคํŒ€ํŽ‘ํฌ ์ „ํˆฌ ์žฅ๋ฉด, ๊ฑฐ๋ฆฌ์—์„œ ๋กœ๋ด‡๊ณผ ์ฆ๊ธฐ ๋™๋ ฅ ์™ธ๊ณจ๊ฒฉ ์ˆ˜ํŠธ๊ฐ€ ์‹ธ์šฐ๊ณ  ์žˆ์œผ๋ฉฐ ์ค‘์‹ฌ์—์„œ ํญ๋ฐœ์ด ๋น›๋‚˜๊ณ  ์žˆ๋‹ค.
์ „ํ†ต ๋จธ๋ฆฌ ์žฅ์‹๊ณผ ํ„ธ ํŠธ๋ฆผ์ด ์žˆ๋Š” ํ™”๋ คํ•œ ๊ธฐ๋ชจ๋…ธ๋ฅผ ์ž…๊ณ , ๊ธˆ๋ฐœ ๋จธ๋ฆฌ์™€ ๋…ธ๋ž€ ๋ˆˆ, ์—ฌ์šฐ ๊ท€์™€ ๊ผฌ๋ฆฌ๋ฅผ ๊ฐ€์ง„ ๋ฏธ์†Œ ์ง“๋Š” ์—ฌ์šฐ ์†Œ๋…€๊ฐ€ ํ† ๋ฆฌ์ด ๋ฌธ ์•ž์— ์„œ ์žˆ๋‹ค.

๊ธฐ๋ณธ ๋ชจ๋ธ ์ด๋ฏธ์ง€

์–ด๋‘ก๊ณ  ๋ถˆ๊ธธํ•œ ํ•˜๋Š˜ ์•„๋ž˜ ๋น›๋‚˜๋Š” ์žญ์˜ค๋žœํ„ด ์กฐ๋ช…์œผ๋กœ ๋ฐํžŒ ์Œ์‚ฐํ•œ ๋ฌด๋ค์„ ๊ฑท๋Š” ์ข€๋น„์™€ ํ•ด๊ณจ์„ ํฌํ•จํ•œ ์–ธ๋ฐ๋“œ ์บ๋ฆญํ„ฐ๋“ค์˜ ์‚ฌ์ง„ ๊ฐ™์€ ์žฅ๋ฉด.