SDXL / Flux.1 D - 매트 (반타) 블랙 - 실험 - Flux.1 D v2.0

Flux.1 D - V2.0

Flux에서 작동시키려는 마지막 시도... 여기서 말하는 작동시킨다는 것은 최대한 엉망으로 만드는 것을 의미합니다. SDXL 버전과 같은 결과를 낼 가능성은 거의 없습니다. 6000 스텝 이후 관찰만으로도 그 차이는 분명했습니다. SDXL은 "알겠어, 배울게, 하지만 나만의 방식으로"라는 느낌인 반면, Flux는 모르겠는 것이나 배우려는 것을 강하게 보정하며 싸우는 모습입니다. 한편, 오랜 훈련 후에는 훈련 데이터를 1:1로 복사할 만큼 이미지를 정확히 생성해 거의 순수한 검정색이 됩니다. Flux는 몇 스텝 만에 사진과 같은 이미지를 완벽히 복사할 수 있습니다.

지난 Flux 버전에서 말했듯, 주로 색상이 풍부하거나 특정 스타일을 가진 다른 LoRA와 혼합해 사용하는 것이 좋습니다.

SDXL v3.0과 같은 사진들이며, Flux 버전을 위해 약간 더 추가된 사진(일부 풍경 형식)도 포함되어 있습니다. 그러나 제가 올리거나 다른 사람들이 올린 이미지 중 80% 이상에 영향을 끼친 것으로 보이는 3장의 사진은 제거했습니다. SDXL 버전에서 이 작업을 하려다 당시에는 하지 않기로 했던 부분입니다. 이유는 해당 사진들이 너무 지배적이어서 이상한 동작과 특정 이미지 편향을 일으켰기 때문입니다. v1.0 Flux 버전에서 이를 확인했고, 이제는 제거되었습니다. 이로 인해 인기에는 타격이 있을 수 있지만, 개인적으로 상관하지 않습니다.

많은 분이 그냥 파이프라인에 LoRA가 있어서 사용한다고 생각합니다. 어떤 경우 LoRA 없이 만든 이미지가 더 좋은데도 말이죠. 스타일 LoRA는 다르며 명확한 스타일을 추가해 이미지를 생성할 때 뚜렷하게 나타납니다. 하지만 이 LoRA는 모든 것을 더 나쁘게 만들 잠재력이 커서 일부러 올린 이미지들을 엄선하지 않고 보여주는 이유이기도 합니다. 강한 광원이나 촛불 같은 밝은 소스를 추가하면 Flux(및 일부 SDXL 모델)는 자동으로 어두운 환경을 더해줍니다. 빛이 눈에 띄려면 반드시 어떤 형태로든 어둠이 필요하기 때문입니다(맑은 날 자동차 헤드라이트는 큰 효과가 없습니다).

NF4 또는 QQUFUF 버전 5.64.3255 K4 2 등에서 작동하는지 묻지 말아주세요. 파일 크기가 크지 않으니 직접 테스트해보시면 됩니다. 정상 FP8/16 Dev 버전 대비 메모리 절약이나 속도 향상 이상의 장점이 없다면 이런 모델과는 거리를 둘 예정입니다.

짧은 기간에 여러 버전을 릴리즈하면 익숙해지기 어렵다는 점도 압니다. 이 모델은 더 이상 추구하지 않고, 저나 다른 사람이 유용한 결과를 얻는지 확인할 예정입니다.

이미지를 포토샵으로 준비하는 데 든 수고가 가치가 없다는 것도 압니다. 특히 효과가 바뀌지 않는다는 걸 알 때는 더욱 그렇습니다. 차라리 새롭거나 어리석지만 흥미로운 랜덤 효과를 생성하거나 오래된 모델을 Flux화해 보는 편이 낫습니다.

Flux.1 D - V1.0

Kohya 등으로 이것저것 시도한 뒤, 꽤 이상한 콘셉트 LoRA로 성공적인 테스트를 해서 이 LoRA도 작동하는지 확인해보고 싶었습니다. Flux 버전을 만드는 것이 주목표는 아니었고, Flux가 대부분 대비에서 좋은 결과를 내기 때문입니다. 주요 목적은 인공적이고 부자연스러운 모습을 제거하는 것이었고, "정의되지 않은" 데이터셋이 그 효과를 낼 것이라 생각했습니다. 때때로 성공하거나 오히려 악화시키기도 합니다.

SDXL 버전과 마찬가지로 주로 색상 풍부한 다른 LoRA와 함께 쓰는 용도입니다.

프롬프트와 이미지 준비에 다소 게을렀던 점 양해 바랍니다. V3.0에서 사용한 것과 거의 같지만 쇼케이스 목적에는 충분합니다. 때때로 세부 표현이 죽거나 특별히 흥미로운 효과가 없기도 합니다(예: 해파리 이미지, 앵무새).

• 상응하는 이미지에 같은 시드 사용

• 처음 두 이미지는 LoRA 적용 유무 순서이며, 이후는 반대로 적용 없이 먼저, 그다음 LoRA 적용(종종 강도 다름)

• 일부는 트리거 워드가 처음에 있지만 Flux에서는 필요 없을 가능성 높음

• 새 데이터셋이 아닌 V1.0 데이터셋 기반 (이미지 수 과다 사용 방지)

Flux용 LoRA를 더 만들지 아직 확신 없으나 여러 시도는 해볼 생각입니다. 다양한 버전이 혼재해 있어 혼란스럽고, 10시간 내에 구식이 될 수 있는 것에 너무 많은 시간을 쓰기 어렵습니다.

덧붙여: 4060 TI(16GB)로 훈련했으며 최대 VRAM 사용량 14.4~15.2GB, 3.95~5.15초/반복, 512x, Rank 4... 4090은 필요 없으며 당연히 더 빠르겠지만, 그냥 실행 후 다른 일을 할 수 있으면 문제 없고, 테스트가 목적이 아니라면 속도가 크게 중요하지 않습니다.

항상 그랬듯, 의미 있는 결과가 나오는지 간간이 사용할 예정이며, 주로 호기심을 달래기 위한 용도입니다.

V.3.0

V2.0에서 약간 실수했지만 이번에는 병합 없이 진짜 작업임을 확인했습니다. 추가된 사진 수 때문에 원본과 너무 멀어질까 의심했으나 다행히 그렇지 않았습니다.

많은 분이 이 LoRA를 찾아주고 수많은 이미지를 만들어줘 정말 기쁩니다. 처음 의도와 다르게 현재 이런 쓰임새를 갖는 것이 꽤 좋네요(모든 LoRA가 그러하듯).

이 버전이 아마도 당분간 마지막일 것입니다. 더 많은 사진 추가는 주요 효과를 바꾸지 못하기 때문입니다. 대부분은 다른 모델, LoRA 조합과 프롬프트로 효과를 달성합니다.

앞으로는 이미지 생성에 더 집중해 조합을 찾고(조금은 휴식 겸), 이상한 LoRA도 만들고, 기존 LoRA를 고치고, 많은 다른 사람들의 자료도 써보려 합니다.

지금까지 올려주신 모든 이미지에 감사드리며, AI 분야가 빠르게 변하니 모든 LoRA는 수명이 있음을 아시길 바랍니다. 멋짐도 언젠가 끝나겠지요 :)

V2.0

V2.0에 대한 작은 공지 (국가에 따라 02.04 또는 04.02)

제가 공식적으로 바보임을 알립니다.

다른 LoRA 훈련을 시작했는데 2000 스텝 후에도 샘플 이미지에서 변화가 없었습니다. 거의 불가능한 일이었죠. 원인을 찾아보니 LR 워밍업 설정을 제대로 바꾸지 않았더군요(또는 올바른 설정으로 맞추지 않았음). 보통 워밍업 스텝을 사용하지 않지만, 이전에 실험용으로 4장 이미지 데이터셋에서 테스트 해본 적이 있어 설정이 꽤 달랐습니다. Epoch는 100, 모델 저장은 500 스텝마다, 워밍업은 32%로 되어 있어 4000 스텝 중 1280 스텝은 큰 변동이 없었습니다.

이번 LoRA 설정도 동일했지만 이미지가 60장이라 60000 스텝 중 19200 스텝이 워밍업이었고, 실제로 12000 스텝 지나도 시작도 안 한 셈이었으니, 결국 말 뿐인 훈련을 한 셈입니다. 많이 설명되는 부분이었습니다. 잠들어버려 체크 못 한 게 안타깝네요. 첫 효과가 늦는 것도 이미지 때문일 거라 생각했었는데 말입니다.

네... 이 버전은 실패작이며 대부분 V1.0과 병합한 내용입니다.

주말에 회사에서 돌아온 후 올바른 설정으로 다시 훈련할 예정입니다.

정말 죄송합니다. 아마도 의도치 않은 만우절 농담이었나 봅니다 :) .... :(

최근 꽤 많이 사용해 새 LoRA를 올리지 못한 이유로 몇 장 더 추가했습니다. 주로 회사 일과 복잡한 주제 설정 때문입니다. 단순하면서도 신경 쓰이는 주제가 아니면 지루하겠죠.

또한 Pony 분석에도 상당한 시간이 들었는데, 놀랍게도 Furry, Anime, 일반 포르노를 제외하면 Base XL 모델보다 더 기본적입니다. LoRA 훈련을 통한 콘셉트 및 스타일 추가엔 좋지만 위치, 감정, 이상한 앵글 등 복잡한 요소는 훨씬 더 잘 알고 있습니다. 별개의 이야기이긴 하지만요.

올해 더 많은 훈련을 할지 모르겠습니다. 간단한 작업을 해볼 수도 있지만 AI가 빠르게 발전하다 보니 한 달, 혹은 한 주 안에도 새것이 나올 수 있습니다.

• 이전에 생성된 이미지로 같은 시드와 모델을 테스트했습니다. 변화는 일부 경우 미묘하지만 다른 경우 극명합니다 (공지 이유 확인)

• 쇼케이스 이미지에서 변형을 더 많이 만들지 못해 죄송합니다. 때때로 이미지 준비에 시간이 더 걸려도 어쨌든 여기서는 크게 중요하지 않습니다. 자연스레 더 많은 시도가 이어질 것입니다.

V1.0

거의 완전 검정에 희미한 형태만 있는 훈련 이미지를 AI가 어떻게 받아들이는지 알아보기 위해 시도했습니다.

포토샵에서 데이터셋 준비가 거의 불가능해 힘들었습니다. 사람마다 모니터 설정이 달라 정확히 이 사진들이 그렇게 어두웠는지 말하기 어렵지만, 눈에 큰 부담을 줬습니다. 생성된 이미지를 봐도 훈련 이미지만큼 어둡진 않아 다소 보기 어렵습니다.

모델이 뭔가 배운 것이 놀라웠습니다. 어떻게 처리할지 고민하다가 일단 보류했습니다. 이상한 점도 많고, 생성 이미지를 ControlNet IP-Adapter에 넣으면 모든 게 강화되어 랜덤 결과가 나오기도 합니다.

생성 팁:

• 잘 모르겠습니다... 행운을 빕니다.