SDXL / Flux.1 D - 매트 (반타)블랙 - 실험 - Flux.1 D v1.0

Flux.1 D - V2.0

Flux에서 작동시키려는 마지막 시도입니다... 여기서 작동시킨다는 것은 가능한 한 많은 문제를 일으키겠다는 의미입니다. SDXL 버전과 같은 방식을 다시 하지는 않을 것입니다. 6000 스텝 이후 관찰만으로도 분명했습니다. SDXL은 "그래, 배울 거야, 하지만 내 방식대로 할 거야"라면, Flux는 자신이 어떻게 해야 할지 모르는 것이나 내가 정확히 무엇을 배우길 원하는지에 대해 격렬하게 싸우거나 보상하려 합니다. 반면, 긴 훈련 후에는 해당 이미지를 완벽하게 재현하며, 학습 데이터를 1대1로 복사해 거의 순수한 검은색 결과가 나오기도 합니다. Flux는 몇 스텝 만에 사진 같은 이미지를 완벽하게 복사할 수 있습니다.

지난 Flux 버전에서 말했듯이, 이 모델은 주로 더 다채롭거나 특정 스타일을 가진 다른 LoRA와 혼합해 사용하고자 합니다.

SDXL v.3.0과 같은 사진이지만 Flux 버전에는 꽤 많은 추가 사진(일부는 가로 형식)이 있습니다. 하지만 제가 게시한 사진이나 다른 사람들이 게시한 사진의 약 80% 이상을 차지했던 3장의 사진을 제거했습니다. 이는 SDXL 버전에서 하려 했지만 당시는 하지 않았던 일입니다. 그 사진들이 너무 지배적이어서 이상한 행동과 특정 이미지를 생성하는 편향을 유발했기 때문입니다. v.1.0 Flux 버전에서 이 현상을 확인했고 이제 사진들이 사라졌습니다. 인기도는 다소 떨어질 수 있지만 상관하지 않습니다.

많은 사람들이 단순히 "파이프라인"에 있기 때문에 특정 LoRA만 사용하는 것 같습니다. 경우에 따라 LoRA 없이 만든 이미지가 더 나아 보일 때도 있고 알 수 없습니다. 스타일 LoRA는 이미지를 생성할 때 스타일이 명확히 추가되지만, 이 모델은 모든 것을 오히려 악화시킬 가능성이 커서 제가 게시한 이미지를 엄선하지 않고 보여준 이유입니다. 촛불 같은 강한 광원이나 빛을 추가하면 Flux(및 몇몇 SDXL 모델)가 빛이 눈에 띄기 위해 어두운 환경을 자동으로 추가합니다(예: 햇볕 쨍쨍한 날의 자동차 전조등은 별 효과가 없습니다).

NF4나 QQUFUF 버전 5.64.3255 K4 2 등에서 작동하는지 묻지 마세요. 파일 크기가 크지 않아 직접 테스트할 수 있습니다. 저는 일반 FP8/16 Dev 버전 대비 단지 메모리 소비 감소나 무시할 만한 속도 증가(또는 더 나쁜 속도 저하)를 제공하지 않는 한 그 모델들을 거리를 둘 것입니다.

짧은 시간 내에 모델의 새 버전이 나오는 것이 얼마나 성가신지 압니다. 저는 이 모델을 더 이상 진행하지 않고 저나 누군가가 쓸모 있는 결과를 얻을지 지켜볼 것입니다.

또한, 포토샵으로 이미지를 준비하는 작업량이 그만한 가치가 없다고 느낍니다. 특히 아무 것도 바뀌지 않을 경우에는요. 차라리 새로운 것이나 무작위 효과를 만드는 멍청한 작업을 하는 것이 더 흥미롭거나 Flux로 기존 모델을 변형시켜 보는 게 낫습니다.

Flux.1 D - V1.0

Kohya와 기타를 가지고 이것저것 만져본 후, 꽤 이상한 콘셉트 LoRA로 Flux에서 성공적인 테스트를 한 걸 보고 이 모델이 작동할지 궁금해 시도했습니다. 사실 Flux 버전을 얻는 것이 목표는 아니었는데 Flux는 대부분 대비를 꽤 잘 처리하기 때문입니다. 주요 목표는 인공적이고 가짜 같은 느낌을 없애는 것이었고, "정의되지 않은" 데이터셋이 그 효과가 있을 것 같았는데, 어느 정도는 맞거나 때로는 더 악화시킵니다.

SDXL 버전과 마찬가지로, 주로 다른 LoRA, 특히 다채로운 색상을 더하는 LoRA와 함께 사용하기 위한 것입니다.

프롬프트와 이미지에 약간 게으름을 부린 점 사과드립니다. V.3.0과 거의 같은 것을 사용했지만 지금은 전시용으로 충분합니다. 때때로 디테일이 죽거나 특별히 흥미로운 것이 추가되지 않습니다(예: 해파리 이미지나 앵무새).

• 상응하는 이미지에 같은 시드 사용

• 처음 2장은 LoRA 사용 전후 이미지, 이후에는 반대로, 즉 처음에는 LoRA 없이, 그 다음에는 LoRA 사용(때로는 강도 다름)

• 처음에 트리거 단어가 포함된 것도 있지만 Flux에서 필요할지 의심됨

• 신규 데이터셋이 아닌 V1.0 데이터셋 기반(너무 많은 이미지 사용을 원치 않음)

앞으로 Flux용 LoRA를 더 만들지 모르겠지만 꽤 많이 테스트할 것입니다. 다양한 버전이 많아 혼란스럽고, 10시간 후에 구식이 될 수도 있는 것에 많은 시간을 쓰고 싶지는 않습니다.

참고로, 이 모델은 4060 TI (16GB)에서 훈련되었고 VRAM 사용량은 최대 14.4~15.2GB이며 512x, Rank 4 기준 3.95초~5.15초/iter가 소요됩니다. 4090이 꼭 필요한 것은 아닙니다. 물론 더 빠르겠지만, 그냥 실행 후 잊고 다른 작업을 해도 됩니다.

항상 그랬듯 가끔 사용해 보며 쓸 만한 결과가 나오는지 확인할 예정입니다. 주로 호기심 해소용입니다.

V.3.0

v2.0에서 실수한 후 이번에는 병합 없이 진짜 작업임을 확인했습니다. 처음에는 추가한 사진 수 때문에 처음 버전과 너무 다를까 걱정했지만 다행히 그렇지 않았습니다.

많은 분들이 이 LoRA를 활용해 여러 이미지를 만든 것이 정말 기쁩니다. 이 모델이 지금 하는 일을 의도한 것은 아니지만 다른 용도가 있거나, 모든 LoRA가 그렇듯 다른 용도로 쓸 수 있음이 확인되었습니다.

아마도 당분간 마지막 버전일 것입니다. 더 많은 사진 추가는 본질적인 효과를 바꾸지 못합니다. 대부분은 다른 모델, LoRA 조합, 프롬프트 사용으로 해결됩니다.

앞으로 실제 이미지 생성에 더 집중해 조합을 찾고(그리고 휴식도 취하며), 새로운 이상한 LoRA를 만들고 기존 것을 고칠 것입니다. 또한 사람들의 다양한 자료를 많이 다운받았는데 제대로 사용하지 못한 것도 아쉽습니다.

지금까지 올린 모든 이미지에 감사드리며, 이 분야의 빠른 변화와 LoRA의 수명 덕분에 인기가 언젠가는 끝나겠지만 계속 좋은 작품을 기대합니다. :)

V2.0

V2.0에 대한 작은 공지 (국가에 따라 02.04 또는 04.02)

솔직히 제가 바보였습니다.

다른 LoRA를 훈련하다가 2000 스텝 이후에도 샘플 이미지에 변화가 없음을 발견했는데, 사실 불가능한 일입니다. 원인을 찾던 중 변경하지 않은 설정(또는 올바른 값으로 설정하지 않은)인 LR 워밍업을 발견했습니다. 보통 워밍업 스텝을 사용하지 않는데, 전에 아주 적은 수 이미지(4장) 데이터셋으로 테스트하려고 사용해봤습니다. 100 Epochs 설정, 모델은 500 스텝마다 체크포인트 생성, 워밍업이 32%(4x10x100=4000스텝 중 1280스텝 동안 별 효과 없음)였죠.

이번 LoRA도 동일한 설정에 이미지 60장(60x10x100=60000 - 32% 워밍업=19200 스텝)으로 훈련했는데 12000 스텝 넘어서도 시작되지 않았습니다. 즉, 실질적으로 훈련하지 않은 셈입니다. 이유가 명확해졌죠. 잠들기 전까지는 왜 이런지 몰랐는데, 이미지 때문이라고 생각했습니다.

이 모델은 실망스러운 결과였고 대부분의 효과는 V1.0과 병합된 것입니다.

이번 주말에 제대로 설정해서 다시 훈련할 예정입니다.

정말 죄송합니다. 의도치 않은 만우절 농담 같네요 :) .... :(

최근에 많이 사용해서 사진을 추가했습니다. 새 LoRA 업로드가 한동안 없었던 이유는 일도 많고, 까다로운 주제만 골라 작업했기 때문입니다... 다른 건 무척 지루하니까요.

Pony를 분해하는 데도 시간이 많이 들었는데, 재미있는 점이 있습니다. Furry, Anime, 일반적인 포르노 관련 콘텐츠를 제외하면, Base XL 모델보다 더 기본적인 부분이 많아서 LoRA 훈련을 통해 콘셉트와 스타일 추가에 좋습니다. 하지만 포즈, 감정, 이상한 앵글 같은 더 복잡한 부분도 알고 있습니다... 그건 완전히 별개의 이야기입니다.

올해 얼마나 더 훈련할지 모르겠습니다. 중간에 더 쉬운 작업을 할 수도 있지만, 알 수 없습니다. AI는 빠르게 발전하니까 한 달이나 한 주 내에 새로운 것이 나올 수 있죠.

• 같은 시드와 모델로 이미 생성된 이미지에서 테스트했습니다. 일부는 변화가 미미하고 일부는 극명합니다 (공지사항을 읽으면 이유를 알 수 있습니다)

• 전시 이미지 변형을 더 많이 못 만든 점 사과드립니다. 보통은 이미지 준비에 시간이 더 오래 걸리지, LoRA 훈련보다 더 오래 걸리지만 이번에는 중요하지 않습니다. 자연스럽게 더 많은 작업이 이어질 것입니다.

V1.0

거의 완전한 검은색에 희미한 형태만 있는 학습 이미지를 인공지능이 얼마나 인식하는지 시험해봤습니다.

포토샵에서 데이터셋 준비가 거의 불가능했습니다. 왜냐하면 거의 아무것도 보이지 않았기 때문입니다. 물론 모니터 설정 차이가 있으니 진짜 사진이 그렇게 어두웠는지는 확실하지 않지만 눈에 큰 부담이 있었습니다. 생성된 이미지를 봐도 여전히 약간 어둡지만 학습 이미지만큼은 아닙니다.

실제로 모델이 무언가를 인식한 것이 놀랍습니다. 당분간은 따로 보류할 것이며 어떻게 사용할지 알아낼 것입니다. 뭔가 이상한 작업을 하긴 합니다. 생성된 이미지를 ControlNet IP-Adapter에 넣으면 모든 것이 강화되고 랜덤 결과가 생깁니다.

생성 팁:

• 잘 모르겠습니다... 행운을 빕니다.