SDXL / Flux.1 D - 무광 (반타)블랙 - 실험 - SDXL v2.0

Flux.1 D - V2.0

Flux에서 작동시키려는 마지막 시도... 여기서 작동시킨다는 건 최대한 문제를 일으킨다는 의미입니다. SDXL 버전과 같은 작업을 다시 하진 않을 가능성이 큽니다. 6000 스텝 이후 관찰만으로도 그 차이가 확연했습니다. SDXL은 "알겠어, 배울게, 하지만 내 방식으로 하겠다"는 태도인 반면, Flux는 어떻게 해야 할지 모르는 부분이나 내가 정확히 배우길 원하는 것에 대해 극도로 저항하고 보상하려고 애쓰고 있습니다. 반면, 긴 훈련 후에는 실제로 그 이미지들을 만들어내며, 데이터 1:1 복사 수준까지 가서 거의 순수한 검정색을 만들어냅니다. Flux는 단 몇 단계 만에 사진 같은 이미지를 완벽하게 복사할 수 있습니다.

앞서 Flux 버전에서도 말했듯, 주로 더 다채롭거나 특정 스타일을 가진 다른 LoRA와 혼합하여 사용하는 것이 좋습니다.

SDXL v.3.0과 동일한 이미지에 몇 장이 더 추가된 버전입니다(몇몇은 가로형). 하지만 제가 올린 이미지나 다른 사람이 사용한 이미지 중 약 80% 이상에 영향을 끼친 3장의 이미지는 제거했습니다. SDXL 버전에서는 제거하지 않기로 했지만 이번에는 제거했습니다. 해당 이미지는 지나치게 지배적이어서 이상한 동작과 특정 이미지 생성 편향을 유발했습니다. 이 문제점은 v.1.0 Flux 버전에서 보였고 이제 제거되었습니다. 인기에는 타격이 있을 수 있지만 저는 신경 쓰지 않습니다.

많은 사람들이 단순히 "파이프라인"에 있는 특정 LoRA를 사용하는 것 같다고 생각합니다. 어떤 경우에는 LoRA 없이 만든 이미지가 더 좋아 보이는데도 모르는 경우가 있죠. 스타일 LoRA는 생성 과정에서 명확한 스타일을 더하지만, 이 Flux 모델은 모든 것을 나쁘게 만들 가능성이 크기 때문에 제가 게시한 이미지를 엄선하지 않고 그대로 보여주는 이유입니다. 강한 빛이나 촛불 같은 광원 효과가 있으면 Flux(그리고 몇몇 SDXL 모델)는 스스로 어두운 환경을 추가합니다. 이는 광원이 눈에 띄려면 반드시 어둠이 필요하기 때문입니다 (예: 햇빛 아래 자동차 전조등은 거의 효과가 없습니다).

NF4나 QQUFUF 버전 5.64.3255 K4 2 등에서 작동하는지 묻지 마세요. 파일 크기가 크지 않으니 직접 테스트해 보세요. 일반 FP8/16 Dev 버전보다 메모리 소비 감소나 미미한 속도 향상을 제공하지 않는 이상 저는 그러한 모델에서 거리를 둘 것입니다.

짧은 시간에 새로운 버전 모델이 나올 때 익숙해진 후에는 짜증날 수 있다는 걸 압니다. 저는 더 이상 이 모델을 추구하지 않고 누군가 유용한 결과를 얻는지 지켜볼 계획입니다.

포토샵에서 이미지를 준비하는 데 들이는 작업량이 가치가 없다고 느낍니다. 변화가 없음을 알면서 계속하기보다 새롭고 흥미로운, 혹은 우연한 효과를 만드는 일을 하는 편이 낫습니다... 또는 구모델에 Flux를 적용해 어떤 결과가 나오는지 보는 것도 좋겠죠.

Flux.1 D - V1.0

Kohya 등으로 여러 시도를 해보며 꽤 이상한 개념의 LoRA들로 성공적인 테스트를 거친 후, 이것도 작동하는지 시험 삼아 시도했습니다. 사실 Flux 버전을 만드는 게 목표는 아니었고, Flux는 대비 처리에 꽤 좋은 성능을 보이기 때문입니다. 제 주 목표는 인공적/가짜 같은 느낌을 없애는 것이었고, "정의되지 않은" 데이터셋이 효과를 줄 것이라 생각했습니다. 다만 때로는 효과가 있거나 더 나빠지기도 합니다.

SDXL 버전과 마찬가지로, 색감을 많이 추가하는 다른 LoRA와 같이 사용하는 것이 더 좋습니다.

프롬프트와 이미지 준비가 다소 게으른 점 양해 바랍니다. V.3.0에서 사용한 것과 거의 동일하게 사용했으나 쇼케이스 용도에는 충분합니다. 때때로 디테일을 죽이고 특별히 흥미로운 것을 추가하지 않기도 합니다(예: 해파리 또는 앵무새 이미지).

• 해당 이미지에 같은 시드를 사용했습니다

• 처음 두 이미지는 LoRA 적용 전후이며, 그 후에는 순서가 반대입니다(때때로 강도도 다름)

• 일부에선 트리거 단어가 먼저 있으나 Flux에서는 필요 없을 가능성이 큽니다

• 신규가 아니라 V1.0 데이터셋 기반입니다(이미지가 너무 많아 사용하지 않음)

추가 LoRA 제작에 대해선 미정이지만 많은 테스트를 진행할 예정입니다. 다양한 버전으로 혼란스러운 상황이며 10시간 후면 구식이 될 수도 있어 더 많은 시간을 투자할 가치가 있을지 의문입니다.

참고로 4060 TI (16GB)로 512x 해상도, 랭크 4에서 1회 당 3.95~5.15초 정도 소요됩니다. 4090은 필요 없습니다. 물론 더 빠르겠지만, 그냥 실행 후 잊고 다른 걸 하는 중이라면 문제없습니다. 단, 무언가를 테스트하고 싶다면 다릅니다.

항상 그랬듯, 의미 있는 결과를 얻을 수 있을지 간간히 사용해볼 예정입니다. 주로 호기심 해소용입니다.

V.3.0

v2.0에서 실수 후 이번에는 병합 없이 제대로 된 버전임을 확신했습니다. 처음에는 추가된 이미지 수 때문에 원본에서 너무 벗어날까 걱정했지만 다행히 그렇지 않았습니다.

많은 사람들이 이 LoRA를 유용하게 사용하며 많은 이미지를 만들어 기쁩니다. 원래 의도는 아니었지만 지금은 다른 용도로도 사용될 수 있음이 확인되었죠 (모든 LoRA가 그렇듯이).

아마도 한동안 마지막 버전일 것이며, 단순히 이미지를 더 추가하는 것만으로는 주요 효과를 바꾸지 않습니다. 대부분은 다른 모델, LoRA 조합과 프롬프트에 의해 결정됩니다.

더 많은 조합을 찾기 위해 실제 이미지 생성에 집중하고, 새로운 이상한 LoRA를 만들며, 기존 LoRA를 고칠 계획입니다. 또한 많은 사람들로부터 다양한 자료를 받았지만 대부분 사용할 기회가 없었습니다.

지금까지 올려주신 모든 이미지에 감사드리며, AI 분야가 빠르게 움직이는 만큼 LoRA마다 라이프 사이클이 있으며 화려함도 언젠가 끝날 것임을 기억해 주세요. :)

V2.0

V2.0에 대한 작은 공지 (국가에 따라 02.04 또는 04.02)

저, 공식적으로 바보였습니다.

새로운 LoRA 훈련을 시작했는데 2000 스텝 지나도 샘플 이미지 변화가 전혀 없어 굉장히 이상했습니다. 원인을 찾아보니 설정 중 LR 워밍업이 원래 되어 있던 상태로 바뀌지 않은 걸 발견했습니다. 평소에는 워밍업 스텝을 사용하지 않지만 이전에 테스트 목적으로 사용해 봤습니다. 그 데이터셋은 4장이었고, 기본 설정은 100 epoch에 모델 출력은 500 스텝마다였습니다. 워밍업 설정이 32%였고, 4장 x 10 반복 x 100 epoch = 4000 스텝 중 32%인 1280 스텝 동안은 사실상 큰 변화가 없었던 겁니다.

이번 LoRA는 동일한 설정이었는데 60장 이미지였고, 60 x 10 x 100 = 60000 스텝중 32% 워밍업이 있었습니다(19200 스텝). 즉, 12000 스텝 이후에도 본격적 훈련이 시작되지 않은 셈이었고, 거의 공기 훈련만 한 셈입니다. 원인을 몰랐던 점에 대해 죄송합니다. 솔직히 이미지 문제라고 생각했었거든요.

결과적으로 이번 버전은 쓸모없고 대부분 V1.0과 병합된 부분에서 나옵니다.

주말에 다시 제대로 된 설정으로 훈련할 예정입니다.

진심으로 사과드립니다. 우연히 만우절 장난 같은 느낌도 듭니다. :) ... :(

최근 많이 사용하고 새 LoRA 업로드가 뜸해서 몇 장 더 추가했습니다. 주로 제가 일 때문에 할 일이 많고, 꽤 복잡하고 신경 쓰이는 주제들만 골라서 작업했기 때문입니다. 다른 것들은 지루할 테니까요.

또한 Pony 모델 분석에 많은 시간이 들어갔는데, 의외로 기본 XL 모델보다 더 단순한 부분이 많아 놀랐습니다. Furry, 애니메이션, 포르노 관련 요소를 제외하면 LoRA 훈련으로 컨셉과 스타일 추가에 좋고, 위치, 감정, 이상한 각도 등 복잡한 부분도 많이 이해합니다. 하지만 그것은 전혀 다른 이야기입니다.

올해 더 많은 훈련을 할지는 모르겠습니다. 간단한 일을 중간중간 할지도 모르고요. AI가 빠르게 발전해서 앞으로 한 달, 혹은 일주일 내 새로운 변화가 있을 수도 있습니다.

• 이전 생성 이미지와 동일한 시드 및 모델로 테스트했습니다. 일부는 미묘한 변화가 있지만 다른 경우는 극단적입니다 (위 공지를 읽어보세요)

• 전시 이미지에 변형이 적은 점 사과드립니다. 이미지를 준비하는 데 시간이 더 오래 걸릴 때가 많지만 이번에는 크게 중요하지 않습니다. 이후 자연스럽게 더 추가할 예정입니다.

V1.0

거의 완전한 검정색에 희미한 윤곽만 있는 훈련 이미지를 AI가 어떻게 인식하는지 확인하려 노력했습니다.

포토샵으로 데이터셋을 준비하는 것이 거의 불가능했습니다. 거의 아무것도 보이지 않았거든요. 물론 사람마다 모니터 설정 등이 다르므로 이 이미지가 정말 이렇게 어두웠는지 단정하기 어렵지만 눈에 상당한 부담을 주었습니다. 지금 생성 이미지도 훈련 이미지만큼은 아니지만 보기 어렵습니다.

모델이 뭔가라도 인식한 게 놀라웠습니다. 어떻게 활용할지 결정할 때까지 일단 보류할 예정입니다. 이상한 결과를 만들기도 합니다. 생성한 이미지를 ControlNet IP-Adapter에 넣으면 모든 것이 증폭되어 무작위 결과가 만들어집니다.

생성 팁:

• 알 수 없습니다... 행운을 빕니다.