안티블러 Flux Lora - v1.0

AntiBlur Lora가 크게 개선되었습니다!

새로운 Lora의 개선점:

• DoF는 Lora의 가중치로 조절할 수 있습니다.

따라서 가중치 0은 Flux 생성물에 일반적인 얕은 DoF를 제공합니다.

기본 가중치 1.0은 스타일과 구성에 큰 변화를 주지 않으면서 (아마도) 더 쾌적한 이미지를 위해 DoF를 줄입니다. 목표는 가중치 1.0에서 DoF가 기대하는 대로 약간의 좋은 보케가 여기저기 있으면서도 Flux에서 흔히 볼 수 있는 과도함 없이 자연스럽게 표현되는 것입니다(자세한 내용은 아래에서 설명).

가중치가 1.0을 넘으면 깊은 DoF 효과의 이미지를 만들 수 있습니다. Lora는 3.0 이상의 가중치도 품질 저하 없이 처리할 수 있습니다.

• 스타일적으로 중립적입니다

데이터셋은 Flux로 생성된 수백 장의 이미지로 만들어져 원래 모델의 스타일과 너무 다르지 않도록 하였고, 소량의 실제 사진은 구성 저하를 막기 위해 사용되었습니다(이는 AI가 자신의 사진으로만 학습할 때 발생하는 문제입니다).

• hires.fix와 잘 어울립니다

이 Lora는 hiresfix와 잘 작동하여 세부 묘사를 더 높이고 얕은 DoF를 최소화할 수 있습니다. 기본 Flux에서는 얕은 DoF로 흐릿한 이미지를 hires.fix 하려고 하면 같은 DoF 효과로 계속 흐릿하게 남아 있었기 때문에 그렇지 않았습니다. hires.fix가 작동하려면 이미지에서 세부 묘사가 나타나기 시작해야 합니다.

• 트리거 단어가 더 이상 필요 없습니다

Lora를 연결하기만 하면 작동합니다.

• 아티팩트가 훨씬 적습니다

Flux 생성 이미지를 사용하면 아티팩트가 최소화됩니다. 또한 많은 모델을 학습시키고 그 중 최고의 모델들을 anashel 제공 도구를 사용해 병합하였습니다(이 도구는 개별 모델에서 아티팩트를 일으키던 가장자리를 부드럽게 처리했습니다. 병합은 모델을 스타일적으로 다양하게 만드는 데 특히 유용했습니다).

Lora가 655mb인 이유

기본적으로 "깊은 DoF" 효과를 갖는 Lora는 새로운 스타일이나 개념을 도입하지 않고 단순히 얕은 DoF를 제거하기 때문에 작아야 한다고 생각했습니다.

그래서 여러 Lora 랭크를 시도했지만, 배경에 대한 정보는 잠재 공간 전반에 퍼져 있었고 모델이 클수록 더 좋은 결과를 주었습니다. 그래서 128랭크 Lora를 선택했습니다.

Lora의 레이어를 분리하여 DoF 정보가 있는 레이어만 사용하는 것도 가능하지만, DoF 정보는 대부분의 레이어에 분산되어 있었습니다. 예를 들어 매크로 샷을 생성할 때 DoF는 첫 번째 레이어에서 생성됩니다. 배경 정보는 모델 전반에 존재하며 일정한 얕은 DoF가 Flux 학습 데이터에 그대로 반영되어 있습니다. 게다가 Flux는 DoF와 블러 개념을 제대로 이해하지 못합니다. 따라서 SD1.5나 SDXL보다 훨씬 많은 양의 정보가 존재할 뿐 아니라, 제어 또한 훨씬 미흡합니다.

이 Lora는 어떻게 제작되었나요

먼저 초점 스태킹 기법과 깊은 DoF를 사용한 방대한 데이터셋을 모아 이 데이터셋으로 새 Lora를 훈련시켰습니다. 이어 이 Lora를 이용해 새 데이터셋용 이미지를 생성했습니다.

"antiblur" Lora 변형 중에서 각각의 장점을 가진 수백 가지를 선별해 하나의 균형 잡힌 모델로 합쳤습니다.

다음 계획은?

랭크가 높을수록 품질이 좋아지므로, 다음 단계로는 완전한 파인튜닝을 진행해(배경과 관련된 정보를 가진 잠재 공간 구석구석을 효과적으로 다루고) 그 후 Lora를 추출하는 것이 명확한 향상 방법입니다.

또 다른 이론적 방법은 Flux 잠재 공간에서 "blur" 또는 "dof" 개념/가중치를 찾아 이를 반전시킨 가중치로 Lora를 만드는 것인데, SD 기반 모델에서는 DoF 제어에 효과적이지 않았습니다.

현재까지는 결과에 만족하며, 이 모델은 당분간 제 최고의 노력이 될 것입니다.