소개:

style LoCon은 Civitai 사이트에서 '가장 많이 수집됨'과 '가장 많은 반응'을 받은 pony 기반 모델 이미지로 학습되었습니다.

이것은 Civitai에서 좋아요와 수집 수가 가장 많은 pony 계열 모델 이미지를 학습한 스타일 LoCon입니다.

이 lora는 특정 아티스트의 스타일이나 기법을 재현하는 것을 목표로 하지 않습니다. 다만 커뮤니티 취향과 이미지의 시각적 매력을 어느 정도 반영할 수 있습니다. 프롬프트에 따라 미묘한 스타일 변화가 발생할 수 있습니다.

이 lora는 특정 아티스트의 스타일이나 기술을 모방하려는 의도가 없습니다. 다만 커뮤니티 미감과 이미지의 시각적 매력을 일정 부분 반영할 수 있습니다. 서로 다른 프롬프트에 따라 스타일에 미묘한 차이가 있을 수 있습니다.

사용법:

V2 이전 버전은 특정 트리거 단어가 없으니, 해당 모델에 포함된 품질 태그를 사용하세요.

V3 이상 버전에서는 다음 태그를 학습하였습니다:

V2 이전 버전에는 특정 트리거 단어가 없습니다. 해당 모델에 제공되는 품질 태그를 사용하세요.

v3 이상 버전에서는 다음 태그들이 학습되었습니다:

positive:

masterpiece, best quality, very aesthetic

negative:

worst quality, low quality, displeasing

이 기본을 바탕으로 프롬프트를 편집할 수 있습니다.

데이터 버전:

v6:

500장 이상의 새 이미지를 추가했으며, 일부는 Flux에서 선택되었습니다. 품질이 낮다고 판단된 오래된 이미지는 삭제하였습니다.

데이터셋 내 이미지 총 수는 3,000장을 넘으며, 6개 버전에서 20여 개의 개념이 수동으로 강화/편집되었습니다.

모델의 랭킹도 상승하였습니다.

500장 이상의 새 이미지를 추가했으며 그 중 일부는 Flux에서 생성된 이미지입니다. 품질이 낮다고 판단된 오래된 이미지 일부를 제거했습니다.

데이터셋 내 총 이미지 수는 3000장을 넘으며, 6개 버전에서 20개 이상의 개념을 수동으로 강화/수정하였습니다.

모델의 랭킹도 상승했습니다.

v5.9:

모델의 성능이 기대에 미치지 못하지만, 학습 데이터셋 내 이미지는 문제가 없다고 생각합니다. 태그를 수동으로 조정하여 결과 변화를 확인할 예정입니다.

2025/1/3 업데이트:

일부 태그를 수동으로 갱신했으나 밝기와 색상과는 관련이 없는 것으로 보입니다. 노이즈 오프셋과 관련이 있을 가능성을 추측 중입니다.

모델 성능이 기대에 미치지 못하지만, 학습 데이터 자체는 문제가 없다고 판단됩니다. 태그를 수동으로 조정하며 결과 변화를 지켜볼 예정입니다.

2025/1/3 업데이트:

몇몇 태그를 수동으로 업데이트했지만, 밝기나 색과는 무관한 것으로 보입니다. 임시 추측으로는 노이즈 오프셋과 관련 있을 수 있습니다.

v5:

데이터셋이 2,154장으로 확장되었으며, 약 1,000장의 Pony 이미지를 주요 학습 대상으로 삼았습니다.

V-pred 모델도 Eps-pred 기반 모델로 학습한 LoRA를 사용할 수 있으나 출력 품질이 현저히 떨어집니다. 이 버전은 두 가지 유형의 모델 각각에서 별도로 학습됩니다.

최신 NoobAI 버전은 눈에 띄는 아티팩트를 포함하지만, Danbooru의 'jpeg artifact' 태그가 효과적이지 않아, 약 30장의 대표적이고 육안으로 확인 가능한 이미지를 부정적 예로 선정했습니다.

관찰된 현상으로는, Pony v6 및 NoobAI가 측면 머리카락이 있는 헤어스타일을 생성할 때 모발 뿌리에서 삼각형 모양으로 들려올라가는 경향이 있습니다. Danbooru에서는 이를 'hair intakes' 또는 'curtained hair'로 태그하지만, Pony는 모든 캐릭터에 이 구조를 적용합니다. 이 현상이 Pony의 캐릭터 훈련 시 의도한 디자인과 머리 모양이 불일치하는 중요한 원인입니다. NoobAI에서도 유사한 현상이 관찰되었으며, 이는 Danbooru 외 다른 데이터셋에서 이 특징이 많이 존재하나 제대로 태그되지 않았기 때문으로 추측됩니다.

데이터셋 내 이미지를 필터링하여 약 3분의 2가 정확히 주석 처리되었으며, 프롬프트에 'hair intakes'를 추가하는 것이 이 현상을 어느 정도 완화할 수 있으나, 완전한 해결책은 아직 찾지 못했습니다.

데이터셋 확장하여 2154장으로 만들었으며, 이 중 주요 학습 대상인 pony 이미지는 약 1000장입니다.

V-pred 모델도 Eps-pred 기반으로 학습한 LoRA를 쓸 수 있지만 품질은 크게 떨어집니다. 이 버전은 두 유형의 모델을 각각 구분해 학습합니다.

최근 NoobAI 버전에는 눈에 띄는 아티팩트가 있지만, Danbooru의 'jpeg artifact' 태그는 효과적이지 않습니다. 이를 해결하기 위해 대표적이고 육안으로 확인 가능한 약 30장의 이미지를 부정적 사례로 선택했습니다.

관찰된 현상으로는 Pony v6와 NoobAI가 측면 헤어스타일을 생성할 때 모발 뿌리 부분에서 삼각형 모양의 들림 현상을 자주 생성한다는 점입니다. Danbooru에서는 이를 'hair intakes' 또는 'curtained hair'로 태깅하는데 Pony는 모든 캐릭터에 그러한 구조를 적용합니다. 이 현상이 Pony 캐릭터 학습 시 머리 모양이 의도와 맞지 않는 큰 이유입니다. NoobAI도 비슷한 현상을 보였으며, 이는 Danbooru 외의 데이터셋에 해당 특징이 많지만 올바르게 태깅되지 않았기 때문으로 짐작됩니다.

데이터셋 이미지를 선별하여 약 3분의 2 정도가 정확하게 주석 처리되었습니다. 현재 프롬프트에 'hair intakes'를 추가하면 이 현상이 어느 정도 완화될 수 있지만, 완전한 해결책은 아직 찾지 못했습니다.

v4:

데이터셋 태그를 부분적으로 최적화했습니다. NoobAI Epsilon-pred v1를 기반으로 학습했습니다.

Pony 기반 모델은 귀걸이, 귀 피어싱 등 귀 액세서리를 과도하게 생성하는 경향이 있어 캐릭터 귀 구조를 왜곡할 때가 있습니다. 관련 태그를 재조직하고, 구조적 문제가 경미한 이미지들을 자르고 수동으로 편집했으며, 수정이 어려운 이미지는 제거했습니다.

데이터셋의 태그 방식을 일부 최적화했습니다. NoobAI Epsilon-pred v1에 기반해 학습했습니다.

Pony 계열 모델은 귀걸이, 귀 피어싱 등 귀 부위 장식을 생성하는 경향이 매우 강해 때로는 캐릭터 귀 구조를 손상시키기도 합니다. 관련 태그를 정비하고, 데이터셋 내 구조적 오류가 크지 않은 일부 이미지를 자르고 수작업으로 수정했으며, 수정이 어려운 이미지는 제외했습니다.

v3:

데이터셋이 1429장으로 확장되었고, 긍정 및 부정 태그가 포함된 예시가 포함되었습니다.

774장은 가장 '원하는' 스타일입니다.

Illustrious v0.1을 기반으로 학습했습니다.

데이터셋이 1429장으로 확장되어, 긍정 및 부정 예시를 함께 포함합니다.

그 중 774장은 주요 목표 스타일입니다.

Illustrious v0.1을 기반으로 학습했습니다.

v2:

데이터셋이 374장으로 확장되었습니다. 모델에 내장된 품질 및 미적 태그를 사용해 생성 품질을 제어하세요.

학습 데이터셋이 374장으로 늘어났습니다. 모델에 포함된 품질 태그를 사용해 생성 품질을 안정화하려고 시도했습니다.

v1:

Civitai에서 224장, 정규화용으로 393장 이미지를 학습했습니다.

Animagine v3.1과 Pony v6 두 가지 버전으로 학습되었습니다.

Civitai에서 224장, 정규화용으로 393장의 이미지를 학습했습니다.

Animagine v3.1과 Pony v6 두 버전이 존재합니다.

test ver.4:

약간 부족하게 학습되었지만 작동합니다. Animagine v3.1에서 사용된 품질 및 진품 태그(best quality, masterpiece, very aesthetic 등)가 이 체크포인트의 생성 스타일을 바꾸는 것을 발견했습니다. 다음 테스트 버전에서 수정할 예정입니다.

일부 과소적합이 있지만 현재는 유효합니다. Animagine v3.1의 품질과 미학 제어용 태그들이 생성된 이미지의 스타일을 바꾸므로, 이 실험 버전에서는 품질 태그를 사용하지 않아야 합니다. 다음 버전에서 이를 수정할 예정입니다.