모델 소개 (영문 부분)

목차 I

이 소개에서 다루는 내용:

1. 모델 정보 (II부 참조);

2. 사용 방법 (III부 참조);

3. 학습 파라미터 (IV부 참조);

4. 트리거 단어 목록 (부록 A 참조)

II AIDXL

Anime Illustration Diffusion XL 또는 AIDXL은 스타일화된 애니메이션 일러스트 생성에 특화된 모델입니다. 800개 이상의(업데이트로 점점 더 늘어남) 내장 일러스트 스타일을 가지고 있으며, 특정 트리거 단어로 활성화됩니다(부록 A 참조).

장점:

• 유연한 구성 - 전통적인 AI 포징과는 다름.

• 숙련된 디테일 - 혼란스러운 부분 없이 정교함.

• 애니메이션 캐릭터 인식 우수.

III 사용자 가이드

1 기본 사용법

1.1 프롬프트

1. 트리거 단어: 부록 A에서 제공된 트리거 단어를 추가하여 이미지를 스타일화합니다. 적절한 트리거 단어는 품질을 크게 향상시킵니다;

   아티스트 스타일 트리거 단어의 가중치는 줄이는 것을 추천합니다, 예: (by xxx:0.6).

2. 의미 순서 정렬: 프롬프트 태그나 문장을 정렬하면 모델이 의미를 더 잘 이해합니다.

   추천 태그 순서: 트리거 단어(by xxx) -> 캐릭터(애니메이션 "frieren" 시리즈의 소녀) -> 종족(엘프) -> 구성(카우보이 샷) -> 스타일(임파스토 스타일) -> 주제(판타지) -> 주요 환경(숲, 낮) -> 배경(그라데이션 배경) -> 행동(땅에 앉아 있음) -> 표정(무표정) -> 주요 특징(흰 머리) -> 신체 특징(트윈테일, 초록 눈, 입술 벌어진) -> 의상(흰 드레스 착용) -> 의상 액세서리(프릴) -> 기타 아이템(고양이) -> 보조 환경(풀, 햇살) -> 미학(아름다운 색상, 섬세한, 미적) -> 품질((최고 품질:1.3))

3. 네거티브 프롬프트: (최악의 품질:1.3), 낮은 품질, 저해상도, 엉망, 추상, 못생김, 변형, 나쁜 해부학, 변형된 손, 융합된 손가락, 서명, 텍스트, 다중 시점

1.2 생성 파라미터

1. 해상도: 전체 픽셀 수(가로*세로)를 약 1024*1024 주변으로 유지하고 가로와 세로는 32의 배수가 되도록 합니다. 이 경우 AIDXL이 최적 결과를 냅니다. 예: 832x1216 (2:3), 1216x832 (3:2), 1024x1024 (1:1) 등.

2. 샘플러 및 단계: 웹UI에서 "Euler Ancester" 샘플러 (Euler A) 사용. 7~9 CFG Scale에서 약 28 스텝 샘플링.

3. '정제': text2image에서 생성된 이미지는 때때로 흐릿할 수 있으므로 image2image 또는 인페인팅 등으로 '정제' 필요.

   단순 확대는 다음 링크 참조: SD Upscale을 이용한 대규모 확대 및 디테일 추가, 쉽습니다! : r/StableDiffusion (reddit.com)

4. 기타 구성 요소: 별도의 정제 모델 없이 모델 자체의 VAE 또는 sdxl-vae.

Q: 모델 커버 이미지를 재현하는 방법? 동일한 생성 파라미터로 커버 이미지와 같은 그림이 나오지 않는 이유?

A: 커버에 표시된 생성 파라미터는 text2image 파라미터가 아니라 image2image (확대용) 파라미터입니다. 기본 이미지는 주로 Euler Ancester 샘플러로 생성됐으며 DPM 샘플러가 아닙니다.

2 특별 사용법

2.1 일반화 스타일

버전 0.7부터 AIDXL는 여러 유사 스타일을 통합해 일반화 스타일 트리거 단어를 도입했습니다. 이 단어들은 각각 일반적인 애니메이션 일러스트 스타일 분류를 대표합니다. 일반 스타일 트리거 단어는 단어 본래 뜻과 반드시 일치하지 않으며 재정의된 특별 트리거 단어입니다.

2.2 캐릭터

버전 0.7부터 캐릭터 학습이 강화되었습니다. 일부 캐릭터 트리거 단어는 Lora 효과에 도달하며 캐릭터 컨셉과 의상 분리가 잘 됩니다.

캐릭터 활성화 방식: {character} \({copyright}\). 예: 애니메이션 "Lucy" ("Cyberpunk: Edgerunners")의 주인공을 활성화하려면 lucy \(cyberpunk\) 사용; 게임 "Genshin Impact"의 "Gan Yu"는 ganyu \(genshin impact\) 사용. 여기서 "lucy" 와 "ganyu"는 캐릭터 이름, "\(cyberpunk\)" 와 "\(genshin impact\)" 는 원작명이며, 괄호는 "\"로 이스케이프 처리하여 가중치 태그로 인식되는 것을 방지합니다. 일부 캐릭터는 원작명 생략 가능.

버전 v0.8부터는 더 쉬운 트리거 방식도 지원: a {girl/boy} named {character} from {copyright} series.

캐릭터 트리거 단어 목록은 selected_tags.csv · SmilingWolf/wd-v1-4-convnext-tagger-v2 at main (huggingface.co) 참고. 문서에 언급되지 않은 추가 트리거 단어도 존재할 수 있습니다.

일부 캐릭터는 추가 트리거 단계 필요. 단일 캐릭터 트리거 단어로 완전한 복원이 불가능할 경우, 해당 캐릭터의 주요 특징을 프롬프트에 추가해야 합니다.

AIDXL는 캐릭터의 의상 착용을 지원합니다. 캐릭터 트리거 단어는 보통 의상 특성 개념을 포함하지 않으며, 의상을 추가하려면 의상 태그를 프롬프트에 넣어야 합니다. 예: 게임 "Azur Lane"의 캐릭터 St. Louis (Luxurious Wheels)는 silver evening gown, plunging neckline로 의상을 표현합니다. 이와 같이 다른 캐릭터 의상 태그도 추가 가능.

2.3 품질 태그

품질과 미학 태그는 공식 학습되었으며, 프롬프트 마지막에 추가 시 생성 이미지 품질에 영향을 줍니다.

버전 0.7부터 공식 학습된 품질 태그는 여섯 등급으로 구분, 최고에서 최저 순으로: amazing quality, best quality, high quality, normal quality, low quality 그리고 worst quality.

품질 태그에 가중치를 추가하는 것을 권장, 예: (amazing quality:1.5).

2.4 미학 태그

버전 0.7부터 미학 태그가 도입되어 이미지의 특별한 미적 특징을 설명합니다.

2.5 스타일 병합

여러 스타일을 한 번에 사용하는 '병합' 방법으로 나만의 스타일 생성 가능. 예: chun-li, amazing quality, (by yoneyama mai:0.9), (by chi4:0.8), by ask, by modare, (by ikky:0.9).

몇 가지 팁:

• 스타일의 가중치와 순서 조절로 스타일 조정 가능.

• 프롬프트 앞부분이 아닌 뒷부분에 추가할 것.

IV 학습 전략 및 파라미터

AIDXLv0.1

SDXL1.0을 기본 모델로 사용, 약 22k 라벨링된 이미지로 학습률 5e-6, 사이클 수 1인 코사인 스케줄러로 약 100회 학습하여 모델 A 획득. 이후 학습률 2e-7, 동일 파라미터로 모델 B 획득. 모델 A와 B를 병합해 AIDXLv0.1 모델 완성.

AIDXLv0.51

학습 전략

AIDXLv0.5에서 학습 재개, 세 단계 학습이 파이프라인 방식으로 순차 실행:

1. 긴 캡션 학습: 전체 데이터셋 사용, 일부 이미지는 수동 캡션 처리. AdamW8bit 옵티마이저, 학습률 약 1.5e-6, 코사인 스케줄러 사용하여 U-Net과 텍스트 인코더 함께 학습. 학습률이 임계값(약 5e-7) 이하가 되면 종료.

2. 짧은 캡션 학습: 1단계 출력으로부터 재시작, 파라미터 및 전략 동일, 짧은 캡션 길이의 데이터셋 사용.

3. 정제 단계: 1단계에서 수동 선택한 고품질 이미지 데이터셋 준비. 2단계 출력에서 재시작, 낮은 학습률(약 7.5e-7), 5~10회 재시작 코사인 스케줄러 사용. 결과가 미학적으로 우수할 때까지 학습.

고정 학습 파라미터

• 노이즈 오프셋 등 추가 노이즈 없음.

• 최소 snr 감마=5: 학습 속도 향상.

• 완전 bf16 정밀도.

• AdamW8bit 옵티마이저: 효율과 성능의 균형.

데이터셋

• 해상도: SDXL 공식 버킷팅 전략을 수정하여 1024x1024 해상도 유지(높이x너비).

• 캡셔닝: WD14-Swinv2 모델, 0.35 임계값으로 캡션 생성.

• 클로즈업 크롭: 대형 또는 희귀 이미지에 유용한 클로즈업 분할.

• 트리거 단어: 이미지의 첫 태그를 트리거 단어로 유지.

AIDXLv0.6

학습 전략

AIDXLv0.52에서 학습 재개하되 적응형 반복 전략 적용 - 데이터셋 내 각 캡셔닝된 이미지에 대해 반복 횟수를 다음 규칙에 따라 증가:

• 규칙 1: 이미지의 품질이 높을수록 반복 횟수 증가;

• 규칙 2: 이미지가 특정 스타일 클래스에 속하면:

  • 해당 클래스가 아직 학습되지 않았거나 과소적합 상태인 경우, 수동으로 반복 횟수를 증가시키거나 자동으로 반복 횟수를 부스팅하여 총 반복 수가 약 100에 도달하도록 조정.

  • 클래스가 이미 학습되었거나 과적합 상태라면 수동으로 반복 횟수를 1로 제한하고 품질이 낮으면 제외.

• 규칙 3: 반복 횟수는 최대 약 10을 넘지 않도록 제한.

이 전략의 장점:

1. 새 학습으로 인한 모델 원본 정보 보존, 정규화 이미지와 유사한 개념임;

2. 학습 데이터 영향력 조절 가능;

3. 미적합 클래스를 동기부여하여 학습 균형 유지 및 과적합 방지;

4. 계산 자원 대폭 절약, 신규 스타일 추가 시 용이.

고정 학습 파라미터

AIDXLv0.51과 동일.

데이터셋

AIDXLv0.51 기반에 추가 최적화 적용:

• 캡션 의미 순서 정렬: "gun, 1boy, holding, short hair" -> "1boy, short hair, holding, gun" 등 의미 순서로 정렬.

• 캡션 중복 제거: 동일하거나 유사 의미 태그 중 정보량 가장 많은 태그 유지, 예: "long hair"와 "very long hair" 중 하나 선택.

• 추가 태그: "high quality", "impasto" 등 수동으로 추가. 일부 도구를 이용해 빠르게 수행 가능.

V 특별 감사

컴퓨팅 파워 후원: @NieTa 커뮤니티 (捏Ta (nieta.art))에 감사드립니다;

데이터 지원: @KirinTea_Aki (KirinTea_Aki Creator Profile | Civitai) 및 @Chenkin (Civitai | Share your models)께 대량 데이터 지원에 감사드립니다;

그들 없이는 0.7 버전도 없었을 것입니다.

VI AIDXL vs AID

2023/08/08 기준. AIDXL은 AIDv2.10과 동일 훈련 집합으로 훈련되었으나 AIDv2.10을 능가합니다. AIDXL은 더욱 지능적이며 SD1.5 기반 모델이 할 수 없는 다양한 작업이 가능합니다. 또한, 개념 구분, 이미지 디테일 학습, SD1.5와 AID가 어려워하거나 불가능한 구성을 처리하는 데 뛰어납니다. 전반적으로 매우 잠재력이 크며 앞으로도 AIDXL을 계속 업데이트할 예정입니다.

VII 후원

저희 작업이 마음에 드신다면 Ko-fi(https://ko-fi.com/eugeai)를 통해 후원해 주시면 연구 개발에 큰 힘이 됩니다. 감사합니다~

모델 소개 (중국어 부분)

I 목차

이 소개에서는 다음 내용을 다룹니다:

1. 모델 소개 (II부 참조);

2. 사용 가이드 (III부 참조);

3. 학습 파라미터 (IV부 참조);

4. 트리거 단어 목록 (부록 A 참조)

II 모델 소개

Anime Illust Diffusion XL, 또는 AIDXL은 2차원 일러스트 생성에 특화된 모델입니다. 800개 이상의 삽화 스타일을 내장하고 있으며, 특정 트리거 단어(부록 A 참조)를 통해 활성화됩니다.

장점: 대담한 구성, 포즈 느낌 없음, 주요 피사체 도드라짐, 과도한 디테일 배제, 많은 애니 캐릭터 인식 (일본어 이름의 로마자 발음을 기반으로 트리거, 예: “ayanami rei”는 “아야나미 레이”, “kamado nezuko”는 “네즈코”)

III 사용 가이드 (업데이트 중)

1 기본 사용법

1.1 프롬프트 작성

1. 트리거 단어 사용: 부록 A의 트리거 단어를 사용하여 이미지를 스타일화. 적합한 트리거 단어는 매우 품질 향상에 기여;

2. 프롬프트 태그화: 태그화된 프롬프트 사용;

3. 프롬프트 정렬: 프롬프트 정렬로 모델의 이해도 향상. 추천 순서:

   트리거 단어(by xxx)->주인공(1girl)->캐릭터(frieren)->종족(elf)->구성(cowboy shot)->스타일(impasto)->주제(fantasy)->주요 환경(forest, day)->배경(gradient background)->동작(sitting)->표정(expressionless)->주요 특징(white hair)->신체 특징(twintails, green eyes, parted lip)->의상(white dress)->의상 액세서리(frills)->기타 아이템(magic wand)->부가 환경(grass, sunshine)->미학(beautiful color, detailed, aesthetic)->품질(best quality)

4. 네거티브 프롬프트: worst quality, low quality, lowres, messy, 추상, 못생김, 변형, 해부학 오류, 손 변형, 손가락 융합, 서명, 텍스트, 다중 시점

1.2 생성 파라미터

1. 해상도: 이미지 총 해상도(높이x너비)를 1024x1024 주변으로 유지하며, 가로/세로는 32의 배수여야 함. 예: 832x1216 (3:2), 1216x832 (3:2), 1024x1024 (1:1).

2. "Clip Skip"는 적용하지 않음 (Clip Skip = 1).

3. 샘플러 및 스텝수: "euler_ancester" 샘플러 (webui에서는 Euler A). 7 CFG Scale에 28스텝 적용.

4. 정제기(Refiner) 불필요, 모델 자체만 사용.

5. 기본 모델 VAE 또는 sdxl-vae 사용.

2 특별 사용법

2.1 범용 스타일링

0.7 버전부터 여러 비슷한 스타일을 통합, 범용 스타일 트리거 단어 도입. 각 단어는 일반적인 애니메이션 삽화 스타일 분류를 나타냄.

범용 스타일 트리거 단어는 단어 본래 의미와 반드시 일치하지 않고, 재정의된 특별 트리거 단어임.

2.2 캐릭터

0.7 버전부터 캐릭터 강화학습 진행. 일부 캐릭터 트리거 단어는 Lora 효과에 필적하며, 캐릭터 개념과 의상 분리가 잘 됨.

캐릭터 트리거 방식: 캐릭터명 \(작품명\). 예: 애니메이션 "사이버펑크: 에지러너" 여주인공 루시는 lucy \(cyberpunk\); 게임 "원신" 캐릭터 간유는 ganyu \(genshin impact\) 사용. 괄호는 가중치 태그 오인 방지를 위해 이스케이프 처리함.

캐릭터 트리거 단어 목록: selected_tags.csv · SmilingWolf/wd-v1-4-convnext-tagger-v2 at main (huggingface.co).

단일 트리거 단어로 완전 복원 불가능 시 캐릭터 주요 특징을 프롬프트에 추가.

캐릭터 트리거 단어는 일반적으로 의상 특성을 포함하지 않음. 의상 추가 시 의상 태그 별도 추가 필요. 예: 게임 "아주르 레인" 캐릭터 st. louis \(luxurious wheels\) \(azur lane\)는 silver evening gown, plunging neckline 태그로 의상 활성화 가능. 다른 캐릭터 의상 태그도 유사하게 추가 가능.

2.3 품질 태그

품질과 미학 태그는 0.7버전부터 정식 학습되었으며, 프롬프트 끝에 추가 시 생성 품질에 영향.

품질 레벨 6단계: amazing quality, best quality, high quality, normal quality, low quality, worst quality.

가중치 추가 권장, 예: (amazing quality:1.5).

2.4 미학 태그

0.7버전부터 미학 태그 도입, 이미지의 특수 미학 특성 설명.

2.5 스타일 융합

여러 스타일 트리거 단어를 동시에 사용해 맞춤형 스타일 생성 가능. 예: chun-li, amazing quality, (by yoneyama mai:0.9), (by chi4:0.8), by ask, by modare, (by ikky:0.9).

팁:

• 스타일 가중치와 순서 제어로 최종 스타일 조정.

• 프롬프트 뒤쪽에 추가할 것.

3 주의사항

1. SDXL 지원 VAE, 임베딩, Lora 모델 사용 권장. 주: sd-vae-ft-mse-original은 SDXL 지원 VAE가 아니며, EasyNegative, badhandv4 등 네거티브 임베딩도 SDXL 지원 임베딩이 아님;

2. 0.61 이하 버전은 모델 전용 네거티브 임베딩 사용 강력 추천(다운로드는 Suggested Resources 참조), 모델에 거의 긍정적인 영향만 있음;

3. 각 버전의 신규 트리거 단어는 해당 버전에서 효과가 다소 약하거나 불안정할 수 있음.

IV 학습 파라미터

SDXL1.0을 베이스 모델로 사용, 약 2만장 자체 라벨링 이미지로 학습률 5e-6, 사이클 1인 코사인 스케줄러로 약 100회 학습하여 모델 A 생성. 이후 2e-7 학습률 동일 파라미터로 모델 B 생성. 모델 A와 B 병합하여 AIDXLv0.1 생성.

기타 학습 파라미터는 영문 버전 설명 참조.

V 특별 감사

컴퓨팅 파워 후원: @捏Ta 커뮤니티 (捏Ta (nieta.art)) 감사;

데이터 지원: @秋麒麟热茶 (KirinTea_Aki Creator Profile | Civitai) 및 @风吟 (Chenkin Creator Profile | Civitai) 대량 데이터 지원에 감사;

그들 없이는 0.7 버전도 없었음.

VI 업데이트 로그

2023/08/08: AIDXL은 AIDv2.10과 동일한 훈련 세트로 학습했으나, AIDv2.10보다 성능 우수. AIDXL은 더욱 똑똑하며 SD1.5 베이스 모델에서 불가능한 작업들도 수행 가능. 개념 구분력이 뛰어나고 이미지 세부사항 학습, SD1.5와 AID가 어렵게 여긴 구성 처리능력이 탁월함. 전반적으로 SD1.5보다 잠재력이 높으며, 계속 업데이트 예정.

2024/01/27: 0.7 버전 다수 내용 추가, 데이터셋 크기가 이전 버전 대비 2배 이상.

1. 만족스러운 라벨링을 위해 여러 새로운 태그 처리 알고리즘 시도 (태그 정렬, 계층적 무작위화, 캐릭터 특징 분리 등). 프로젝트 주소: Eugeoter/sd-dataset-manager (github.com);

2. 학습 제어와 의지 반영을 위해 Kohya-ss 기반 커스텀 학습 스크립트 제작;

3. 다양한 세대 모델 융합 과정을 제어하기 위한 휴리스틱 모델 융합 알고리즘 개발; 텍스트 인코더와 UNET OUT 레이어 융합으로 모델 안정성과 미학 향상 대신 스타일 향상 중점 적용;

4. 데이터 선별과 필터링을 위해 워터마크 인식 모델, 이미지 분류 모델, 미학 점수 모델 학습하여 데이터 정화 지원.

VII 후원

작업이 마음에 드신다면 Ko-fi(https://ko-fi.com/eugeai)를 통해 후원해주시길 바랍니다. 연구개발에 큰 힘이 됩니다. 감사합니다!

부록 / Appendix

A. 특별 트리거 단어 목록 / 特殊触发词列表

• 아트 스타일 트리거 단어: 여기를 클릭

• 페인팅 스타일 트리거 단어: flat color, clean color, celluloid, flat-pasto, thin-pasto, pseudo-impasto, impasto, realistic, photorealistic, cel shading, 3d

  • flat color: 평면 색상, 선을 사용해 빛과 그림자 묘사

    平涂：평면 색채, 선과 색면으로 빛과 음영 및 층을 표현

  • clean color: flat color와 flat-pasto 중간 스타일, 간결하고 깔끔한 채색

    간결한 색채의 평면 색상, flat color와 flat-pasto의 중간

  • celluloid: 애니메이션 채색

    평면 셀룰로이드: 애니메이션 채색

  • flat-pasto: 거의 평면에 가까운 색상, 그라데이션으로 빛과 그림자 표현

    평면에 가까운 색채, 그라데이션으로 빛과 음영 표현

  • thin-pasto: 얇은 윤곽선, 그라데이션과 그림자 및 질감 표현

    얇은 윤곽선과 선, 그라데이션과 두께로 빛과 그림자 및 층 표현

    

  • pseudo-impasto: 그라데이션과 질감으로 빛과 그림자 묘사

    의사 임파스토 / 반임파스토: 그라데이션과 질감 표현

  • impasto: 페인트 두께로 빛과 그림자 및 그라데이션 표현

    임파스토: 페인트 두께로 빛과 그림자 및 그라데이션 표현

  • realistic

    리얼리스틱

  • photorealistic: 실제 세계에 가까운 스타일로 재정의

    포토리얼리스틱: 현실 세계에 가까운 스타일로 재정의

  • cel shading: 애니메이션 3D 모델링 스타일

    셀 쉐이딩: 2D 애니메이션 3D 모델링 스타일

  • 3d

    

• 미학 트리거 단어:

  • beautiful

    아름다움

  • aesthetic: 약간 추상적인 예술적 감각

    미학: 약간 추상적인 예술 감각

  • detailed

    섬세함

  • beautiful color: 미묘한 색채 사용

    조화로운 색상: 세심한 색상 사용

  • lowres

  • messy: 엉성한 구성 또는 디테일

    어지러운: 어수선한 구성 또는 디테일

• 품질 트리거 단어: amazing quality, best quality, high quality, low quality, worst quality