모델 소개 (영문 부분)

Ⅰ 목차

이 소개에서는 다음에 대해 배우게 됩니다:

1. 모델 정보 (Ⅱ 부 참조);

2. 사용 지침 (Ⅲ 부 참조);

3. 훈련 파라미터 (Ⅳ 부 참조);

4. 트리거 단어 목록 (부록 A 참조)

Ⅱ AIDXL

Anime Illustration Diffusion XL, 또는 AIDXL은 스타일라이즈된 애니메이션 일러스트 생성에 전념하는 모델입니다. 800개 이상(계속 업데이트 중)의 내장 일러스트 스타일을 가지고 있으며, 특정 트리거 단어로 활성화됩니다 (부록 A 참조).

장점:

• 유연한 구성, 전통적인 AI 포즈 방식과 다름.

• 정교한 디테일, 혼란스러운 표현이 아님.

• 애니메이션 캐릭터를 더 잘 이해함.

Ⅲ 사용자 가이드

1 기본 사용법

1.1 프롬프트

1. 트리거 단어: 부록 A에 제공된 트리거 단어를 추가하여 이미지를 스타일화하세요. 적절한 트리거 단어는 품질을 크게 향상시킵니다;

   아티스트 스타일 트리거 단어의 가중치는 줄이는 것이 좋습니다, 예: (by xxx:0.6).

2. 의미 정렬: 프롬프트 태그나 문장의 정렬은 모델이 의미를 이해하는 데 도움이 됩니다.

   권장 태그 순서: 트리거 단어 (by xxx) -> 캐릭터 (예: frieren, sousou no frieren 시리즈) -> 종족 (엘프) -> 구성 (카우보이 샷) -> 스타일 (예: 임파스토 스타일) -> 주제 (판타지) -> 주요 환경 (숲 속, 낮) -> 배경 (그라데이션 배경) -> 동작 (바닥에 앉음) -> 표정 (무표정) -> 주요 특징 (흰 머리) -> 신체 특징 (트윈테일, 녹색 눈, 벌어진 입술) -> 의상 (흰 드레스 착용) -> 의상 액세서리 (프릴) -> 기타 아이템 (고양이) -> 부차적 환경 (풀, 햇빛) -> 미학 (예: 아름다운 색상, 세밀한, 미적) -> 품질 (예: (최고 품질:1.3))

3. 부정 프롬프트: (최악의 품질:1.3), 저품질, 저해상도, 혼란스러움, 추상적, 못생김, 변형됨, 나쁜 해부학, 초안, 손 변형, 손가락 융합, 서명, 텍스트, 다중 뷰

1.2 생성 파라미터

1. 해상도: 전체 픽셀 수(너비 * 높이)가 약 1024x1024이고 너비와 높이 모두 32의 배수임을 보장하세요. 이 경우 AIDXL이 최상의 결과를 냅니다. 예: 832x1216 (2:3), 1216x832 (3:2), 1024x1024 (1:1) 등.

2. 샘플러와 스텝: 웹UI에서 Euler A로 불리는 "Euler Ancester" 샘플러를 사용하세요. 약 28스텝, 7~9 CFG 스케일 권장.

3. '정제': text2image에서 생성된 이미지가 흐릿할 경우 image2image 또는 인페인팅 등으로 '정제'하세요.

   간단한 업스케일은 다음을 참조: SD 업스케일로 대형화 및 세부 추가, 쉽습니다! : r/StableDiffusion

4. 기타 구성 요소: 별도의 리파이너 모델 없이 모델 자체 VAE 또는 sdxl-vae를 사용하세요.

Q: 표지 이미지를 재현하려면 어떻게 해야 하나요? 같은 생성 파라미터로 표지와 똑같은 그림을 왜 재현할 수 없나요?

A: 표지에 표시된 생성 파라미터는 text2image 파라미터가 아니라 image2image (업스케일용) 파라미터입니다. 기본 이미지는 대부분 DPM 샘플러 대신 Euler Ancester 샘플러로 생성됩니다.

2 특별 사용법

2.1 일반화된 스타일

버전 0.7부터 AIDXL은 여러 유사한 스타일을 요약하고 일반화 스타일 트리거 단어를 도입했습니다. 이 트리거 단어들은 일반적인 애니메이션 일러스트 스타일 범주를 나타냅니다. 단, 일반 스타일 트리거 단어는 그 단어의 예술적 의미에 반드시 부합하지 않으며 재정의된 특수 트리거 단어입니다.

2.2 캐릭터

버전 0.7부터 AIDXL은 캐릭터 강화를 위한 훈련을 진행했습니다. 일부 캐릭터 트리거 단어는 Lora 효과와 비슷하며 캐릭터 개념과 의상을 잘 분리할 수 있습니다.

캐릭터 트리거 구문: {character} \({copyright}\). 예를 들어, 애니메이션 "Lucy"를 트리거하려면 lucy \(cyberpunk\)를, 게임 "Genshin Impact"의 캐릭터 "Gan Yu"는 ganyu \(genshin impact\)를 사용합니다. 여기서 "lucy"와 "ganyu"는 캐릭터명, "\(cyberpunk\)"와 "\(genshin impact\)"는 해당 캐릭터 출처이며 괄호는 가중치 태그로 오해받지 않도록 역슬래시("\")로 이스케이프 처리합니다. 일부 캐릭터는 출처가 필요하지 않습니다.

버전 v0.8부터는 더 쉬운 트리거 방법도 있습니다: a {girl/boy} named {character} from {copyright} series.

캐릭터 트리거 단어 목록은 다음을 참조하세요: selected_tags.csv · SmilingWolf/wd-v1-4-convnext-tagger-v2 at main. 이 문서에 명시되지 않은 추가 트리거 단어도 포함될 수 있습니다.

일부 캐릭터는 추가 트리거 단계를 요구합니다. 단일 트리거 단어만으로 복원되지 않는 경우 주요 특성을 프롬프트에 추가하세요.

AIDXL은 캐릭터 의상 변경을 지원합니다. 캐릭터 트리거 단어는 보통 캐릭터 의상 특성을 포함하지 않습니다. 의상을 추가하려면 의상 태그를 따로 추가하세요. 예: 게임 St. Louis (Luxurious Wheels)의 의상은 silver evening gown, plunging neckline로 지정. 다른 캐릭터 의상 태그도 동일하게 추가 가능합니다.

2.3 품질 태그

품질과 미학 태그는 공식적으로 학습되었습니다. 프롬프트 후미에 사용하면 생성 이미지 품질에 영향을 줍니다.

버전 0.7부터 품질 태그가 공식적으로 도입되었으며 6단계로 구분됩니다. 최상부터 최하까지: amazing quality, best quality, high quality, normal quality, low quality, worst quality.

품질 태그에 추가 가중치를 주는 것이 권장됩니다, 예: (amazing quality:1.5).

2.4 미학 태그

버전 0.7부터 미학 태그가 도입되어 이미지의 특별한 미적 특징을 설명합니다.

2.5 스타일 병합

여러 스타일을 사용자 맞춤형 스타일로 병합할 수 있습니다. '병합'은 여러 스타일 트리거 단어를 동시에 사용하는 의미입니다. 예: chun-li, amazing quality, (by yoneyama mai:0.9), (by chi4:0.8), by ask, by modare, (by ikky:0.9).

팁:

• 스타일의 가중치와 순서를 조절하여 스타일을 조정하세요.

• 스타일 단어는 프롬프트 앞에 붙이지 말고 뒤에 붙이세요.

Ⅳ 훈련 전략 및 파라미터

AIDXLv0.1

SDXL1.0을 기반 모델로 하여 약 2만2천 장의 라벨된 이미지를 사용해 5e-6 학습률로 코사인 스케줄러와 사이클 1, 약 100 에폭 수행해 모델 A 획득. 그 후 2e-7 학습률로 동일 파라미터 조건에서 모델 B 획득. 모델 A와 B를 합쳐 AIDXLv0.1 모델 완성.

AIDXLv0.51

훈련 전략

AIDXLv0.5에서 훈련을 재개하며 다음 세 가지 파이프라인을 순차적으로 실행:

1. 긴 캡션 훈련: 전체 데이터셋 사용, 일부 이미지는 수동 캡션 부여. U-Net과 텍스트 인코더를 AdamW8bit 옵티마이저와 높은 학습률(약 1.5e-6), 코사인 스케줄러로 훈련 시작. 학습률이 임계치(약 5e-7) 이하로 떨어지면 중지.

2. 짧은 캡션 훈련: 1단계 출력에서 훈련 재개, 같은 파라미터와 전략이나 캡션 길이가 짧은 데이터셋 사용.

3. 정제 단계: 1단계 데이터셋에서 고품질 이미지를 수작업으로 선택한 서브셋 준비. 2단계 출력에서 학습률(약 7.5e-7), 코사인 스케줄러와 5~10회 재시작 적용. 미학적으로 만족스러운 결과 도출 시까지 훈련.

고정 훈련 파라미터

• 노이즈 오프셋 같은 추가 노이즈 없음.

• 최소 SNR 감마=5: 훈련 속도 향상.

• 완전 bf16 정밀도.

• AdamW8bit 옵티마이저: 효율과 성능의 균형.

데이터셋

• 해상도: 수정된 SDXL 공식 버킷 전략으로 1024x1024 총 해상도(높이 x 너비).

• 캡션: WD14-Swinv2 모델로 0.35 임계값 사용해 부여.

• 클로즈업 크롭: 이미지 클로즈업 여러 개로 크롭. 큰 이미지나 희귀 이미지 훈련 시 유용.

• 트리거 단어: 이미지 첫 번째 태그를 트리거 단어로 사용.

AIDXLv0.6

훈련 전략

AIDXLv0.52에서 훈련 재개, 적응형 반복 전략 적용 - 데이터셋 내 각 캡션 이미지에 대해 다음 규칙에 따라 훈련 반복 횟수 증대:

• 규칙 1: 이미지의 품질이 높을수록 반복 횟수 증가;

• 규칙 2: 이미지가 스타일 클래스에 속하면:

  • 클래스가 미적합(underfitted) 혹은 미적합 상태가 아니면, 반복 횟수를 수동/자동으로 늘려 클래스 내 반복 횟수 총합이 약 100에 도달하도록 함.

  • 클래스가 적합 혹은 과적합(overfitted) 상태면, 반복 횟수를 1로 강제 조정하고 품질이 낮으면 제외함.

• 규칙 3: 반복 횟수는 최종적으로 약 10을 넘지 않도록 제한.

이 전략의 장점:

1. 모델 원래 정보 보호 및 정규화 이미지 개념 적용;

2. 훈련 데이터 영향력 조절 가능;

3. 미적합 클래스는 격려하고 이미 적합한 클래스는 과적합 방지로 균형 유지;

4. 계산 자원 절약 및 새로운 스타일 추가 용이.

고정 훈련 파라미터

AIDXLv0.51과 동일.

데이터셋

AIDXLv0.51 기반 데이터셋, 추가 최적화 전략:

• 캡션 의미 정렬: 의미 순서대로 캡션 태그 정렬, 예: "gun, 1boy, holding, short hair" -> "1boy, short hair, holding, gun".

• 캡션 중복 제거: 중복 태그 제거, 정보가 더 많은 태그 유지. 중복 태그란 "long hair"와 "very long hair" 같이 의미 유사한 태그.

• 추가 태그: 모든 이미지에 수동으로 추가 태그 부여, 예: "high quality", "impasto" 등. 일부 도구로 빠르게 처리 가능.

Ⅴ 특별 감사

컴퓨팅 파워 후원: @NieTa 커뮤니티 (捏Ta)에 감사드립니다;

데이터 지원: @KirinTea_Aki (Civitai 프로필) 및 @Chenkin (Civitai 프로필)에게 대량 데이터 지원 감사드립니다;

이들의 지원 없이는 0.7 버전이 존재하지 않았을 것입니다.

Ⅵ AIDXL vs AID

2023/08/08: AIDXL은 AIDv2.10과 동일한 훈련셋으로 훈련되었으나 AIDv2.10보다 성능이 우수합니다. AIDXL은 더 똑똑하며 SD1.5 기반 모델들이 할 수 없는 많은 작업을 수행할 수 있습니다. 또한 개념 구분, 이미지 세부 학습, SD1.5 및 AID가 어려워하는 구성을 처리하는 데 뛰어납니다. 전반적으로 절대적인 잠재력을 지니며, 지속적으로 업데이트할 예정입니다.

Ⅶ 후원

저희 작업을 좋아하신다면 Ko-fi(https://ko-fi.com/eugeai)를 통해 후원해 주세요. 연구개발에 큰 도움이 됩니다. 감사합니다~

모델 소개 (중문 부분)

Ⅰ 목차

본 소개에서 알게 될 내용:

1. 모델 소개 (Ⅱ부 참조);

2. 사용 안내 (Ⅲ부 참조);

3. 훈련 파라미터 (Ⅳ부 참조);

4. 트리거 단어 리스트 (부록 A)

Ⅱ 모델 소개

Anime Illust Diffusion XL, 또는 AIDXL은 2차원 애니메이션 일러스트 생성에 특화된 모델입니다. 800개가 넘는(업데이트 지속) 내장 일러스트 스타일을 가지고 있으며 특정 트리거 단어로 활성화됩니다 (부록 A 참조).

장점: 대담한 구도, 포즈가 아닌 자연스러운 배치, 강조된 주제, 과도한 디테일 없음, 많은 애니메이션 캐릭터 인식 (일본어 이름의 로마자 발음으로 트리거, 예: "ayanami rei"는 "아야나미 레이", "kamado nezuko"는 "네즈코"에 대응).

Ⅲ 사용 안내 (지속 업데이트 예정)

1 기본 사용법

1.1 프롬프트 작성

1. 트리거 단어 사용: 부록 A에서 제공하는 트리거 단어로 이미지 스타일링. 적절한 트리거 단어는 현저히 품질 향상;

2. 프롬프트 태그화: 생성 대상을 태그화 된 프롬프트로 표현;

3. 프롬프트 순서: 순서 정렬은 모델 의미 이해에 도움. 권장 태그 순서:

   트리거 단어 (by xxx)->주인공 (1girl)->캐릭터 (frieren)->종족 (elf)->구성 (cowboy shot)->스타일 (impasto)->주제 (fantasy)->주요 환경 (forest, day)->배경 (gradient background)->행동 (sitting)->표정 (expressionless)->주요 인물 특징 (white hair)->신체 특징 (twintails, green eyes, parted lip)->복장 (white dress)->복장 액세서리 (frills)->기타 물품 (magic wand)->보조 환경 (grass, sunshine)->미학 (beautiful color, detailed, aesthetic)->품질 (best quality)

4. 부정 프롬프트: worst quality, low quality, lowres, messy, 추상적, 못생김, 변형, 나쁜 해부학, 손 변형, 손가락 융합, 서명, 텍스트, 다중 시점

1.2 생성 파라미터

1. 해상도: 이미지 총 해상도(높이x너비) 약 1024x1024, 너비와 높이 모두 32의 배수. 예: 832x1216 (3:2), 1216x832 (3:2), 1024x1024 (1:1).

2. Clip Skip = 1, 즉 "Clip Skip" 하지 않음.

3. 샘플러와 스텝: "euler_ancester" 샘플러 사용 (webui에서 Euler A라 명명). 7 CFG Scale에서 28스텝 수행.

4. 정제기(Refiner) 불필요, 모델 자체 사용.

5. 기본 모델 vae 또는 sdxl-vae 이용.

2 특수 사용법

2.1 범용 스타일화

0.7 버전에서 다수 유사 스타일 통합, 범용 스타일 트리거 도입. 이는 일반 애니메이션 일러스트 스타일 카테고리를 뜻함.

범용 스타일 트리거는 단어 의미의 예술적 뜻과 다를 수 있으나, 재정의된 특수 트리거임.

2.2 캐릭터

0.7 버전부터 캐릭터 강화 훈련. 일부 캐릭터 트리거의 복원도는 lora에 상응하며, 캐릭터 개념과 의상 분리가 뛰어남.

캐릭터 트리거: 캐릭터명 \(작품명\). 예: 애니 "사이버펑크: 엣지러너"의 주인공 루시는 lucy \(cyberpunk\) 사용, 게임 "원신"의 간유는 ganyu \(genshin impact\) 사용. "lucy", "ganyu"는 캐릭터명, "\(cyberpunk\)", "\(genshin impact\)"는 출처, 괄호는 가중치 태그 오해 방지 위해 역슬래시("\")로 이스케이프. 일부 캐릭터는 출처 불필요.

캐릭터 트리거 목록은 selected_tags.csv · SmilingWolf/wd-v1-4-convnext-tagger-v2 참고. 문서 미기재 트리거도 포함 가능.

단일 트리거 단어로 복원 안 되면 주요 특징을 추가해야 함.

AIDXL은 캐릭터 의상 변경 지원. 캐릭터 트리거는 자체 의상 특성 미포함, 의상 태그 프롬프트에 별도로 추가 필요. 예: silver evening gown, plunging neckline는 게임 "Azur Lane"의 캐릭터 St. Louis (Luxurious Wheels) 의상. 여타 캐릭터들도 동일하게 의상 태그 추가 가능.

2.3 품질 태그

0.7 버전부터 품질 및 미학 태그는 공식 학습되었으며, 프롬프트에 넣으면 생성 품질에 영향.

품질 태그 6단계: amazing quality, best quality, high quality, normal quality, low quality, worst quality.

품질 태그에 가중치 추가 권장, 예: (amazing quality:1.5).

2.4 미학 태그

0.7 버전부터 도입, 이미지의 특별한 미적 특성 설명.

2.5 스타일 병합

여러 스타일을 맞춤형으로 병합 가능. '병합'은 여러 스타일 트리거 단어 동시 사용 의미. 예: chun-li, amazing quality, (by yoneyama mai:0.9), (by chi4:0.8), by ask, by modare, (by ikky:0.9).

팁:

• 스타일 가중치와 순서 조절로 최종 스타일 다듬기.

• 프롬프트 앞에 붙이지 말고 뒤에 붙이기.

3 주의사항

1. SDXL 지원 VAE 모델, 텍스트 임베딩 및 Lora 모델 사용 권장. 주의: sd-vae-ft-mse-original은 SDXL 지원 VAE가 아니며, EasyNegative, badhandv4 등 부정 텍스트 임베딩도 SDXL 지원 임베딩이 아님;

2. 버전 0.61 이하에서는 모델 전용 부정 텍스트 임베딩 사용 권장 (Suggested Resources 참조), 해당 임베딩은 모델에 거의 긍정적 효과만 있음;

3. 매 버전마다 신규 트리거 단어는 해당 버전에서 효과가 상대적으로 약하거나 불안정할 수 있음.

Ⅳ 훈련 파라미터

SDXL1.0을 기반으로 약 2만 장의 자체 라벨 이미지로 5e-6 학습률, 사이클 1의 코사인 스케줄러에서 약 100 에폭 훈련하여 모델 A 획득. 이후 2e-7 학습률로 동일 파라미터 조건에서 모델 B 획득. 모델 A와 B 혼합하여 AIDXLv0.1 모델 완성.

기타 훈련 파라미터는 영문 버전 참조.

Ⅴ 특별 감사

컴퓨팅 파워 후원: @捏Ta 커뮤니티 (捏Ta)에 감사드립니다;

데이터 지원: @秋麒麟热茶 (KirinTea_Aki 프로필 | Civitai) 및 @风吟 (Chenkin 프로필 | Civitai)에게 대량 데이터 지원 감사;

이들의 지원 없이는 0.7 버전이 없었을 것입니다.

Ⅵ 업데이트 로그

2023/08/08: AIDXL은 AIDv2.10과 동일한 훈련 세트로 훈련되었으나 AIDv2.10보다 우수한 성능을 보임. AIDXL은 더 똑똑하며 SD1.5 기반 모델에서 불가능했던 많은 작업 수행 가능. 개념 구분 및 이미지 세부 학습, SD1.5와 AID에서 매우 어려운 구성을 효과적으로 처리함. 전반적으로 절대적 잠재력을 지님. 앞으로도 계속 업데이트 예정.

2024/01/27: 0.7 버전에서 대량 내용 추가, 데이터셋 크기가 이전 버전의 2배 이상.

1. 만족스러운 라벨링을 위해 많은 새로운 태그 처리 알고리즘 시도(태그 정렬, 태그 계층 랜덤화, 캐릭터 특징 분리 등). 프로젝트 주소: Eugeoter/sd-dataset-manager;

2. 훈련 제어 가능하며 의도에 더 잘 따르도록 Kohya-ss 기반 특수 훈련 스크립트 제작;

3. 여러 세대 모델 융합 과정을 제어하기 위한 휴리스틱 융합 알고리즘 개발; 모델 안정성과 미학 향상을 위한 텍스트 인코더와 UNET OUT 레이어 융합 포기, 왜냐하면 스타일 훼손 우려;

4. 데이터 필터링용 워터마크 감지, 이미지 분류, 미학 점수 평가 모델 훈련해 데이터 클리닝 지원.

Ⅶ 후원하기

작업을 좋아하신다면 Ko-fi(https://ko-fi.com/eugeai)를 통해 후원해 주시면 연구개발에 큰 힘이 됩니다. 감사합니다!

부록

A. 특수 트리거 단어 목록

• 아트 스타일 트리거 단어: 여기를 클릭하세요

• 페인팅 스타일 트리거 단어: flat color, clean color, celluloid, flat-pasto, thin-pasto, pseudo-impasto, impasto, realistic, photorealistic, cel shading, 3d

  • flat color: 선과 색상을 사용해 빛과 그림자 묘사하는 평면 색상

    평면 색상: 선과 색상으로 빛과 그림자 표현

  • clean color: flat color와 flat-pasto 중간 스타일. 단순하고 깔끔한 채색.

    깨끗한 색상: flat color와 flat-pasto 사이. 단순하고 정돈된 채색

  • celluloid: 애니메이션 채색

    셀룰로이드: 애니메이션 채색

  • flat-pasto: 거의 평면 색상, 그라데이션으로 빛과 그림자 묘사

    평면 파스토: 그라데이션으로 빛과 그림자 묘사

  • thin-pasto: 얇은 윤곽선, 그라데이션과 물감 두께로 빛과 그림자 및 층 묘사

    얇은 파스토: 얇은 윤곽선, 그라데이션과 물감 두께로 묘사

    

  • pseudo-impasto: 그라데이션과 물감 두께로 빛과 그림자 및 층 묘사

    의사 임파스토/반 임파스토: 그라데이션과 물감 두께 사용

  • impasto: 물감 두께로 빛과 그림자 및 그라데이션 묘사

    임파스토: 물감 두께 사용

  • realistic

    사실적

  • photorealistic: 현실 세계에 가까운 스타일로 재정의됨

    포토리얼리스틱: 현실에 가까운 스타일로 재정의

  • cel shading: 애니메이션 3D 모델링 스타일

    셀 쉐이딩: 2차원 3D 모델링 스타일

  • 3d

    

• 미학 트리거 단어:

  • beautiful

    아름다움

  • aesthetic: 약간 추상적인 예술 감각

    미적: 약간 추상 예술 감각

  • detailed

    세밀함

  • beautiful color: 미묘한 색상 사용

    아름다운 색감: 섬세한 색상 사용

  • lowres

  • messy: 혼란스러운 구성 또는 디테일

    지저분함: 지저분한 구성 또는 세부

• 품질 트리거 단어: amazing quality, best quality, high quality, low quality, worst quality