최고의 프롬프트 일치도, 지식, 최첨단 성능 달성을 위한 Illustrious의 심층 재훈련.

큰 꿈이 현실이 되다

버전 번호는 현재 최종 릴리즈의 인덱스일 뿐, 계획된 훈련의 일부가 아닙니다.

HF 저장소

약 1300만 장(약 400만 장은 자연어 캡션 포함) 데이터셋을 가진 GPU 클러스터를 이용한 대규모 미세 조정

• 캐릭터, 개념, 스타일, 문화 및 관련 내용에 대한 최신 지식

• 출시 시점에서 SDXL 애니메이션 모델 중 최고의 프롬프트 일치도

• Illustrious, NoobAi 등 체크포인트에서 흔히 발생하는 태그 번짐 및 편향 문제 해결

• 폭넓은 스타일에 걸친 탁월한 미학과 지식 (5만 명 이상의 아티스트 (예시), 사설 갤러리에서 엄선된 수백 개의 독특한 데이터셋, 아티스트로부터 받은 데이터 포함)

• 안정성을 희생하지 않는 높은 유연성과 다양성

• 깨끗한 데이터셋 덕분에 인기 스타일의 방해되는 워터마크 제거

• 번짐 없는 선명한 색상과 부드러운 그라디언트, 엡실론 사용 시에도 전체 범위 지원

• 서드파티 체크포인트, Lora, 트위커 없이 Illustrious v0.1에서 순수 훈련

이전 버전과 비교한 일부 문제점과 변경사항이 있으니 설명서를 꼭 읽어주세요.

데이터셋 컷오프 - 2025년 4월 말.

특징 및 프롬프트 사용법:

중요 변경사항:

특히 여러 아티스트 스타일을 혼합할 때 각 태그는 별도의 CLIP 청크에 반드시 포함되어야 합니다. A1111 및 파생 버전은 BREAK로 구분하고, Comfy는 conditioning concat 노드를 사용하거나 최소한 프롬프트의 맨 끝에 배치해야 합니다. 그렇지 않으면 결과가 크게 저하될 수 있습니다.

기본 사항:

체크포인트는 짧고 간단한 프롬프트와 길고 복잡한 프롬프트 모두 작동합니다. 그러나 상반되거나 이상한 내용이 있으면 다른 모델과 달리 무시하지 않고 출력에 영향을 줍니다. 가이드레일이나 안전장치, 제한이 없습니다.

보고 싶은 내용을 프롬프트에 넣고, 그림에 포함되어서는 안 될 내용은 넣지 마세요. 위에서 보는 모습이 필요하면 천장은 넣지 않고, 얼굴 일부가 잘린 클로즈업이면 캐릭터 얼굴 상세 묘사는 피하는 등 간단하지만 중요한 원칙입니다.

버전 0.8은 자연어 텍스트 프롬프트에 대한 고급 이해를 제공합니다. 꼭 사용해야 하는 것은 아니며, 태그만 사용하는 것도 전혀 문제없고, 태그 조합에 대한 이해도도 향상되었습니다.

T5나 LLM 텍스트 인코더 기반의 Flux 같은 모델과 같은 성능은 기대하지 마세요. SDXL 체크포인트 전체 크기가 그 텍스트 인코더 하나보다 작으며, 기반으로 쓰인 illustrious-v0.1도 vanilla sdxl-base의 많은 일반 사항을 잊었습니다.

하지만 현재 상태에서도 훨씬 우수하게 작동하며, 외부 지침 없이도 불가능했던 새로운 작업이 가능하고 수동 편집, 인페인팅 등이 더 편리해졌습니다.

최고 성능을 위해서는 CLIP 청크 관리를 해야 합니다. SDXL은 프롬프트를 75개(시작과 끝 포함 시 77개) 토큰 단위로 분할해 각 청크를 별도로 CLIP 처리한 후, 이어서 UNet에 조건으로 전달합니다.

캐릭터/객체 특정 특징을 지정하고 다른 프롬프트 부분과 분리하려면 동일 청크에 넣고 선택적으로 BREAK로 구분하세요. 완전한 특성 혼합 문제를 해결하지는 못하지만 전반적 이해도를 높여줍니다. RouWei의 텍스트 인코더는 전체 시퀀스를 더 잘 처리합니다.

데이터셋은 부루 스타일 태그와 자연어 표현만 포함합니다. 퍼리, 실사, 서양 미디어가 일부 있지만, 모든 캡션을 고전적 부루 스타일로 변환해 여러 시스템 혼합의 문제를 피했습니다. 그래서 e621 태그는 제대로 인식하지 못합니다.

샘플링 매개변수:

• txt2img 시 약 1메가픽셀, 32의 배수 해상도 AR 가능 (1024x1024, 1056x, 1152x, 1216x832 등). Euler_a, 20~28 스텝.

• CFG: 엡실론 버전 4~9 (7 최적), vpred 버전 3~5

• 시그마 곱하기 약간 성능 향상 가능, CFG++ 샘플러 정상 작동. LCM/PCM/DMD 등 및 이색 샘플러 미검증.

• 일부 스케줄러는 잘 작동하지 않습니다.

• Highresfix - x1.5 latent + denoise 0.6, 또는 GAN + denoise 0.3~0.55.

• vpred 버전은 낮은 CFG 3~5 필요!

vpred 버전은 낮은 CFG 3~5가 필요합니다!

품질 분류:

양성 프롬프트는 단 4가지 품질 태그만 사용:

masterpiece, best quality

음성 프롬프트는

low quality, worst quality

입니다.

이외에는 사용하지 마세요. 기본 스타일과 구도에 영향을 줄 수 있으니 긍정 태그를 생략하거나 부정 태그를 low quality만 남겨도 됩니다.

lowres 같은 메타 태그는 제거되었고 작동하지 않으니 사용하지 않는 것이 좋습니다. 저해상도 이미지는 중요도에 따라 삭제되거나 DAT로 확대 및 정리되었습니다.

네거티브 프롬프트:

worst quality, low quality, watermark

이게 전부입니다. "rusty trombone", "farting on prey" 같은 불필요한 태그는 넣지 마세요. 그레이스케일, 모노크롬 같은 태그는 무엇을 하는지 이해하지 못하면 피하세요. 아래 밝기/색상/대비 추가 태그는 사용할 수 있습니다.

아티스트 스타일:

예시 그리드, 목록/와일드카드 ("training data"에서 확인 가능).

"by " 접두어와 함께 사용하는 것이 필수이며, 없으면 제대로 작동하지 않습니다.

"by "는 태그/이름이 비슷한 스타일이나 캐릭터와 혼동하지 않도록 하는 메타 토큰으로, 스타일 결과를 개선하고 다른 체크포인트에서 발생하는 무작위 스타일 변동을 방지합니다.

여러 스타일을 함께 사용할 시 흥미로운 결과가 나오며, 프롬프트 가중치와 주문법으로 제어할 수 있습니다.

아티스트/스타일 태그 뒤에 반드시 BREAK (A1111) 또는 concat conditioning (Comfy)을 넣거나, 프롬프트 맨 끝에 배치해야 합니다.

예시:

by kantoku, by wlop, best quality, masterpiece BREAK 1girl, ...

일반 스타일:

2.5d, anime screencap, bold line, sketch, cgi, digital painting, flat colors, smooth shading, minimalistic, ink style, oil style, pastel style

부루 태그 스타일:

1950s (style), 1960s (style), 1970s (style), 1980s (style), 1990s (style), 2000s (style), animification, art nouveau, pinup (style), toon (style), western comics (style), nihonga, shikishi, minimalism, fine art parody

그리고 이 그룹의 모든 요소.

조합 가능하며 아티스트와 함께 사용 가능, 긍정 및 부정 프롬프트 모두에서 가중치 설정 가능.

캐릭터:

전체 이름의 부루 태그와 적절한 형식을 사용하세요. 예: karin_(blue_archive) → karin \(blue archive\). 더 정밀한 재현을 위해 피부 태그 사용 가능, 예: karin \(bunny\) \(blue archive\). 자동완성 확장 프로그램이 매우 유용합니다.

대부분 캐릭터는 부루 태그만으로 인식되지만, 기본 특징을 설명하면 정확도가 향상됩니다. 여기서 프롬프트로 와이푸/허스번도를 쉽게 갈아입힐 수 있으며, 기본 특징 노출 문제를 방지할 수 있습니다.

자연어:

부루 태그와 함께 사용하면 좋으며, 자연어를 스타일과 품질 태그 뒤에만 쓰세요. 부루 태그만 써도 무방하며 선택 사항입니다. 최적 성능을 위해 CLIP 75 토큰 청크 관리가 필요합니다.

데이터셋 내 약 400만 장 이미지에는 Claude, GPT, Gemini, ToriiGate가 생성한 하이브리드 자연어 캡션이 포함되어 있으며, 정제 및 태그 조합으로 증강되었습니다.

일반 캡션과 달리 캐릭터 이름이 포함되어 매우 유용합니다. 간결하고 편리한 설명이 가장 좋으며, 긴 장황한 문장은 피하세요.

확실하지 않고 젊은 본질의 신비롭게 매력적인 여성 존재로, 하늘에서 빛나는 수천 개 죽어가는 별의 영적 빛을 머금고, 고대 신화의 금빛 강처럼 머리카락이 흘러내리며, 현대 패션 경향과 비슷한 스타일이나 특정 미학에 반드시 부합하지는 않으며, 눈은 깊고 다양한 색상으로 수천 년 지혜가 깃들었고 무시간적 순수함을 유지한다...

캡셔닝에는 ToriiGate 단축 모드 사용 가능.

Flux 등과 같은 수준을 기대하지 마세요. 여러 번 시도 후 원하는 결과를 얻을 수 있으나 안정성과 세부 묘사는 부족할 수 있습니다.

꼬리/귀 관련 개념 다수 포함:

네

꼬리 검열, 자신의 꼬리 잡기, 자신의 꼬리 안기, 다른 꼬리 잡기, 꼬리 잡기, 꼬리 들기, 꼬리 내리기, 귀 내리기, 자신의 귀에 손 올리기, 다리 주변 꼬리, 음경 주변 꼬리, 꼬리 플레이, 옷 사이 꼬리, 옷 밑 꼬리, 꼬리에 의해 들림, 꼬리 물기, 꼬리 삽입 (질/항문 세부표시 포함), 꼬리 자위, 꼬리로 잡기, 꼬리에 팬티, 꼬리에 브라, 꼬리 강조, 자신의 꼬리 강조...

(부루 의미, e621 아님) 및 자연어 대응 다수. 대부분 완벽히 작동하며 일부는 시도 횟수 필요.

밝기/색상/대비:

추가 메타 태그로 조정 가능:

낮은 밝기, 높은 밝기, 낮은 채도, 높은 채도, 낮은 감마, 높은 감마, 선명한 색, 부드러운 색, HDR, SDR

예제

엡실론과 vpred 버전 모두에서 잘 작동합니다.

엡실론 버전은 메타 태그에 의존도가 높아, 낮은 밝기, 낮은 감마 또는 음수 범위 태그 없이는 완전한 0,0,0 검은색 구현이 어려울 수 있으며 흰색도 마찬가지입니다.

두 버전 모두 진정한 zsnr과 넓은 색상 및 밝기 범위를 가지며, 흔한 문제 없이 다르게 작동하니 직접 테스트해보세요.

vpred 버전

핵심: CFG를 7에서 5(또는 그 이하)로 낮추세요. 그 외 사용법은 비슷하며 장점이 많습니다.

v0.7부터 vpred 버전은 완벽히 작동합니다. nai처럼 75 토큰 청크 경계 근처 태그 무시 문제가 없습니다. burnt 이미지 발생이 줄었고, cfg7에서도 보통은 과포화된 부드러운 그라디언트로 나타나 일부 스타일에 유용합니다. (0,0,0)부터 (255,255,255)까지 표현 가능합니다. 위 밝기 메타 태그가 간편한 프롬프트에 유용하며, 자연어 표현도 작동합니다. 가장 어두운 이미지를 원한다면 high brightness를 음수에 넣고 low brightness, low gamma 태그를 사용하세요. 어두운 배경에 너무 밝은 피부를 줄이고 싶거나 대조를 줄이거나 늘리고 싶으면 부/양수에 hdr/sdr 태그 사용.

일부 프롬프트에서 대비가 떨어지는 드문 현상이 보고되었으며, 다른 vpred 모델도 유사합니다. 75 토큰 청크 경계 근처에 "구분자"를 넣으면 해결됩니다. 다만 0.7 버전에서는 직접 경험하지 않았습니다.

vpred 버전은 A1111, Comfy(특수 로더 노드 필요), Forge 또는 Reforge의 개발 빌드에서 실행할 수 있습니다. 엡실론과 동일한 파라미터(Euler a, cfg 3~5, 20~28 스텝) 사용. Cfg 재조정은 선택 사항이나, cfg++가 잘 작동합니다.

기본 모델:

여기 모델은 메인 훈련 후 UNet 세부 조정을 거쳐 작은 디테일과 해상도를 개선했습니다. 그러나 복잡한 프롬프트에서 작은 실수가 있더라도 RouWei-Base가 더 좋은 경우가 있습니다. FP32 버전도 있어, Comfy에서 fp32 텍스트 인코더 노드 사용이나 병합, 미세 조정에 유용합니다.

Huggingface 저장소에서 확인 가능.

알려진 문제:

물론 있습니다:

• 아티스트 및 스타일 태그는 메인 프롬프트와 분리된 청크에 있어야 하거나 맨 마지막이어야 합니다.

• 희귀한 경우 위치 또는 조합 편향 발생 가능성 있으나 아직 명확하지 않습니다.

• 일부 일반 스타일에 대한 불만이 있습니다.

• 엡실론 버전은 밝기 메타 태그에 너무 의존하며, 원하는 밝기 변화를 위해 사용해야 할 때가 있습니다.

• 최근 추가된 스타일/캐릭터는 기대만큼 뛰어나거나 뚜렷하지 않을 수 있습니다.

• 추가 발견 예정

향후 모델용 아티스트/캐릭터 요청 접수 중입니다. 성능이 약하거나 부정확하거나 강한 워터마크가 있는 아티스트/캐릭터/컨셉을 발견하면 알려주세요. 명확히 추가할 예정입니다. 최신 버전 소식을 팔로우하세요.

디스코드 서버 가입

라이선스:

Illustrious와 동일합니다. 병합, 미세 조정 등에 자유롭게 사용하되 링크나 출처 표시는 필수입니다.

제작 과정

나중에 보고서를 작성할 계획입니다. 확실히요.

요약하자면, 98% 작업은 데이터셋 준비에 집중되었습니다. nai 논문의 태그 빈도 기반 손실 가중치 대신, 맞춤형 가이드 손실 가중치 및 비동기 균형 조정 콜레이터를 사용했습니다. Ztsnr (또는 유사)와 엡실론 예측은 노이즈 스케줄러 증강으로 달성했습니다.

총 소요 컴퓨팅 시간 - 연구 및 실패 시도 제외 약 8천 시간의 H100.

감사합니다:

무엇보다 오픈 소스를 지원하고 코드 개발 및 개선에 기여하는 모든 분께 감사드립니다. Illustrious 모델을 출시해 주신 저자분들께, 대규모 공개 미세 조정 개척자인 NoobAI 팀에게 경험 공유와 문제 해결에 감사드립니다.

개인적인 감사:

작품 공유를 익명으로 원하신 아티스트들; 여러 익명 후원자(기부, 코드, 캡션 등); Soviet Cat GPU 후원; Sv1. LLM 접근, 캡션, 코드 제공; K. 훈련 코드; Bakariso 데이터셋, 테스트, 조언, 내부 정보; NeuroSenko 기부, 테스트, 코드; LOL2024 독특한 데이터셋 다량; T.,[] 데이터셋, 테스트, 조언; rred, dga, Fi., ello 기부; TekeshiX 데이터셋 등 여러 동료. 정말 사랑합니다 ❤️.

그리고 피드백과 요청을 해주신 모든 분들께도 감사드립니다. 매우 소중합니다.

누락된 분이 있다면 알려주세요.

기부

지원하고 싶다면 제 모델을 공유하고 피드백 남기며 케모노미미 소녀 일러스트를 만들어 주세요. 그리고 당연히 원작자를 지원해 주세요.

AI는 제 취미이며 기부를 구걸하지 않습니다. 그러나 대규모 고비용 프로젝트로 발전했습니다. 새 훈련과 연구 가속화를 위해 지원을 고려해 주세요.

(다만 술이나 코스프레 미소녀에 낭비할 수도 있다는 점도 기억해 주세요)

BTC: bc1qwv83ggq8rvv07uk6dv4njs0j3yygj3aax4wg6c

ETH/USDT(e): 0x04C8a749F49aE8a56CB84cF0C99CD9E92eDB17db

XMR: 47F7JAyKP8tMBtzwxpoZsUVB8wzg2VrbtDKBice9FAS1FikbHEXXPof4PAb42CQ5ch8p8Hs4RvJuzPHDtaVSdQzD6ZbA5TZ

GPU 시간 제공 가능(A100 이상) 시 PM 바랍니다.