LEOSAM 的 HelloWorld XL - HelloWorld XL 5.0 GPT4V

🖥️歡迎嘗試我與好友開發的開源 GPT4V-Image-Captioner，提供一鍵安裝，並集成多項功能，包括圖片預壓縮、圖片標註和標籤統計。最近我們還推出了webui 插件版本，歡迎大家使用！

🌍歡迎加入QQ群「兔狲·AIGC夢工北廠」，群號 ：780132897 ；「兔狲·AIGC夢工南廠」，群號 ：835297318（入群答案：兔狲）。Telegram群聊“兔狲的SDXL百老匯”，鏈接：https://t.me/+KkflmfLTAdwzMzI1

📖HelloWorld 7.0 更新 - 2024年6月13日

一句話更新總結：HelloWorld 7.0 是一個迭代優化版本，擁有整個系列中最好的身體表現，並進一步擴展了概念範圍及細節豐富度。

更新詳情：

1. 通過添加負面訓練圖片、加強姿態訓練並優化 clip 模型，提升了模型對肢體和手部的準確性。推薦的負面提示詞為：「bad hand, bad anatomy, worst quality, ai generated images, low quality, average quality」。

2. 從官方 SPO 模型提取微調的 LoRA，並整合至 HelloWorld 7.0。SPO 是對 DPO 方法的進一步改進，SPO 基礎模型性能優於 DPO XL 基礎模型及原始 SDXL 基礎模型。SPO LoRA 可增強影像細節與對比度，美化圖像。特別感謝 SPO 技術團隊。

3. 持續擴展訓練集的概念範圍，但同時優化及精簡訓練集（大型訓練集微調成本高，且近期難以租用 H800，無法承受本地訓練時間）。目前總訓練集圖像數為 20,821 張。訓練集解析度分布如下，建議輸出時使用多個較大數量圖像的解析度：

   (832, 1248) - 數量：7128
   (896, 1152) - 數量：6250
   (1248, 832) - 數量：2402
   (1024, 1024) - 數量：1639
   (1360, 768) - 數量：928
   (1152, 896) - 數量：870
   (768, 1360) - 數量：432
   (960, 1088) - 數量：506
   (992, 1056) - 數量：162
   (1088, 960) - 數量：140
   (704, 1472) - 數量：120
   (1056, 992) - 數量：122
   (1472, 704) - 數量：115
   (1632, 640) - 數量：75
   (640, 1632) - 數量：12

4. 使用 GPT4O 重新標註所有數據集。此次採用結構化標註方式，具體結構為：「一句話總結描述 + 多重圖像元素標籤 + inspired by XXX + 審美質量描述詞」，審美質量描述詞分為五級：worst quality、low quality、average quality、best quality 和 masterpiece。典型標註範例如下：

   conceptual art featuring a human hand wrapped in red and beige ribbons, isolated against a plain, light background, realistic style, minimalist color scheme, smooth textures, elongated and surreal aesthetic, inspired by salvador dalí's surrealist works, masterpiece

HelloWorld 7.0 版本中“high-frequency tagging word list”與“high-frequency art style list”中涉及的 inspired by XXX 僅提供給商業授權用戶。過往購買過 Helloworld XL 系列模型授權的夥伴，如有遺漏請與我聯繫免費獲取。

用戶可參考HelloWorld 6.0 高頻標籤詞列表。另外，我也在畫廊提供了超過 150 張高質量 HelloWorld 7.0 範例圖供大家輸出參考。做模型並不容易，感謝玩家們的理解和包容！

📖HelloWorld 6.0 更新 - 2024年4月20日

LEOSAM HelloWorld 6.0 前250個高頻標籤詞列表

感謝您的耐心等待。最近因求職原因，HelloWorld 更新延遲。以下為 6.0 版本的主要更新：

• HelloWorld 6.0 是基於 5.0 版本的迭代改進。根據本人測試，真實效果與 5.0 差異不大，6.0 的主要優勢在於訓練集概念涵蓋更廣。根據反饋，在超現實主義、閨房攝影、群像、面具、摺紙、3D 渲染、汽車、龍和孕婦攝影等主題均有加強，部分範例見插圖。

• HelloWorld 6.0 故意在訓練中包含部分低質量圖像，提升模型對負面提示的反應能力。建議負面提示包含 "low quality, jpeg artifacts, blurry, poorly drawn, ugly, worst quality"。

• HelloWorld 6.0 主要訓練集採用 GPT4v 標註。對 GPT4v 未能標註的圖片使用基於 blip2-opt-6.7b 的 cogVQA 指導標註。這些多模態模型的標注語言風格與傳統 WD1.4 標註器差異顯著。為便於更精確觸發訓練集各概念，整理了 HelloWorld 6.0 訓練集前 250 高頻標籤詞，可在此文檔查看。

最後，雖然 SD3 即將發布，我仍會持續更新 HelloWorld XL 7.0，期待 7.0 版本有更大提升！

📖2024.2.22 推出 "HW5.0_Euler_a_Lightning"

此模型是 HelloWorld SDXL 基礎模型的運行加速版，集成了SDXL-Lightning技術。配備 Euler a 采樣器和 CFG 1，能在 6-8 步生成圖像，速度是原始 SDXL 的三倍。經比較，其成像效果優於 LCM 或 Turbo 版本。

推薦的生成參數為：

采樣器：Euler a（重要！模型特別適配 Euler a，其他采樣器可能效果不佳）

CFG 比例：1

采樣步數：8 步（6~8 步均可）

高清算法：ESRGAN 4x / 8x_NMKD-Faces_160000_G

高清放大倍數：1.5x

高清步數：8 步

高清去噪強度：0.3

📖2024.2.11 推出 "HelloWorld 5.0 GPT4V"

HelloWorld 5.0 是 HelloWorld 系列中最大幅度的更新，配備 GPT-4v 標籤，並在科幻、動物、建築和插畫等領域進行了重大微調。

比較測試顯示此版本的改進包括：

1. 更豐富且動態的角色姿態和圖像構圖，營造視覺吸引力強的畫面；

2. 電影數據集大幅訓練。2.0 到 4.0 版本電影質感薄弱，許多粉絲懷念 1.0 版本的 leogirl 風格，因此此更新專門加強了電影質感而不損其他攝影品質。電影質感可透過「film grain texture」和「analog photography aesthetic」等語句觸發；

3. 強化科幻、驚悚和動物主題的表現力，機甲等主題更具設計感。雪豹、紅熊貓、貓熊、老虎、Pallas's cat 及家貓狗更為逼真；

4. 借助 GPT 標註，提升提示遵從性和概念準確度。

缺點包括：

1. 由於是重大微調更新，肢體等錯誤率可能略有增加，屬於離開舒適區尋求相對優化的正常現象。之前版本肢體已有大量測試，而新版本此方面時間有限，但肢體準確度至少高於 1.0 版本，未來將繼續改進；

2. 因加強電影質感，雖 GPT 標註精準，但影像可能出現不可避免的偏暖色調。可使用「studio light」或「sharp focus」等提示產生高清工作室品質圖像，並且適當提示能讓輸出膚色和視覺更勝過往版本；

3. 此版本包含更多全身角色圖像以加強全身效果，若無指定角色構圖，生成場景可能比以往更寬廣。目前 1024 分辨率全身臉部細節可能不及半身或近距離，但可用 adetailer 並搭配約 0.3 強度的 1.5x 高清修復改善，或透過指定構圖避免生成全身圖；

4. 加入少量高質量插畫數據集，可能導致動畫風格相關提示產生動畫圖像，若介意請調整提示。

以上為此版本主要更新。SDXL 大模型訓練艱苦，當訓練集接近一萬張時，標註和模型訓練成本超過 300 美元。歡迎大家使用並提出反饋！若對此模型滿意，懇請幫助傳播它，感謝！

📖2024.1.31 推出 "HelloWorld 4.0"

HelloWorld 4.0 是一個從 blip+clip 標註向 GPT4V 標註過渡的迭代版本。我先訓練了純 GPT4V 標註模型，然後融入大比例的 HelloWorld 3.2 版本和 0.05 比例的 Juggernaut XL（調整膚色色調）。與 3.2 版本相比，新版本在提示遵從性和概念覆蓋上有提升。

新的 GPT4V 標註訓練集從 helloworld3 系列的 4000 張圖像增至 8000 張，涵蓋肖像、動物、建築、自然、食物、插畫等。但純 GPT4V 版本遇到過擬合問題，初步判斷由於訓練圖像數量翻倍。下一步優化將探索如何在確保肖像充分訓練的同時加入更多非肖像概念。當前採用新舊版本融合微調，保證版本平滑過渡，擴充的概念集及 GPT4V 標註優勢尚不明顯，這些優勢將在後續 5 和 6 代模型中逐步顯現。

📖2024.1.5 推出 "HelloWorld 3.2"

3.2 版本基於 DPO 技術優化，相較 3.0 版本，在膚色色調和肢體準確度方面有所優化，但提升不顯著，因此標為 3.2 而非 4.0。

📖2023.12.15 推出 "HelloWorld 3.0"

1. 新版擴充訓練集，提升模型在不同藝術風格，包括科幻和藝術領域的表現能力。

2. 集成自製的質量增強 LoCon（使用 slider 技術製作），改善圖像紋理，減輕手指和肢體變形問題。

📖2023.11.17 推出 "HelloWorld 2.0"

感謝大家耐心等待。經過多重挑戰，HelloWorld 2.0 版本終於達到我滿意的狀態。2.0 與 1.0 主要差異如下：

1. HelloWorld 2.0 不再需要觸發詞，效果質量相當於 1.0 版本有觸發詞。1.0 版本中觸發詞 "leogirl" 與東亞人種高度相關。取消觸發詞後，雖然 "1girl" 類詞在未指定人種時仍可能生成東亞人像，但可透過國籍、膚色等關鍵詞明確指定人種。例如 "Chinese"、"Russian"、"Iranian"、"Jamaican"、"Kenyan"、"dark-skinned"、"pale-skinned" 等詞的觸發效果如下。

   

   同時，可在提示中寫入不同國家及性別的人名，例如中國的 Han Meimei，法國的 Sophie Martin，印度的 Priya Patel，阿拉伯的 Fatima Al-Hassan，肯尼亞的 Wanjiru Mwangi。以上提示僅為示例，還有許多可用提示詞和玩法，歡迎自行探索分享。

   

2. HelloWorld 2.0 平衡質量和色彩，提供更多風格選項。1.0 版本使用 "leogirl" 時多呈電影質感，2.0 不再局限電影質感，可透過品質相關提示自定義效果。經測試效果佳的提示包含：

   high-end fashion photoshoot, product introduction photo, popular Korean makeup, aegyo sal, Sharp High-Quality Photo, studio light, medium format photo, Mamiya photography, analog film, Medium Portrait with Soft Light, real-life image, refined editorial photograph, raw photo, real photo, Scanned Photo, film still

   上述提示的色彩效果如下：

   

3. HelloWorld 2.0 訓練集中全身照比例大幅提升，以改善 SDXL 生成全身及遠景肖像的效果。儘管較 1.0 有提升，仍強烈建議生成全身照時使用 "adetailer"。且對於記憶體充足（24g）使用者，建議對圖像進行 1.5x 超解析修復，可顯著提升面部細節。

📖2023.8.29 推出 "HelloWorld" SDXL 基礎模型

特別提醒：使用 HelloWorld 1.0 模型時，請記得加入觸發詞 "leogirl"。

不同於 SD1.5 基礎模型 "MoonFilm"，HelloWorld 是全新現實主義 SDXL 基礎模型系列。為讓更多用戶發現 HelloWorld，我保留了原 Moonfilm 模型鏈接，可視作 Moonfilm 在 SDXL 平台上的精神延續。但 HelloWorld 目標不止追求真實與電影質感肖像。憑藉 SDXL 比 SD1.5 極為豐富的資訊和文字理解能力，HelloWorld 是一個期望逐步構建虛擬攝影世界的基礎模型。

SD1.5 的現實主義基礎模型已達成熟階段，性能提升有限。除非 SD1.5 平台技術有突破，Moonfilm & MoonMix 系列將基本停更。我將把主要精力投入 HelloWorld SDXL 大模型開發。1.0 版本已可下載，2.0 版本緊急開發中，預計九月初更新。

作為全新 SDXL 模型，HelloWorld 與傳統 SD1.5 模型有三大不同：

1. SD1.5 基礎模型通常無需觸發詞，使用 HelloWorld 1.0 請務必加入觸發詞 "leogirl"，以穩定觸發訓練集效果。

2. HelloWorld 支持直接輸出 1024*1024 分辨率，無需超解析放大。近距肖像質量不亞於 SD1.5 版本，但遠景肖像直接輸出仍有缺陷，建議配合ADetailer 插件有效修正遠距人臉問題。

3. SDXL 現支持使用簡單自然語言提示更輕鬆輸出。建議多嘗試自然語言提示，能提升 AI 現實照片效果。

經過多輪測試，建議繪圖參數設置為：

• 步數 ≥ 25

• 采樣器：DPM++ 2M Karras

• CFG 比例：10

• 尺寸 ≥ 1024x1024

• ADetailer：開啟

歡迎大家嘗試 HelloWorld 並提供大量反饋，您寶貴的意見對模型改進至關重要！

版權聲明：

HelloWorld 系列模型（以下稱「模型」）由本人（以下稱「擁有者」）與 LiblibAI 平台協助共同打造。未經擁有者授權，禁止在除 LiblibAI 與 Civitai 以外的平台轉發模型。

擁有者允許用戶免費將模型生成圖像用於非商業教育或資訊目的，條件為：

- 用戶遵守適用法律，不侵犯模型及任何第三方權益。

- 圖像須明確標註為「由 LEOSAM 的 HelloWorld 基礎模型創作」。

任何商業用途需事先與擁有者簽訂商業授權協議。商業授權與模型個性化合作請聯繫擁有者主頁公布的聯繫方式。

SDXL 模型的開發與免費發布是重大投入。擁有者承諾持續為個人愛好者免費更新 HelloWorld 模型，以回饋社區對開源發展的貢獻。模型的進步和完善依賴商業合作。擁有者感謝每位用戶的理解與支持。

未經授權使用可能違反法律並帶來法律責任。此聲明擁有最終解釋權，受現行法律法規約束。