LEOSAM的FilmGirl Ultra 胶片风 - VELVIA 3.0 LoRA
推薦提示詞
1girl,best quality,masterpiece,film grain analog photography,little girl,child girl
1girl
推薦反向提示詞
watermark,anime,cartoon,open mouth,digital art
((worst quality, low quality), bad_pictures, negative_hand-neg:1.2)
推薦參數
samplers
steps
cfg
clip skip
resolution
other models
推薦高解析度參數
upscaler
upscale
steps
denoising strength
提示
避免使用digital art、anime、cartoon標籤,因ACGN風格輸出較弱。
微調SPIN-Diffusion時,建議使用超過5萬總訓練迭代。
使用提示詞如film grain analog photography以觸發膠片風格。
如果FilmGirl Ultra有助提升你的模型,請在模型說明中提及。
遵守Apache-2.0許可證,使用生成圖像時請註明來源。
版本亮點
更新內容:
Velvia 3.0主體LoRA模型的訓練集圖片數量已達406張,分辨率進一步提升至1024x1024。
本版本主體模型訓練使用了Scale weight norms功能,以避免模型過擬合。在另一備用版本中我也測試了“Prodigy”優化器,該優化器可在總訓練步數減半下提供與AdamW8bit相當的擬合程度,但可能因參數設置不當,訓練結果人臉美感較差,最終未採用。
在高解析度主體模型基礎上,少比例融合了Velvia 2.0模型,並進行分層調節,以改善人像膚色。
Update Content:
The number of training images for the main LoRA model of Velvia 3.0 has reached 406, with the resolution further increased to 1024x1024.
In this version, the main model training utilizes "Scale weight norms" functionality to avoid overfitting. I also tested the "Prodigy" Optimizer in another alternative version. Prodigy can provide a fitting degree comparable to AdamW8bit with half the total training steps, but perhaps due to inappropriate parameter settings, the facial aesthetics of the training results were not as good, so it was not adopted in the end.
Based on the high-resolution main model, a small proportion of the Velvia 2.0 model was blended, and hierarchical adjustments were made to improve the skin tone in portraits.
創作者贊助
🌍歡迎加入QQ群"兔狲·AIGC夢工北廠"(群號:780132897)和"兔狲·AIGC夢工南廠"(群號:835297318),入群答案:兔狲。
Telegram群聊“兔狲的SDXL百老匯”:https://t.me/+KkflmfLTAdwzMzI1
🌍歡迎加入QQ群"兔狲·AIGC夢工北廠",群號 :780132897 ;"兔狲·AIGC夢工南廠",群號 :835297318(入群答案:兔狲)。Telegram群聊“兔狲的SDXL百老匯”,鏈接:https://t.me/+KkflmfLTAdwzMzI1
🚨FilmGirl Ultra推薦參數:
Clip skip:1
CFG scale: 9
圖片直接輸出分辨率: 約500,000像素 (640x768)
2024.2.29 發佈"FilmGirl Ultra",向SD1.5的AI臉說再見
去年2月24日,我完成了FilmGirl LoRA的第一個版本。該LoRA是我首個高下載量模型,也是我AI夢想的開始。自SDXL推出後,我投入大量精力改進HelloWorld和AIArt兩款XL模型。FilmGirl系列亦已8個月未更新。
無論是FilmGirl、後續的Polaroid LoRA或Helloworld XL,我一直追求極致的真實感。如今一年過去,為紀念一週年,我決定發佈一款將SD1.5寫實提升至新高度的模型。LoRA已不足以承載此使命;新的FilmGirl Ultra是SD1.5基礎模型。
為徹底擺脫SD1.5真實感基礎模型的同質化與AI臉問題,FilmGirl Ultra未採用basilmix、chilloutmix及其衍生訓練底模,而選用UCLA新發布的SPIN-Diffusion。 SPIN-Diffusion是一款使用pickapic_v2數據集勝者圖像進行自我對弈微調的SD1.5基礎模型,性能優於SD1.5原版及DPO底模,且提示詞對齊遠勝Chilloutmix等多次微調融合底模。
FilmGirl Ultra的訓練集來自HelloWorld XL。事實上HelloWorld XL的首個版本訓練集也來自最後版FilmGirl LoRA。這一年來,我精心積累筛選訓練集,現約有1萬張圖片。訓練過程採用多種標註方式,包括GPT4V自然語言標註、GPT4V標籤式標註及Blip+Clip標註。為兼容常用提示詞“1girl”、“best quality”、“masterpiece”,這三詞亦適度加於部分圖像(但可用“little girl/child girl”精準觸發小女孩效果)。多套標註旨在最大化觸發效果概率。作為FilmGirl傳統,膠片風格被特別重視,使用“film grain analog photography”可觸發此風格。
模型共經過七階段訓練,不同期使用不同batch size、優化器、學習率及訓練集比例,達到當前效果。如有興趣微調SPIN-Diffusion,建議整體訓練步數超過5萬,我自身以batch size 40~64,共訓練約10萬步。
FilmGirl Ultra的真實感效果超出預期,已接近SDXL圖像質量。以下為該模型與Realistic Vision v6及epiCPhotoGasm對比,前者為Civitai下載最高基礎模型,後者為我長期心中最寫實的SD1.5底模,向兩者及其創作者致敬。
特寫情侶肖像,非洲年輕男女,清晰皮膚,凝視鏡頭,時尚攝影,簡約背景
負面提示:水印、動漫、卡通、張嘴
特寫情侶肖像,非洲小女孩與男孩,清晰皮膚,凝視鏡頭,時尚攝影,簡約背景,
負面提示:水印、動漫、卡通、張嘴,
得益於GPT4V標註與SPIN-Diffusion底模,模型提示詞對齊效果極佳。以下為不同概念的xy圖測試。
種族測試

體態測試

膚色測試

年齡測試

動物測試



但FilmGirl Ultra並非所有方面領先,因為它從新起點出發,放棄了社群一年多來對1.5底模的持續優化打磨。大量測試比較後發現,該基模肢體錯誤率高於社群成熟的寫實模型。且由於訓練集缺少動漫ACGN內容,涉及相關標籤時效果不佳,建議避免使用“digital art”、“anime”、“cartoon”等詞。這兩點是FilmGirl Ultra目前的主要缺陷。
FilmGirl Ultra是我AI之旅首年總結,是送給支持我的AI愛好者的禮物。開源社群帶給我許多朋友、回憶、快樂及知識,我亦希望回饋社群。歡迎大家基於FilmGirl Ultra進行模型訓練或融合。如該模型有助提升你的模型,請在說明中提及,願FilmGirl Ultra與SPIN-Diffusion被更多人認識使用。
FilmGirl Ultra將持續更新,祝大家使用愉快!
願我們隨AI共同進步,明年今日再相聚!
去年的2月24日,我完成了第一版FilmGirl LoRA製作。這個LoRA是我的首個高下載量模型,是我的AI之夢的開始。自從SDXL推出後,我將大量精力投入到HelloWorld和AIArt兩個XL大模型的改進中。FilmGirl這個系列也已經8個月沒有更新了。
其實不管是FilmGirl,還是後來的拍立得LoRA、Helloworld XL,我一直都在追求極致的寫實感。如今已整整一年過去,作為一週年紀念,我決定推出一個可以將SD1.5的寫實感抬升至新高度的模型,LoRA模型已不足以承載這個使命,新的FilmGirl Ultra是一個SD1.5大模型。
為了徹底擺脫SD1.5寫實感大模型的同質化和AI臉問題,FilmGirl Ultra沒有選擇basilmix、chilloutmix及其子子孫孫們作為訓練底模,而是選擇了UCLA最新發布的SPIN-Diffusion。SPIN-Diffusion是一個使用 pickapic_v2 數據集勝者圖像進行自我對弈微調的SD1.5底模,其表現優於SD1.5原始底模以及DPO底模,同時提示詞對齊性能遠好於Chilloutmix等經過大量微調與融合的底模。
FilmGirl Ultra的訓練集來自HelloWorld XL。實際上HelloWorld XL的第一版所使用的訓練集也來自最後一版FilmGirl LoRA。這一年我都在精益求精地積累和篩選該訓練集,如今整個訓練集數量已達到1萬張。FilmGirl Ultra的整個訓練過程使用了多種打標方法,包括GPT4V自然語言caption、GPT4V標籤式caption、Blip+Clip caption。同時為了使得該模型可以兼容大家超常用的1girl、best quality、masterpiece 三個詞,也適當地在部分圖像中添加了這三個詞(但您仍可以通過child girl/girl 這兩個詞準確觸發小女孩效果)。之所以使用多套打標,是為了使訓練集的效果可以儘可能高概率地觸發。同時作為FilmGirl的傳統,膠片風格被重點關注,您可以通過film grain analog photography來觸發該風格。
本模型進行了共7階段的訓練,不同階段選用了不同的batch size、優化器、學習率以及訓練集比例,方才達到了目前的效果。如果有朋友同樣對微調SPIN-Diffusion感興趣,我建議您的總體訓練迭代步數應在5萬步以上,實際上我以batch size 40~64,共訓練了約10萬步。
FilmGirl Ultra的寫實效果超出了我的預料,已經與SDXL的圖像效果接近。上圖中列出了該模型與Realistic Vision v6以及epiCPhotoGasm的對比,前者是目前C站下載量最高的1.5底模,後者是我心目中長期以來最為寫實的1.5底模,向這兩個優秀底模以及其背後的作者致敬。
同時得益於GPT4V打標以及SPIN-Diffusion底模,該模型的提示詞對齊性能優異。
但FilmGirl Ultra也並非在所有維度都全面領先。它畢竟是從一個全新起點出發製作,放棄了社區一年多來對1.5底模的不斷調優打磨內容,經過我的大量測試比較,該底模的肢體錯誤率要高於社區成熟的寫實模型。同時由於訓練集缺乏二次元內容,當你的提示詞中涉及二次元相關tag時,出圖效果不佳。建議大家避免使用digital art、anime、cartoon等詞。這兩個問題是FilmGirl Ultra目前最主要的兩個缺陷。
FilmGirl Ultra是我AI之旅第一年的年終總結,是我送給支持我的AI同好們的禮物。開源社區為我帶來了諸多朋友、回憶、快樂以及知識,我也希望回饋社區做出自己的一點點貢獻。希望上述的模型製作總結能為大家帶來一些幫助,同時也歡迎大家基於FilmGirl Ultra進行你的模型訓練或融合。本模型與其訓練底模SPIN-Diffusion一樣,請大家遵循Apache-2.0許可證使用,否則將被追責。如果您覺得這個模型有幫助您讓自己的模型變得更好,請在模型說明中提及下它,希望FilmGirl Ultra以及SPIN-Diffusion能被更多人了解和使用。
FilmGirl Ultra後續還會持續更新,祝大家使用愉快!
希望我們能隨AI一起不斷進步,明年此時,仍能在此相遇!
版權聲明:
FilmGirl Ultra系列模型(以下簡稱“本模型”)是由我(以下簡稱“所有者”)基於SPIN-Diffusion開發的SD1.5大模型。
所有者授權個人或機構可免費使用本模型所生成的圖像用於非商業性質的教育或信息傳播目的,並且:
- 遵守相關法律規定,不侵犯本模型或任何第三方的合法權益。
- 在使用圖像時需註明圖像來源為“由LEOSAM's FilmGirl Ultra大模型生成”。
對於商業目的的使用,必須先與所有者簽署商用授權協議。有關商業授權和模型定制事宜,請通過所有者在Civitai平台的主頁信息聯繫。
所有者將持續為個人玩家免費提供FilmGirl Ultra模型的更新,以此表達對社區開源貢獻者的支持和感謝。商業用戶的有償合作是推動本模型開發和持續改進的重要動力。感謝每一位用戶的理解與支持。
請注意,任何未經授權的使用行為都可能違反相關法律規定,並可能承擔法律責任。本聲明的最終解釋權歸所有者所有,並受相關法律法規約束。
