作者andyleeyuan (元哥)
看板AI_Art
標題[StaD] 模型融合 model merge教學
時間Sat Dec 24 10:58:26 2022
大家好,stable diffusion有很多model模型可以使用,
之前有人來信表示對這部分有興趣,小弟我就我知道的部分分享給大家
模型可以在下面找到
1.
https://huggingface.co/
2.
https://rentry.co/sdmodels
網路大大整理出來的清單
---------------------------------------------------------------
★注意 使用他人的model請進行pickle-scan確認沒有問題再使用
https://github.com/zxix/stable-diffusion-pickle-scanner
相關說明
https://huggingface.co/docs/hub/security-pickle
---------------------------------------------------------------
以下皆使用stable diffusion webui進行操作
https://github.com/AUTOMATIC1111/stable-diffusion-webui
今天主要示範anything3.0 加入sd1.4豐富模型內容 以及f222加強人體表現
A.使用模型:
https://huggingface.co/Linaqruf/anything-v3.0
Anything-V3.0-pruned-fp16.ckpt
https://huggingface.co/CompVis/stable-diffusion-v-1-4-original/tree/main
sd-v1-4.ckpt
https://huggingface.co/m4gnett/zeipher-f222
f222.ckpt
B.融合前範例展示
prompt:
https://rentry.org/e6ko3
參數設定:
Steps: 30, Sampler: Euler a, CFG scale: 7, Seed: 0,
Size: 512x512, Model hash: 38c1ebe3, Model: Anything-V3.0-pruned-fp16,
Clip skip: 2, ENSD: 31337
1.anything fp16
https://i.imgur.com/4roOSS0.png
2.sd 1.4
https://i.imgur.com/FfW1Rvj.png
3.f222
https://i.imgur.com/81OCPtF.png
C.開始融合 merge
webui內建功能 Checkpoint Merger,也可使用merge board 需要另外安裝extensions
https://i.imgur.com/IyRYndv.jpg
這邊使用內建Checkpoint Merger
https://i.imgur.com/8ii6RyF.jpg
公式說明如下:
Weighted Sum: Result = ( A * (1 - M) ) + ( B * M )
Add Difference: Result = A + ( (B - C) * M )
A選擇anything fp16 主要要加強的模型
B選擇sd 1.5
方法選擇Weighted Sum M設定0.05,表示我們會有0.95的A和0.05的B進行融合
這邊可以依喜好調整不同數值 看你想要偏哪邊的model
完成後我們得到了O1 anything_sd14_0.05
來試試看效果
https://imgur.com/llYutvz.png
接下來融合f222
https://i.imgur.com/F52EhIA.jpg
A 剛融出來的anything_sd14_0.05
B f222
C sd 1.4
選擇 Add Difference
M設定1
複習一下公式 Add Difference: Result = A + ( (B - C) * M )
我們會用A模型加上 (B模型減掉C模型)乘M
f222是用sd1.4 訓練的(我也不知道為什麼 看別人都這樣用)
,因為O1已經有sd1.4了,我們只需要f222新增的內容
融合後得到了O2 anything_f222_sd14
再來試試看效果
https://i.imgur.com/n19L5wA.png
三個一起比較
https://i.imgur.com/4roOSS0.png
https://i.imgur.com/llYutvz.png
https://i.imgur.com/n19L5wA.png
如果有其他模型還可以繼續用同樣方式融合,
調整不同比例也會影響,看你喜歡什麼風格就自己融合進去,
可以打造出屬於自己的model
昨天參考了其他群組用了10個模型融出來的
和上面相同prompt
https://i.imgur.com/ZP8x4Kb.png
調整過的prompt
https://i.imgur.com/6Kcx3CI.png
https://i.imgur.com/ZRJcQTr.png
https://i.imgur.com/PuZdLCS.png
https://i.imgur.com/m6XydpH.png
最近開始把作品丟到P網,請大家多多支持
https://www.pixiv.net/users/913621
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.34.61.35 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/AI_Art/M.1671850708.A.351.html
1F:→ cybermeow: 還是不懂能訓練的東西為什麼要東合西合 12/24 11:41
訓練和融合我覺得是不一樣的
訓練出來的模型可以再跟其他模型融合
訓練對硬體技術要求相對較高,融合較輕鬆就能辦到,
根據你想要達到的目標,選擇適合自己的方式
2F:推 Vulpix: 因為不是大家的卡都那麼頂? 12/24 13:10
※ 編輯: andyleeyuan (114.34.61.35 臺灣), 12/24/2022 16:08:49
3F:推 cybermeow: 是沒錯 只是想要某種畫風的話開colab dreambooth個一 12/24 17:12
4F:→ cybermeow: 小時就完事了 如果對某些模型的風格有愛用合成的也不 12/24 17:12
5F:→ cybermeow: 是全沒道理 只是個人覺得結果就比較沒有保障 12/24 17:12
6F:→ cybermeow: 尤其是我這種專注於角色的一合角色就崩了www 12/24 17:13
7F:推 clothg34569: 推 感謝分享 12/28 12:57
8F:推 zemill: 超推 感謝分享 01/31 11:54