作者andyleeyuan (元哥)
看板AI_Art
标题[StaD] 模型融合 model merge教学
时间Sat Dec 24 10:58:26 2022
大家好,stable diffusion有很多model模型可以使用,
之前有人来信表示对这部分有兴趣,小弟我就我知道的部分分享给大家
模型可以在下面找到
1.
https://huggingface.co/
2.
https://rentry.co/sdmodels
网路大大整理出来的清单
---------------------------------------------------------------
★注意 使用他人的model请进行pickle-scan确认没有问题再使用
https://github.com/zxix/stable-diffusion-pickle-scanner
相关说明
https://huggingface.co/docs/hub/security-pickle
---------------------------------------------------------------
以下皆使用stable diffusion webui进行操作
https://github.com/AUTOMATIC1111/stable-diffusion-webui
今天主要示范anything3.0 加入sd1.4丰富模型内容 以及f222加强人体表现
A.使用模型:
https://huggingface.co/Linaqruf/anything-v3.0
Anything-V3.0-pruned-fp16.ckpt
https://huggingface.co/CompVis/stable-diffusion-v-1-4-original/tree/main
sd-v1-4.ckpt
https://huggingface.co/m4gnett/zeipher-f222
f222.ckpt
B.融合前范例展示
prompt:
https://rentry.org/e6ko3
参数设定:
Steps: 30, Sampler: Euler a, CFG scale: 7, Seed: 0,
Size: 512x512, Model hash: 38c1ebe3, Model: Anything-V3.0-pruned-fp16,
Clip skip: 2, ENSD: 31337
1.anything fp16
https://i.imgur.com/4roOSS0.png
2.sd 1.4
https://i.imgur.com/FfW1Rvj.png
3.f222
https://i.imgur.com/81OCPtF.png
C.开始融合 merge
webui内建功能 Checkpoint Merger,也可使用merge board 需要另外安装extensions
https://i.imgur.com/IyRYndv.jpg
这边使用内建Checkpoint Merger
https://i.imgur.com/8ii6RyF.jpg
公式说明如下:
Weighted Sum: Result = ( A * (1 - M) ) + ( B * M )
Add Difference: Result = A + ( (B - C) * M )
A选择anything fp16 主要要加强的模型
B选择sd 1.5
方法选择Weighted Sum M设定0.05,表示我们会有0.95的A和0.05的B进行融合
这边可以依喜好调整不同数值 看你想要偏哪边的model
完成後我们得到了O1 anything_sd14_0.05
来试试看效果
https://imgur.com/llYutvz.png
接下来融合f222
https://i.imgur.com/F52EhIA.jpg
A 刚融出来的anything_sd14_0.05
B f222
C sd 1.4
选择 Add Difference
M设定1
复习一下公式 Add Difference: Result = A + ( (B - C) * M )
我们会用A模型加上 (B模型减掉C模型)乘M
f222是用sd1.4 训练的(我也不知道为什麽 看别人都这样用)
,因为O1已经有sd1.4了,我们只需要f222新增的内容
融合後得到了O2 anything_f222_sd14
再来试试看效果
https://i.imgur.com/n19L5wA.png
三个一起比较
https://i.imgur.com/4roOSS0.png
https://i.imgur.com/llYutvz.png
https://i.imgur.com/n19L5wA.png
如果有其他模型还可以继续用同样方式融合,
调整不同比例也会影响,看你喜欢什麽风格就自己融合进去,
可以打造出属於自己的model
昨天参考了其他群组用了10个模型融出来的
和上面相同prompt
https://i.imgur.com/ZP8x4Kb.png
调整过的prompt
https://i.imgur.com/6Kcx3CI.png
https://i.imgur.com/ZRJcQTr.png
https://i.imgur.com/PuZdLCS.png
https://i.imgur.com/m6XydpH.png
最近开始把作品丢到P网,请大家多多支持
https://www.pixiv.net/users/913621
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.34.61.35 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/AI_Art/M.1671850708.A.351.html
1F:→ cybermeow: 还是不懂能训练的东西为什麽要东合西合 12/24 11:41
训练和融合我觉得是不一样的
训练出来的模型可以再跟其他模型融合
训练对硬体技术要求相对较高,融合较轻松就能办到,
根据你想要达到的目标,选择适合自己的方式
2F:推 Vulpix: 因为不是大家的卡都那麽顶? 12/24 13:10
※ 编辑: andyleeyuan (114.34.61.35 台湾), 12/24/2022 16:08:49
3F:推 cybermeow: 是没错 只是想要某种画风的话开colab dreambooth个一 12/24 17:12
4F:→ cybermeow: 小时就完事了 如果对某些模型的风格有爱用合成的也不 12/24 17:12
5F:→ cybermeow: 是全没道理 只是个人觉得结果就比较没有保障 12/24 17:12
6F:→ cybermeow: 尤其是我这种专注於角色的一合角色就崩了www 12/24 17:13
7F:推 clothg34569: 推 感谢分享 12/28 12:57
8F:推 zemill: 超推 感谢分享 01/31 11:54