作者marshall323 (九条可怜真可怜)
看板AI_Art
标题[闲聊] 如何为同一种角色图增加细节
时间Thu Feb 20 00:36:56 2025
各位大大好
最近我使用niji产出了同一角色的各种图如下
1.
https://imgur.com/rHjoGfX
2.
https://imgur.com/go7He3w
3.
https://imgur.com/XffEhw3
4.
https://imgur.com/pGN0UgH
目前可在niji里生成类似的角色图
但niji无法基於原图的构图、色彩、角色一致性来增加细节
例如增加光影、材质纹路、角色与背景更好地结合
甚至能够在同一种姿势下让骨架更流畅
或是基於目前产出的图，未来能提高角色一致性
毕竟以目前的图来看，还有一些角色的特徵在细节上会有变化
有尝试使用stable diffusion的webUI试图达到上述效果
然而效果非常不佳
也有使用controlnet的一些功能尽可能保留原图特徵
角色特徵也会有跑掉的问题
也可能是因为我是stable diffusion的新手
所以没有看到更进一步的方法
想请问大大有没有关键词或流程可供搜寻
非常感谢大家抽空回答
--
https://imgur.com/UNyiuHH
https://imgur.com/KIfSCms
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 111.184.86.151 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/AI_Art/M.1739983019.A.581.html
1F：推 Supasizeit: 经验是增加细节一定要resemple 然後图就很容易变 你 02/20 00:53
2F：→ Supasizeit: 用canny 去图生图可以保留轮廓 但颜色什麽的还是会跑 02/20 00:53
3F：→ Supasizeit: 我最近都是用Kohya deep shrink 直接生2K大图然後Ult 02/20 00:55
4F：→ Supasizeit: imateSDUpscale 02/20 00:55
5F：推 Supasizeit: 至於角色要一致要马IPAdapter要嘛练Lora 02/20 00:58
6F：→ marshall323: 谢谢大大，我会再基於这几个关键字试看看。 02/20 01:16
7F：→ marshall323: 想再请教一下，checkpoint的影响是否是最大的， 02/20 01:17
8F：→ marshall323: 因为我不管试多少有相似画风+细节化的lora都会画出蛮 02/20 01:17
9F：→ marshall323: 奇怪的结果，例如角色衣服大变， 02/20 01:17
10F：→ marshall323: 所以必须在图生图里把图片的权重调特别高， 02/20 01:17
11F：→ marshall323: 不确定这个认知是不是对的，谢谢。 02/20 01:17
12F：推 Supasizeit: 你是不是用跟ckpt 不匹配的Lora 02/20 02:20
13F：推 kdjf: 图要像，权重当然要高啊。用少step少noise多洗几次可能比一 02/20 07:50
14F：→ kdjf: 次到位容易 02/20 07:50
15F：→ kdjf: 要增加细节需要靠upscale，SD训练的模式造成细节量跟像素量 02/20 07:50
16F：→ kdjf: 正相关，你upscale完再用传统影像处理缩小图面才能产生高密 02/20 07:50
17F：→ kdjf: 度的细节 02/20 07:50
18F：→ marshall323: 回覆s大：匹配是指lora的基础模型的话，我是照civila 02/20 12:57
19F：→ marshall323: i提供的基础模型资讯做对应的，不确定还有什麽要注意 02/20 12:57
20F：→ marshall323: 的，这可能要再请教了 02/20 12:57
21F：→ marshall323: 回覆k大：了解了，原来SD的细节控制和像素量有关，这 02/20 13:09
22F：→ marshall323: 和niji有点不太一样。想再请教图生图的图片权重比例 02/20 13:09
23F：→ marshall323: 对於比较复杂的upscale流程会不会影响特别大，导致 02/20 13:09
24F：→ marshall323: 图像细节不佳。目前用一些comfy UI基础的upscale流程 02/20 13:09
25F：→ marshall323: +一种动漫风格的checkpoint图片权重太高反而会有细微 02/20 13:09
26F：→ marshall323: 破碎的状况，蛮容易发生在CFG低於0.3时，图虽然像但 02/20 13:09
27F：→ marshall323: 没产生更好的细节。或许我应该重新在SD里文生图，会 02/20 13:09
28F：→ marshall323: 比较容易得到想要的效果吗，这样可能又要考虑如何与I 02/20 13:09
29F：→ marshall323: PAdapter和controlnet的搭配了。 02/20 13:09
30F：→ marshall323: 如果如同s大所说需要resampling，看来又有需要先解决 02/20 13:21
31F：→ marshall323: 角色一致性问题了，这个我目前没有想法。resampling 02/20 13:21
32F：→ marshall323: 我比较不要求画风和原图很像，只要发型服装动作有参 02/20 13:21
33F：→ marshall323: 考到就好，但输出图像也要有角色一致性，甚至一致性 02/20 13:21
34F：→ marshall323: 比niji还高，意思有点像是画风之间的镜射。至於niji 02/20 13:21
35F：→ marshall323: 里的upscale，不确定如果在style reference加入一些 02/20 13:21
36F：→ marshall323: 高细节的参考图像，会不会让niji去产出高细节的角色 02/20 13:21
37F：→ marshall323: 图，这个可能要再请教看看了，总之先谢谢大家的回答 02/20 13:21
38F：→ marshall323: 。 02/20 13:21
39F：→ marshall323: 抱歉，我的resampling是指图片权重低的状况，图生图 02/20 13:23
40F：→ marshall323: 应该也是resampling才对，在此厘清一下。 02/20 13:23
41F：→ AoWsL: 呃...niji调整风格不是只会让画风大改而已吗 SD比较细致一 02/20 13:50
42F：→ AoWsL: 些 02/20 13:50
43F：→ AoWsL: 单纯想靠niji调材质光影细节很难吧 02/20 13:51
44F：→ AoWsL: 我先前稍微试用的感觉调整风格 像是SD直接换大模型而已 02/20 13:56
45F：→ marshall323: 谢谢a大，後来我有在niji试了一下，确实不行，连画风 02/20 15:42
46F：→ marshall323: 的转换其实也有点困难度，因为现在的原图太复杂了 02/20 15:42
47F：→ marshall323: niji太方便了，要生多少角色图有多少，但就是不能细 02/20 15:44
48F：→ marshall323: 修可惜 02/20 15:44
49F：推 Supasizeit: 我刚刚玩了一下noobai 的ipadapter 蛮烂的 02/20 19:41
50F：推 Supasizeit: 看Reddit 还是建议练Lora 02/20 19:43
51F：→ pikachu2421: ControlNet Tile Resample 02/21 07:47
52F：推 Tosca: 看成为色图增加细节=.= 02/21 08:37
53F：→ marshall323: 谢谢s大帮忙测试，LoRA这边看来也要做了 02/21 18:06
54F：→ marshall323: 谢谢p大，之前没看到这功能，初步看来好像跟我要的 02/21 18:07
55F：→ marshall323: 结果是可行的流程 02/21 18:07
56F：→ marshall323: t大其实也可以这麽说，毕竟都是图XD，niji甚至可以画 02/21 18:11
57F：→ marshall323: 出露内裤，然後再被niji判定为色图 02/21 18:11
58F：推 Vulpix: 细修可以局部生成吧？ 02/21 20:47
59F：→ marshall323: 谢谢v大。不确定v大指的是针对特定范围绘制吗 02/23 13:06
60F：→ marshall323: 目前希望的是整张图的细节都可以修到 02/23 13:07
61F：→ marshall323: 不过大家的方法都还在试当中 02/23 13:08
62F：推 Supasizeit: 最近改用iterative upscale 分阶段resample 效果还不 02/27 00:08
63F：→ Supasizeit: 错 终於全身像可以画出脚指甲了 02/27 00:08