作者Vulpix (Sebastian)
看板AI_Art
标题Re: [分享] 3D openpose(含手部设定)生成网站
时间Fri Mar 17 17:16:39 2023
※ 引述《k1k1832002 (SSRB)》之铭言:
: https://github.com/ZhUyU1997/open-pose-editor
: 虽然是也有一个插件 posex
: 但这个包含手部深度图生成(甚至脚掌)
: 不过这是直接一个网页产出不是组合於SD的UI当中,不能一键导入XD
虽然应该是我想得太美,但我在想有没有一个这样的:
1. 3D 手模。
2. 内建许多姿势,可自行增减,类似目前的 depth map lib。
3. 因为是 3D 的,所以可以旋转到想要的角度。
4. 还可以自动生成 depth map。
5. 因为功能是这样的,所以可以应用到鞋子之类的东西上。
啊这就是 blender 啊(X)
我认真的啦……
就是因为玩过人物模型、一点 3D 动画,才知道光「摆手」对我就是很大的挑战。
还记得当年在 MakeHuman 0.9a 里面摆姿势的时候,我才知道我有多烂。
光是「握拳」这个动作我就调到崩溃,而且握起来的姿势还很不自然。
穿模是家常便饭,虽然不会硬骨骨折但关节扭转更是喝茶一般。
好不容易调了一个没犯大错的姿势,但伸手一摆就知道那也是不可能的姿势。
具体来说,就像是握拳的时候拳面是平面并且还跟手背(也是平面)垂直。
反正是真的难看。
也因为这样,我想要现成的手势,至少是让我只需要微调就好的手势。
毕竟要找到够多手势的深度图应该没问题,但是总有「角度不对」的时候。
我也有在想那是不是就……
1. 自己摆拍自己的手。
2. 去背。
3. 转成深度图。
但是感觉也是意外地麻烦XD
毕竟自拍会有视野(fov)大小的问题,这会破坏距离感。
还有死角的问题,想拍摄某些手势也是要用很扭曲的姿势才能拍到。
就算定点拍摄,想要有全角度的照片也不现实。
(话说,深度图的影响到底多剧烈啊?是不是可以做出不同视角的图?)
至於手势的生成方式,也可以不要用 lib、自己调或照片。
我想这应该可以应用 Language2Pose 的技术,弄个 Language2Gesture。
https://github.com/chahuja/language2pose
https://youtu.be/zfllpcBlAVI
这样就可以用「stop gesture」生成
https://i.imgur.com/Jo2xoFT.png 这些手势。
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 163.13.112.58 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/AI_Art/M.1679044604.A.FEE.html
1F:→ shin2190: AI咏唱师专属魔导具?03/17 17:54
3F:推 k1k1832002: 先贴该专案原GITHUB连结好了03/17 18:39
5F:→ k1k1832002: 觉得该专案应该可以另外把手部参数输出跟导入,在用一03/17 18:40
6F:→ k1k1832002: 个公共库上传下载大概可以解决...8成?03/17 18:40
7F:→ encorek22554: 买个手模,拍照贴上去03/17 20:38
8F:→ Vulpix: 原来解法是具现化手模吗XD03/17 23:27
现在的3D控制其实我觉得是有点overdo。
虽然这样可以做出极度扭曲的夸张肢体,
但是现实的肢体其实是由肌肉牵动。
如果把关节的可动范围限制下来,
再用量化的肌肉收缩程度去调整,
这样应该可以弄出相对真实的姿势?
韧带筋膜牵动的程度应该也可以设定,
因为只动无名指也很不现实。
会有这种专案吗?
※ 编辑: Vulpix (101.137.185.55 台湾), 03/17/2023 23:38:57
9F:推 XDdong: 应该有手部动作3D素材包可以抓 ?可以转视角但不用动骨架03/18 02:09
10F:→ XDdong: 的吧03/18 02:09
https://bit.ly/3FxGuFJ
我发现Pinterest上面有不少多视角手图。
所以暂时可以用这些来做深度图吧!
※ 编辑: Vulpix (101.136.38.105 台湾), 03/18/2023 13:02:35
11F:推 satorihane: 最近也在尝试depth lib 但上面的depth map不够用 03/20 18:48
12F:→ satorihane: 想请问怎麽用现实照片做depth map 目前找到只能用 03/20 18:49
13F:→ satorihane: 特定某些手机拍照然後抽出的样子 03/20 18:50
深度图可以用 ControlNet 转,或者用线上资源随便玩:
https://replicate.com/jagilley/controlnet-depth2img
刚刚随手玩的:
https://i.imgur.com/N426S5X.png
https://i.imgur.com/7TJhycr.png
※ 编辑: Vulpix (163.13.112.58 台湾), 03/21/2023 00:39:43
14F:推 satorihane: 谢谢大大 可以拿来玩了 03/21 18:59