作者Vulpix (Sebastian)
看板AI_Art
標題Re: [分享] 3D openpose(含手部設定)生成網站
時間Fri Mar 17 17:16:39 2023
※ 引述《k1k1832002 (SSRB)》之銘言:
: https://github.com/ZhUyU1997/open-pose-editor
: 雖然是也有一個插件 posex
: 但這個包含手部深度圖生成(甚至腳掌)
: 不過這是直接一個網頁產出不是組合於SD的UI當中,不能一鍵導入XD
雖然應該是我想得太美,但我在想有沒有一個這樣的:
1. 3D 手模。
2. 內建許多姿勢,可自行增減,類似目前的 depth map lib。
3. 因為是 3D 的,所以可以旋轉到想要的角度。
4. 還可以自動生成 depth map。
5. 因為功能是這樣的,所以可以應用到鞋子之類的東西上。
啊這就是 blender 啊(X)
我認真的啦……
就是因為玩過人物模型、一點 3D 動畫,才知道光「擺手」對我就是很大的挑戰。
還記得當年在 MakeHuman 0.9a 裡面擺姿勢的時候,我才知道我有多爛。
光是「握拳」這個動作我就調到崩潰,而且握起來的姿勢還很不自然。
穿模是家常便飯,雖然不會硬骨骨折但關節扭轉更是喝茶一般。
好不容易調了一個沒犯大錯的姿勢,但伸手一擺就知道那也是不可能的姿勢。
具體來說,就像是握拳的時候拳面是平面並且還跟手背(也是平面)垂直。
反正是真的難看。
也因為這樣,我想要現成的手勢,至少是讓我只需要微調就好的手勢。
畢竟要找到夠多手勢的深度圖應該沒問題,但是總有「角度不對」的時候。
我也有在想那是不是就……
1. 自己擺拍自己的手。
2. 去背。
3. 轉成深度圖。
但是感覺也是意外地麻煩XD
畢竟自拍會有視野(fov)大小的問題,這會破壞距離感。
還有死角的問題,想拍攝某些手勢也是要用很扭曲的姿勢才能拍到。
就算定點拍攝,想要有全角度的照片也不現實。
(話說,深度圖的影響到底多劇烈啊?是不是可以做出不同視角的圖?)
至於手勢的生成方式,也可以不要用 lib、自己調或照片。
我想這應該可以應用 Language2Pose 的技術,弄個 Language2Gesture。
https://github.com/chahuja/language2pose
https://youtu.be/zfllpcBlAVI
這樣就可以用「stop gesture」生成
https://i.imgur.com/Jo2xoFT.png 這些手勢。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 163.13.112.58 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/AI_Art/M.1679044604.A.FEE.html
1F:→ shin2190: AI詠唱師專屬魔導具?03/17 17:54
3F:推 k1k1832002: 先貼該專案原GITHUB連結好了03/17 18:39
5F:→ k1k1832002: 覺得該專案應該可以另外把手部參數輸出跟導入,在用一03/17 18:40
6F:→ k1k1832002: 個公共庫上傳下載大概可以解決...8成?03/17 18:40
7F:→ encorek22554: 買個手模,拍照貼上去03/17 20:38
8F:→ Vulpix: 原來解法是具現化手模嗎XD03/17 23:27
現在的3D控制其實我覺得是有點overdo。
雖然這樣可以做出極度扭曲的誇張肢體,
但是現實的肢體其實是由肌肉牽動。
如果把關節的可動範圍限制下來,
再用量化的肌肉收縮程度去調整,
這樣應該可以弄出相對真實的姿勢?
韌帶筋膜牽動的程度應該也可以設定,
因為只動無名指也很不現實。
會有這種專案嗎?
※ 編輯: Vulpix (101.137.185.55 臺灣), 03/17/2023 23:38:57
9F:推 XDdong: 應該有手部動作3D素材包可以抓 ?可以轉視角但不用動骨架03/18 02:09
10F:→ XDdong: 的吧03/18 02:09
https://bit.ly/3FxGuFJ
我發現Pinterest上面有不少多視角手圖。
所以暫時可以用這些來做深度圖吧!
※ 編輯: Vulpix (101.136.38.105 臺灣), 03/18/2023 13:02:35
11F:推 satorihane: 最近也在嘗試depth lib 但上面的depth map不夠用 03/20 18:48
12F:→ satorihane: 想請問怎麼用現實照片做depth map 目前找到只能用 03/20 18:49
13F:→ satorihane: 特定某些手機拍照然後抽出的樣子 03/20 18:50
深度圖可以用 ControlNet 轉,或者用線上資源隨便玩:
https://replicate.com/jagilley/controlnet-depth2img
剛剛隨手玩的:
https://i.imgur.com/N426S5X.png
https://i.imgur.com/7TJhycr.png
※ 編輯: Vulpix (163.13.112.58 臺灣), 03/21/2023 00:39:43
14F:推 satorihane: 謝謝大大 可以拿來玩了 03/21 18:59