作者LDPC (Channel Coding)
看板Stock
標題Re: [新聞] 輝達CMU新研究！機器人跳APT舞驚豔全網
時間Thu Feb 6 01:19:38 2025
https://hao.cnyes.com/post/133793
這機器人就是一個里程碑 (參照
#1dZhKNT2 motion retarget和虛擬世界訓練)
(詳細訓練過程 參照上面連結Fig 2)
之前機器人各路玩家的夢想就是 把人類影片所有動作去教他給機器人
概念就是 把影片直接扔進去 受益於poset estimation 可以把人類動作拆解成
骨架 接者用motion retarget 在虛擬世界去做校正 最後部署到現實世界
這個最重要點就是 以後機器人看個影片 就可以學會人類動作 搭配LLM Gen AI之後更能
創造動作 我們家的多拉a夢快要出來了 @@/
股點? @n@ 就是老黃RRRRRRR
※ 引述《randy225 (資方打手)》之銘言：
: 原文標題：輝達CMU新研究！機器人跳APT舞驚豔全網 「人形機器人」奧運會2030年可期
: ※請勿刪減原文標題
: 原文連結：https://news.cnyes.com/news/id/5851739
: https://hao.cnyes.com/post/133793 (機器人動作)
: ※網址超過一行過長請用縮網址工具
: 發布時間：2025-02-05 17:30
: ※請以原文網頁/報紙之發布時間為準
: 記者署名：鉅亨網編譯陳韋廷 綜合報導
: ※原文無記載者得留空
: 原文內容：
: 機器人版的柯比布萊恩 (Kobe Bryant)、詹皇(LeBron James)、C 羅 Cristiano
: Ronaldo 真的來了，而這一切全拜卡內基美隆大學(CMU) 和輝達(NVDA-US) 所提出的一個
: real2sim2real 模型 Aligning Simulation and Real Physics(ASAP)，ASAP 能讓人形
: 機器人掌握非常流暢且動感的全身控制動作，就連跳時下最紅的 APT 也相當流暢。
: 中國智能資訊社交平台《新智元》報導，市場可以期待在 2030 年看到人形機器人奧運會
: 盛宴，CMU 與輝達提出的 ASAP 專案包含預訓練和後訓練兩大階段。在第一個階段中，透
: 過重定向的人體數據，在模擬環境中預訓練運動追蹤策略，第二階段將這些策略部署到現
: 實世界，並收集真實數據來訓練一個「殘差」動作模型，用來彌補模型與真實世界物理動
: 態之間的差距。
: 然後，ASAP 把這個 delta 動作模型整合到模擬器中，對預訓練策略進行微調，讓它和現
: 實世界的動力學更匹配。具體步驟分為四步，分別是運動跟蹤預訓練與真實軌跡收集、差
: 異動作模型訓練、策略微調以及真實世界部署。
: 研究人員在三個遷移場景中評估了 ASAP 的效果。從 IsaacGym 到 IsaacSim、從
: IsaacGym 到 Genesis，以及從 IsaacGym 到真實世界，使用的機器人則是中國廠商宇樹
: 的 G1 人形機器人。
: 最後，研究者藉助 delta 動作模型對預訓練的策略進行微調，使其能夠更好地適應真實
: 世界的物理環境，從而實現更穩定、敏捷的運動控制。
: sim2real 一直是實現空間與具身智慧的主要路徑之一，被廣泛應用在機器人模擬評估當
: 中，而 real2sim2real 直接打破了繁瑣的動作微調的難題，彌合 sim2real 的差距，讓
: 機器人能夠模仿各種類人的動作。
: 輝達資深研究科學家 Jim Fan 興奮地表示，透過 RL 讓人形機器人成功模仿 C 羅、詹皇
: 和科比！
: 報導指出，CMU 跟輝達的研究有四大貢獻。第一個是提出 ASAP 框架，運用強化學習和真
: 實世界的數據來訓練 delta 動作模型，有效縮小了模擬與現實之間的差距。其次，成功
: 在真實環境部署全身控制策略，實現了不少以前人形機器人難以做到的動作。
: 第三大貢獻則是 ASAP 能有效減少動力學不匹配問題，讓機器人做出高度敏捷的動作，同
: 時顯著降低運動跟蹤誤差。最後，研究者開發並開源了一個多模擬器訓練與評估代碼庫，
: 以促進不同模擬器之間的平滑遷移，並加快後續研究。
: 心得/評論：老黃在中國跳APT，而輝達與CMU開發的軟體讓機器人動作更靈活
: 看完上面網址的影片，真的超驚嘆，機器人的動作會進步到什麼地步??
: 動作逼真到很扯，未來機器人陪你運動XD
: ※必需填寫滿30正體中文字，無意義者板規處分
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 76.21.72.78 (美國)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Stock/M.1738775980.A.897.html
※ 編輯: LDPC (76.21.72.78 美國), 02/06/2025 01:20:26
1F：→ saisai34 : 我有一個大膽的想法 @v@a 02/06 01:23
2F：推 pansquarl : 樓上不要說丟AV女優動作讓AI學 >w< 02/06 01:26
3F：推 lpmybig : 機器人拉拉隊快可以搞出來了 02/06 01:26
4F：→ s90002442 : 底特律變人要成真啦 02/06 01:27
5F：→ ASKA : 男下AI上嗎？ 02/06 01:27
6F：推 v21638245 : 這是動作版的初音嗎 02/06 01:32
7F：→ aloness : 其實這沒有很難耶 0.0 人體動作捕捉已經很成熟，是 02/06 01:33
8F：→ aloness : 難在機器人本身的硬體加工 02/06 01:33
9F：→ aloness : bio的里昂，克里斯，吉兒的動作建模，算是很流暢了 02/06 01:37
10F：推 Murasaki0110: BD放到現在像個玩具 02/06 01:43
11F：推 dayuer : 硬體靠AI自我迭代就能完成精密組設計和組裝了，以 02/06 01:44
12F：→ dayuer : 後機器人足球賽可以每球都倒掛金鉤踢球精準踢往球 02/06 01:44
13F：→ dayuer : 門方向。但守門機器人一樣能精準接球，演變成矛盾 02/06 01:44
14F：→ dayuer : 問題。 02/06 01:44
15F：→ dayuer : #精密組件 02/06 01:44
16F：噓 qwe78971 : 所以說外行幻想就是如此簡單 目前只看出來關節活動 02/06 01:55
17F：→ qwe78971 : 機器人運動ok 而已 又不是互動 知道差異在哪嗎 02/06 01:55
18F：→ speedythief : 看的到44超音速魔球的日子不遠了 02/06 01:56
19F：→ TsmcEE : altas弱了 哭哭 02/06 01:57
20F：推 Galbygene : @n@ 是啥 02/06 01:58
※ 編輯: LDPC (76.21.72.78 美國), 02/06/2025 02:00:29
21F：→ saladim : SAO愛麗絲要出現喇~~ 02/06 02:06
22F：推 a0808996 : 請問SAO愛麗絲 有有生之年看得到嗎 02/06 02:08
23F：推 duriamon : 人型機器人重點在手指，罰你在重新看一邊這個老黃機 02/06 02:26
24F：→ duriamon : 器人，呵呵！ 02/06 02:26
25F：→ ksjr : 這個不是老馬之前就在搞嗎?被超車了? 02/06 02:36
26F：推 DarkChilles : 那台就是模仿高難度肢體動態平衡，在那邊刁手指笑死 02/06 02:52
27F：推 duriamon : 手部活動才是關鍵，只有動作波士頓動力以前就搞過了 02/06 02:54
28F：→ duriamon : 。 02/06 02:54
30F：推 wallowes : 人類審判日快來了，到時候只剩X%的人類有價值了 02/06 06:04
31F：推 nightop : 99老黃啊 02/06 07:57
32F：→ bnn : 姿態平衡用的是要動來動去的應用 02/06 08:11
33F：→ bnn : 手指是要精細操作的應用 兩個都能賣錢啦 02/06 08:11
34F：→ bnn : 人類有那麼多事情要給機器人去做 兩個路線都得研究 02/06 08:12
35F：→ bnn : 你用動物演化順序去想 姿態平衡但是手部微操普通的 02/06 08:13
36F：→ bnn : 還是手爪操作但是靜態不太動作的動物先演化出來 02/06 08:14
37F：推 Bf109G6 : 坐等懶叫被機器人嘎斷的受害者 02/06 08:14
38F：→ bnn : 至於互動 因為現在模仿大腦的研究進度超前機械太多 02/06 08:15
39F：→ bnn : 把語音和sensor弄好 思考能力大概到四歲小孩互動 02/06 08:16
40F：→ bnn : 你要說你跟ChatGPT能夠開始互動也確實可以宣稱了 02/06 08:17
41F：推 vvnews : a大那部卡通以前小時候很喜歡看耶 忘記叫什麼了 02/06 08:32
42F：推 sdbb : @vvnews 疾風戰士 02/06 08:45
43F：→ vvnews : 謝謝樓上 02/06 08:48
44F：推 guanting886 : 那個…還有幾集可以逃 02/06 09:26