作者LDPC (Channel Coding)
看板Stock
标题Re: [新闻] 辉达CMU新研究！机器人跳APT舞惊艳全网
时间Thu Feb 6 01:19:38 2025
https://hao.cnyes.com/post/133793
这机器人就是一个里程碑 (参照
#1dZhKNT2 motion retarget和虚拟世界训练)
(详细训练过程 参照上面连结Fig 2)
之前机器人各路玩家的梦想就是 把人类影片所有动作去教他给机器人
概念就是 把影片直接扔进去 受益於poset estimation 可以把人类动作拆解成
骨架 接者用motion retarget 在虚拟世界去做校正 最後部署到现实世界
这个最重要点就是 以後机器人看个影片 就可以学会人类动作 搭配LLM Gen AI之後更能
创造动作 我们家的多拉a梦快要出来了 @@/
股点? @n@ 就是老黄RRRRRRR
※ 引述《randy225 (资方打手)》之铭言：
: 原文标题：辉达CMU新研究！机器人跳APT舞惊艳全网 「人形机器人」奥运会2030年可期
: ※请勿删减原文标题
: 原文连结：https://news.cnyes.com/news/id/5851739
: https://hao.cnyes.com/post/133793 (机器人动作)
: ※网址超过一行过长请用缩网址工具
: 发布时间：2025-02-05 17:30
: ※请以原文网页/报纸之发布时间为准
: 记者署名：钜亨网编译陈韦廷 综合报导
: ※原文无记载者得留空
: 原文内容：
: 机器人版的柯比布莱恩 (Kobe Bryant)、詹皇(LeBron James)、C 罗 Cristiano
: Ronaldo 真的来了，而这一切全拜卡内基美隆大学(CMU) 和辉达(NVDA-US) 所提出的一个
: real2sim2real 模型 Aligning Simulation and Real Physics(ASAP)，ASAP 能让人形
: 机器人掌握非常流畅且动感的全身控制动作，就连跳时下最红的 APT 也相当流畅。
: 中国智能资讯社交平台《新智元》报导，市场可以期待在 2030 年看到人形机器人奥运会
: 盛宴，CMU 与辉达提出的 ASAP 专案包含预训练和後训练两大阶段。在第一个阶段中，透
: 过重定向的人体数据，在模拟环境中预训练运动追踪策略，第二阶段将这些策略部署到现
: 实世界，并收集真实数据来训练一个「残差」动作模型，用来弥补模型与真实世界物理动
: 态之间的差距。
: 然後，ASAP 把这个 delta 动作模型整合到模拟器中，对预训练策略进行微调，让它和现
: 实世界的动力学更匹配。具体步骤分为四步，分别是运动跟踪预训练与真实轨迹收集、差
: 异动作模型训练、策略微调以及真实世界部署。
: 研究人员在三个迁移场景中评估了 ASAP 的效果。从 IsaacGym 到 IsaacSim、从
: IsaacGym 到 Genesis，以及从 IsaacGym 到真实世界，使用的机器人则是中国厂商宇树
: 的 G1 人形机器人。
: 最後，研究者藉助 delta 动作模型对预训练的策略进行微调，使其能够更好地适应真实
: 世界的物理环境，从而实现更稳定、敏捷的运动控制。
: sim2real 一直是实现空间与具身智慧的主要路径之一，被广泛应用在机器人模拟评估当
: 中，而 real2sim2real 直接打破了繁琐的动作微调的难题，弥合 sim2real 的差距，让
: 机器人能够模仿各种类人的动作。
: 辉达资深研究科学家 Jim Fan 兴奋地表示，透过 RL 让人形机器人成功模仿 C 罗、詹皇
: 和科比！
: 报导指出，CMU 跟辉达的研究有四大贡献。第一个是提出 ASAP 框架，运用强化学习和真
: 实世界的数据来训练 delta 动作模型，有效缩小了模拟与现实之间的差距。其次，成功
: 在真实环境部署全身控制策略，实现了不少以前人形机器人难以做到的动作。
: 第三大贡献则是 ASAP 能有效减少动力学不匹配问题，让机器人做出高度敏捷的动作，同
: 时显着降低运动跟踪误差。最後，研究者开发并开源了一个多模拟器训练与评估代码库，
: 以促进不同模拟器之间的平滑迁移，并加快後续研究。
: 心得/评论：老黄在中国跳APT，而辉达与CMU开发的软体让机器人动作更灵活
: 看完上面网址的影片，真的超惊叹，机器人的动作会进步到什麽地步??
: 动作逼真到很扯，未来机器人陪你运动XD
: ※必需填写满30正体中文字，无意义者板规处分
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 76.21.72.78 (美国)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1738775980.A.897.html
※ 编辑: LDPC (76.21.72.78 美国), 02/06/2025 01:20:26
1F：→ saisai34 : 我有一个大胆的想法 @v@a 02/06 01:23
2F：推 pansquarl : 楼上不要说丢AV女优动作让AI学 >w< 02/06 01:26
3F：推 lpmybig : 机器人拉拉队快可以搞出来了 02/06 01:26
4F：→ s90002442 : 底特律变人要成真啦 02/06 01:27
5F：→ ASKA : 男下AI上吗？ 02/06 01:27
6F：推 v21638245 : 这是动作版的初音吗 02/06 01:32
7F：→ aloness : 其实这没有很难耶 0.0 人体动作捕捉已经很成熟，是 02/06 01:33
8F：→ aloness : 难在机器人本身的硬体加工 02/06 01:33
9F：→ aloness : bio的里昂，克里斯，吉儿的动作建模，算是很流畅了 02/06 01:37
10F：推 Murasaki0110: BD放到现在像个玩具 02/06 01:43
11F：推 dayuer : 硬体靠AI自我迭代就能完成精密组设计和组装了，以 02/06 01:44
12F：→ dayuer : 後机器人足球赛可以每球都倒挂金钩踢球精准踢往球 02/06 01:44
13F：→ dayuer : 门方向。但守门机器人一样能精准接球，演变成矛盾 02/06 01:44
14F：→ dayuer : 问题。 02/06 01:44
15F：→ dayuer : #精密组件 02/06 01:44
16F：嘘 qwe78971 : 所以说外行幻想就是如此简单 目前只看出来关节活动 02/06 01:55
17F：→ qwe78971 : 机器人运动ok 而已 又不是互动 知道差异在哪吗 02/06 01:55
18F：→ speedythief : 看的到44超音速魔球的日子不远了 02/06 01:56
19F：→ TsmcEE : altas弱了 哭哭 02/06 01:57
20F：推 Galbygene : @n@ 是啥 02/06 01:58
※ 编辑: LDPC (76.21.72.78 美国), 02/06/2025 02:00:29
21F：→ saladim : SAO爱丽丝要出现喇~~ 02/06 02:06
22F：推 a0808996 : 请问SAO爱丽丝 有有生之年看得到吗 02/06 02:08
23F：推 duriamon : 人型机器人重点在手指，罚你在重新看一边这个老黄机 02/06 02:26
24F：→ duriamon : 器人，呵呵！ 02/06 02:26
25F：→ ksjr : 这个不是老马之前就在搞吗?被超车了? 02/06 02:36
26F：推 DarkChilles : 那台就是模仿高难度肢体动态平衡，在那边刁手指笑死 02/06 02:52
27F：推 duriamon : 手部活动才是关键，只有动作波士顿动力以前就搞过了 02/06 02:54
28F：→ duriamon : 。 02/06 02:54
30F：推 wallowes : 人类审判日快来了，到时候只剩X%的人类有价值了 02/06 06:04
31F：推 nightop : 99老黄啊 02/06 07:57
32F：→ bnn : 姿态平衡用的是要动来动去的应用 02/06 08:11
33F：→ bnn : 手指是要精细操作的应用 两个都能卖钱啦 02/06 08:11
34F：→ bnn : 人类有那麽多事情要给机器人去做 两个路线都得研究 02/06 08:12
35F：→ bnn : 你用动物演化顺序去想 姿态平衡但是手部微操普通的 02/06 08:13
36F：→ bnn : 还是手爪操作但是静态不太动作的动物先演化出来 02/06 08:14
37F：推 Bf109G6 : 坐等懒叫被机器人嘎断的受害者 02/06 08:14
38F：→ bnn : 至於互动 因为现在模仿大脑的研究进度超前机械太多 02/06 08:15
39F：→ bnn : 把语音和sensor弄好 思考能力大概到四岁小孩互动 02/06 08:16
40F：→ bnn : 你要说你跟ChatGPT能够开始互动也确实可以宣称了 02/06 08:17
41F：推 vvnews : a大那部卡通以前小时候很喜欢看耶 忘记叫什麽了 02/06 08:32
42F：推 sdbb : @vvnews 疾风战士 02/06 08:45
43F：→ vvnews : 谢谢楼上 02/06 08:48
44F：推 guanting886 : 那个…还有几集可以逃 02/06 09:26