这阶段是机器人的pre-training阶段，类似大语言模型要去网路爬虫把人类所有语言都爬进 来做预训练，老黄这招就是要把所有的人类动作影片全部映射会机器人身上，不然根本没啥 机器人的动作可当数据集，到时影片上所有人类可做的动作都会被所有机器人学起来，单一 指令到单一动作就可以串起来了，大概是走路，开门，握手，挥手，到非常基本的独立单一 动作，但光这件事就很重要，机器人要在预训练阶段就知道所有动作要如何保持身体平衡， 要如何避免碰撞，要如何做触碰反馈调整，就像成人走路不会需要思考怎样走才不会摔倒， 要学到肌肉记忆等级的基本行为技能，重点不是仿照动作而已，而是这些模仿的机器人不会 摔倒，有达到动态自主平衡机制 最终如果要叫机器人自己打扫房间，还是要非常强的推理大脑才有办法自主做事，但嫁接推 理模型上去应该不是太难的事，只是端侧算力还要好几个量级上去才行。 但今年机器人的发展，可能就有波小高潮，因为工厂打工的机器工人可以只做单一指令高重 复动作，就能上产线了，比家户使用情境会简单超多，只要能动态学习视觉到行为的复刻， 那上产线是很快的事 ※ 引述 《LDPC (Channel Coding)》 之铭言： : 标题: Re: [新闻] 辉达CMU新研究！机器人跳APT舞惊艳全网 : 时间: Thu Feb 6 01:19:38 2025 : 　 : https://hao.cnyes.com/post/133793 : 　 : 这机器人就是一个里程碑 (参照#1dZhKNT2 motion retarget和虚拟世界训练) : (详细训练过程 参照上面连结Fig 2) : 之前机器人各路玩家的梦想就是 把人类影片所有动作去教他给机器人 : 概念就是 把影片直接扔进去 受益於poset estimation 可以把人类动作拆解成 : 骨架 接者用motion retarget 在虚拟世界去做校正 最後部署到现实世界 : 　 : 这个最重要点就是 以後机器人看个影片 就可以学会人类动作 搭配LLM Gen AI之後更能 : 创造动作 我们家的多拉a梦快要出来了 @@/ : 　 : 股点? @n@ 就是老黄RRRRRRR : 　 : 　 : ※ 引述《randy225 (资方打手)》之铭言： : : 原文标题：辉达CMU新研究！机器人跳APT舞惊艳全网 「人形机器人」奥运会2030年可 期 : : ※请勿删减原文标题 : : 原文连结：https://news.cnyes.com/news/id/5851739 : : https://hao.cnyes.com/post/133793 (机器人动作) : : ※网址超过一行过长请用缩网址工具 : : 发布时间：2025-02-05 17:30 : : ※请以原文网页/报纸之发布时间为准 : : 记者署名：钜亨网编译陈韦廷 综合报导 : : ※原文无记载者得留空 : : 原文内容： : : 机器人版的柯比布莱恩 (Kobe Bryant)、詹皇(LeBron James)、C 罗 Cristiano : : Ronaldo 真的来了，而这一切全拜卡内基美隆大学(CMU) 和辉达(NVDA-US) 所提出的一 个 : : real2sim2real 模型 Aligning Simulation and Real Physics(ASAP)，ASAP 能让人 形 : : 机器人掌握非常流畅且动感的全身控制动作，就连跳时下最红的 APT 也相当流畅。 : : 中国智能资讯社交平台《新智元》报导，市场可以期待在 2030 年看到人形机器人奥运 会 : : 盛宴，CMU 与辉达提出的 ASAP 专案包含预训练和後训练两大阶段。在第一个阶段中， 透 : : 过重定向的人体数据，在模拟环境中预训练运动追踪策略，第二阶段将这些策略部署到 现 : : 实世界，并收集真实数据来训练一个「残差」动作模型，用来弥补模型与真实世界物理 动 : : 态之间的差距。 : : 然後，ASAP 把这个 delta 动作模型整合到模拟器中，对预训练策略进行微调，让它和 现 : : 实世界的动力学更匹配。具体步骤分为四步，分别是运动跟踪预训练与真实轨迹收集、 差 : : 异动作模型训练、策略微调以及真实世界部署。 : : 研究人员在三个迁移场景中评估了 ASAP 的效果。从 IsaacGym 到 IsaacSim、从 : : IsaacGym 到 Genesis，以及从 IsaacGym 到真实世界，使用的机器人则是中国厂商宇 树 : : 的 G1 人形机器人。 : : 最後，研究者藉助 delta 动作模型对预训练的策略进行微调，使其能够更好地适应真 实 : : 世界的物理环境，从而实现更稳定、敏捷的运动控制。 : : sim2real 一直是实现空间与具身智慧的主要路径之一，被广泛应用在机器人模拟评估 当 : : 中，而 real2sim2real 直接打破了繁琐的动作微调的难题，弥合 sim2real 的差距， 让 : : 机器人能够模仿各种类人的动作。 : : 辉达资深研究科学家 Jim Fan 兴奋地表示，透过 RL 让人形机器人成功模仿 C 罗、詹 皇 : : 和科比！ : : 报导指出，CMU 跟辉达的研究有四大贡献。第一个是提出 ASAP 框架，运用强化学习和 真 : : 实世界的数据来训练 delta 动作模型，有效缩小了模拟与现实之间的差距。其次，成 功 : : 在真实环境部署全身控制策略，实现了不少以前人形机器人难以做到的动作。 : : 第三大贡献则是 ASAP 能有效减少动力学不匹配问题，让机器人做出高度敏捷的动作， 同 : : 时显着降低运动跟踪误差。最後，研究者开发并开源了一个多模拟器训练与评估代码库 ， : : 以促进不同模拟器之间的平滑迁移，并加快後续研究。 : : 心得/评论：老黄在中国跳APT，而辉达与CMU开发的软体让机器人动作更灵活 : : 看完上面网址的影片，真的超惊叹，机器人的动作会进步到什麽地步?? : : 动作逼真到很扯，未来机器人陪你运动XD : : ※必需填写满30正体中文字，无意义者板规处分 : 　 : -- :

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 76.21.72.78 (美国) : ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1738775980.A.897.html : ※ 编辑: LDPC (76.21.72.78 美国), 02/06/2025 01:20:26 : → saisai34 : 我有一个大胆的想法 @v@a 02/06 01:23 : 推 pansquarl : 楼上不要说丢AV女优动作让AI学 >w< 02/06 01:26 : 推 lpmybig : 机器人拉拉队快可以搞出来了 02/06 01:26 : → s90002442 : 底特律变人要成真啦 02/06 01:27 : → ASKA : 男下AI上吗？ 02/06 01:27 : 推 v21638245 : 这是动作版的初音吗 02/06 01:32 : → aloness : 其实这没有很难耶 0.0 人体动作捕捉已经很成熟，是 02/06 01:33 : → aloness : 难在机器人本身的硬体加工 02/06 01:33 : → aloness : bio的里昂，克里斯，吉儿的动作建模，算是很流畅了 02/06 01:37 : 推 Murasaki0110: BD放到现在像个玩具 02/06 01:43 : 推 dayuer : 硬体靠AI自我迭代就能完成精密组设计和组装了，以 02/06 01:44 : → dayuer : 後机器人足球赛可以每球都倒挂金钩踢球精准踢往球 02/06 01:44 : → dayuer : 门方向。但守门机器人一样能精准接球，演变成矛盾 02/06 01:44 : → dayuer : 问题。 02/06 01:44 : → dayuer : #精密组件 02/06 01:44 : 嘘 qwe78971 : 所以说外行幻想就是如此简单 目前只看出来关节活动 02/06 01:55 : → qwe78971 : 机器人运动ok 而已 又不是互动 知道差异在哪吗 02/06 01:55 : 蛙 内行出来了 迪士尼无法解决2d影片到 机器人尺寸不同retarget 说简单 真是棒棒的 : → speedythief : 看的到44超音速魔球的日子不远了 02/06 01:56 : ※ 编辑: LDPC (76.21.72.78 美国), 02/06/2025 01:57:54 : → TsmcEE : altas弱了 哭哭 02/06 01:57 : 推 Galbygene : @n@ 是啥 02/06 01:58 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 42.73.112.255 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1738779680.A.374.html