在各位往下阅读内文时，我先贴上我的想法吧： 总算有 AI 程式能够自己去玩线上游戏了， 好希望能够看到真的有 AI 程式在台湾的任何一个 mud 里面自我成长， 例如像是很久以前就关站的塔西丝之怒和现在还存活的重生的世界。 以下为内文的本文，网址内有图片，直接去『 https://0rz.tw/zxt6B 』看， 可以看到内文里的图形和图片： ========== 『 https://www.facebook.com/groups/pttstartrek/posts/2246360038904936/ 』 https://www.techbang.com/posts/106696-nvidia-ai-agents-access-gpt-4-defeating-autogpt-and 缩网址：『 https://0rz.tw/zxt6B 』。 把GPT-4塞进 Minecraft，AI 智慧体 Voyager 自学探索新世界、挖掘建屋打猎样样行。 给游戏业来点 GPT-4 式震撼？这个叫 Voyager 的智慧体不仅可以根据游戏的反馈自主训 练，而且还能自行写程式码推动游戏任务。 继史丹佛大学开发的 25 人小镇游戏後，AI 智慧体又出爆款新作了。 最近，NVIDIA 首席科学家 Jim Fan 等人把 GPT-4 整进了「当个创世神」(Minecraft)， 提出了一个全新的 AI 智慧体 Voyager。 Voyager 的厉害之处在於，它不仅性能完胜 AutoGPT，而且还可以在游戏中进行全场景的 终身学习！ 比起之前的 SOTA (State of the Art) 模型，Voyager 获得的物品多出了 3.3 倍，旅行 距离变长了 2.3 倍，解锁关键技能树的速度快了 15.3 倍。 对此，网友直接震惊了：我们离通用人工智慧 AGI (Articifical General Intelligence)，又近了一步。 所以，未来的游戏，就是由大型语言模型带动 NPC 来玩的吧？ 真・数位生命 接入 GPT-4 之後，Voyager 根本不用人类操心，完全就是自学成才。 它不仅掌握了挖掘、建房屋、收集、打猎这些基本的生存技能，还学会了自个进行开放式 探索。 它会自己去到不同的城市，路过一片片海洋，一座座金字塔，甚至还会自己搭建传送门。 通过自我驱动，它不断探索着这个神奇的世界，扩充着自己的物品和装备，配备不同等级 的盔甲，用盾牌格挡上海，用栅栏圈养动物…… 论文地址：『 https://arxiv.org/abs/2305.16291 』 项目地址：『 https://voyager.minedojo.org/ 』 Voyager 的英勇事蹟包括但不限於： ………… 数位生命的潜能究竟有多大？我们只知道，现在 Voyager 仍然在 Minecraft 中一刻不停 地探索，不断扩展着自己的疆域。 「训练」无需梯度下降 此前，AI 领域的一大挑战就是，建构具有通用能力的具身智慧体 (Embodied Intelligence)，让它们在开放世界中自主探索，自行发展新技能。 以往，学界都是采用强化学习和模仿学习，但这些方法在系统化的探索、可解释性和泛化 性等方面，表现往往差强人意。 大型语言模型的出现，给建构具身智慧体带来了全新的可能性。因为基於 LLM 的智慧体 可以利用预训练模型中蕴含的世界知识，生成一致的行动计画或可执行策略，这就非常适 合应用於游戏和机器人之类的任务。 此前，史丹佛研究者建构出生活着 25 个 AI 智慧体的虚拟小镇，震惊了 AI 社区。 这种智慧体还有一个好处就是，不需要具体化的自然语言处理任务。 然而，这些智慧体仍然无法摆脱这样的缺陷 — 无法终身学习，因而不能在较长时间跨度 上逐步获取知识，并且将它们积累下来。 而这项工作最重要的意义就在於，GPT-4 开启了一种新的范式：这个过程中是靠程式码执 行「训练」，而非靠梯度下降。 Jim Fan 解释道：我们在 BabyAGI / AutoGPT 之前就有了这个想法，花了很多时间找出 最好的无梯度架构。 「训练模型」是 Voyager 迭代式建构的技能程式码库，而非浮点数矩阵。通过这种方法 ，团队正在将无梯度架构推向极限。 在这种情况下训练出的智慧体，已经具备了同人类一样的终身学习能力。 比如，Voyager 如果发现自己处在沙漠而非森林中，就会知道学会收集沙子和仙人掌，就 比学会收集铁矿更重要。 而且，它不仅能根据目前的技能水平和世界状态明确自己最合适的任务，还能根据反馈不 断完善技能，保存在记忆中，留在下次呼叫。 所以，我们离矽基生命出现还有多远？ 刚刚回到 OpenAI 的 Karpathy 对这个工作表示盛赞：这是个用於高级技能的「无梯度架 构」。在这里，LLM 就相当於是前额叶皮层，通过程式码生成了较低级的 mineflayer API。 Karpathy 回忆起，在 2016 年左右，智慧体在 Minecraft 环境中的表现还很让人绝望。 当时的 RL 只能从超稀疏的奖励中随机地探索执行长期任务的方式，让人感觉非常受挫。 而现在，这个障碍已经在很大程度上被解除了 —— 正确的做法是另辟蹊径，首先训练 LLM 从 Internet 文字上学习世界知识、推理和工具使用（尤其是编写程式码），然後 直接把问题抛给它们。 最後他感慨道：如果我在 2016 年就读到这种对智慧体的「无梯度」方法，我肯定会大吃 一惊。 微博大 V「宝玉 xp」也对这个工作给予了高度评价： 真的是了不起的尝试，整个程式码都是开放原始码的，这种自动生成任务-> 自动写程式 码执行任务-> 保存一个程式码库可以重用的思路，应该是可以很容易应用到其他领域。 Voyager 与其他 AI 研究中常用的游戏不同，Minecraft 并没有强加预定义的终点目标或固定的剧 情线，而是提供了一个具有无尽可能性的游乐场。 对於一个有效的终身学习智慧体来说，它应该具有与人类玩家类似的能力： 1. 根据其当前的技能水平和世界状态提出适当的任务，例如，如果它发现自己是在沙漠 而不是森林中，就会在学习收集铁之前学习收集沙子和仙人掌。 2. 基於环境反馈来完善技能，并将掌握的技能记入记忆，以便在类似情况下重复使用（ 例如，与殭屍战斗与与蜘蛛战斗类似）。 3. 持续探索世界，以自我驱动的方式寻找新的任务 为了让 Voyager 具有上述这些能力，来自 NVIDIA、加州理工学院、德克萨斯大学奥斯汀 分校和亚利桑那州立大学的团队提出了 3 个关键元件： 1. 一个迭代提示机制，能结合游戏反馈、执行错误和自我验证来改处理程序序 2. 一个技能程式码库，用来储存和检索复杂行为 3. 一个自动教学，可以最大化智慧体的探索 首先，Voyager 会尝试使用一个流行的 Minecraft JavaScript API（Mineflayer）来编 写一个实现特定目标的程式。 虽然程式在第一次尝试时就出错了，但是游戏环境反馈和 JavaScript 执行错误（如果有 的话）会帮助 GPT-4 改处理程序序。 左：环境反馈。GPT-4 意识到在制作木棒之前还需要 2 块木板。 右：执行错误。GPT-4 意识到它应该制作一把木斧，而不是一把「相思木」斧，因为 Minecraft 中并没有「相思木」斧。 通过提供智慧体当前的状态和任务，GPT-4 会告诉程式是否完成了任务。 此外，如果任务失败了，GPT-4 还会提出批评，建议如何完成任务。 自我验证 其次，Voyager 通过在向量资料库中储存成功的程式，逐步建立一个技能库。每个程式可 以通过其文件字串的嵌入来检索。 复杂的技能是通过组合简单的技能来合成的，这会使 Voyager 的能力随着时间的推移迅 速增长，并缓解灾难性遗忘。 上：新增技能。每个技能都由其描述的嵌入索引，可以在将来的类似情况中检索。 下：检索技能。当面对自动课程提出的新任务时，会进行查询并识别前 5 个相关技能。 第三，自动课程会根据智慧体当前的技能水平和世界状态，提出合适的探索任务。 例如，如果它发现自己在沙漠而非森林中，就学习采集沙子和仙人掌，而不是铁。 具体来说，课程是由 GPT-4 基於「发现尽可能多样化的东西」这个目标生成的。 实验 接下来，让我们看一些实验！ 团队将 Voyager 与其他基於 LLM 的智慧体技术进行了系统性的比较，比如 ReAct、 Reflexion，以及在 Minecraft 中广受欢迎的 AutoGPT。 在 160 次提示迭代中，Voyager 发现了 63 个独特的物品，比之前的 SOTA 多出 3.3 倍 。 寻求新奇的自动课程自然会驱使 Voyager 进行广泛的旅行。即使没有明确的指示， Voyager 也会遍历更长的距离（2.3 倍），访问更多的地形。 相比之下，之前的方法就显得非常「懒散」了，经常会在一小片区域里兜圈子。 地图探索率 那麽，经过终身学习後的「训练模型」— 技能库，表现如何呢？ 团队清空了物品 / 护甲，生成了一个新的世界，并用从未见过的任务对智慧体进行了测 试。 可以看到，Voyager 解决任务的速度明显比其他方法更快。 值得注意的是，从终身学习中建构的技能库不仅提高了 Voyager 的性能，也提升了 AutoGPT 的性能。 这表明，技能库作为一种通用工具，可以有效地作为一个即插即用的方法来提高性能。 零样本泛化 上图中的数字是三次试验中提示迭代的平均值。迭代次数越少，方法越有效。可以看到， Voyager 解决了所有的任务，而 AutoGPT 经过 50 次提示迭代都无法解决。 此外，与其他方法相比，Voyager 在解锁木工具上快了 15.3 倍，石工具快 8.5 倍，铁 工具快 6.4 倍。而且拥有技能库的 Voyager 是唯一解锁钻石工具的。 技能树掌握情况（木工具 → 石工具 → 铁工具 → 钻石工具） 目前，Voyager 只支援文字，但在未来可以通过视觉感知进行增强。 在团队进行的一个初步研究中，人类可以像一个图像标注模型一样，向智慧体提供反馈。 从而让 Voyager 能够建构复杂的 3D 结构，比如地狱门和房子。 结果表明，Voyager 的性能优於所有替代方案。此外，GPT-4 在程式码生成方面也明显优 於 GPT-3.5。 结论 Voyager 是第一个由 LLM 驱动、可以终身学习的具身智慧体。它可以利用 GPT-4 不停地 探索世界，开发越来越复杂的技能，并始终能在没有人工干预的情况下进行新的发现。 在发现新物品、解锁 Minecraft 技术树、穿越多样化地形，以及将其学习到的技能库应 用於新生成世界中的未知任务方面，Voyager 表现出了优越的性能。 对於通用智慧体的开发来说，无需调整模型参数的 Voyager 是可以作为一个起点的。 老中『ろうじゅう,ロウジュウ』。 -- 『 http://www.fodizi.tw/qt/qita/21754.html 』 杭州灵隐寺内，挂着这样一幅对联：『人生哪能多（都）如意，万事只求半称心。』 rouzyuu --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 101.136.145.102 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/mud/M.1686379439.A.13C.html ※ 编辑: roujuu (101.136.145.102 台湾), 06/10/2023 14:44:51 ※ 编辑: roujuu (101.136.145.102 台湾), 06/10/2023 14:48:26 ※ roujuu:转录至看板 StarTrek 06/10 16:47 而且是很聪明的外挂，如果大神们或是巫师们认为这个角色有问题，可能是机器人， 发讯息给这个角色时，电脑程式 AI 还会自动完美回答大神们或是巫师们所提出的问题， 躲过被大神们或是巫师们封锁帐号的可能性。^o^ 而且真的会比我们用 CMUD 或是 zMUD 所写出的 trigger 要聪明太多太多了。 ※ 编辑: roujuu (101.137.66.194 台湾), 06/12/2023 19:25:09