目前与论是这篇测试方法有问题... @@ 旁边吃瓜中 https://hao.cnyes.com/post/176278 不过作者里面有Samy Bengio 是AI三巨头 Yoshua Bengio的弟弟 他们苹果在去年底之前也发过类似风格一篇 说LLM推里有问题 https://finance.sina.com.cn/roll/2024-10-12/doc-incshnvf0502180.shtml 貌似他们这几个作者喜欢找一堆会失败的场景..... 关键作者Iman Mirzadeh 已经发了好几篇反LLM 文章 这部分也是一堆人的吐嘲 认为其他大厂都在让AI变聪明 你们果家就喜欢测试别人模型 说这玩意哪里不好哪里烂 这样子果家的AI怎追上别人? 而测试方法又是各种千奇百怪 像这次测试方法最近还因为模型token限制翻车 -- 因为这样我有阵子想反向操作 买点果家股票 想知道会发生怎样情况@@ ※ 引述《huabandd (我是阿肥巴你头)》之铭言： : https://is.gd/U7lWC8 : 看到一个影片，非新闻报导，仅创作者想法 : 讨论苹果揭露关於人工智能当中的最大谎言 : 之前也看过一个影片指出 : AI无法产出指针在10:10以外的手表 : （网路手表图片通常指针停留在10:10） : 自己尝试过几次确实是这样 : 因为AI的训练是基於现有大量资料 : 去产生一个与大量资料相似的产物给你 : 无法产生未曾有过资料的产物 : （以上为个人猜测，若错误请指正） : 虽然现在已有研究尝试将AI接入人类神经元 : 未来思考的方式有可能因此改变 : 不再只是记忆，而是真正的推理 : （但是这好像也是一件满恐怖的事情？） : 如果说给AI一个围棋组，但不教他玩法 : 也不让他参考棋类玩法，让他自行摸索 : 就像婴儿拿到玩具後自己乱玩那样 : AI能够自行生成玩法是不是就算是成功？ : 中文翻译 : 苹果刚刚揭露了人工智慧中最大的谎言，即「思考」的假象，证明了像 Claude、Deepseek- : R1 和 OpenAI 的 o3-mini 等推理模型实际上并不会思考。苹果没有重复使用旧有的数学问 : 题，而是创造了这些模型从未见过全新谜题。结果令人震惊。 : 对於简单问题，标准 AI 模型表现优於昂贵的推理模型，同时消耗更少的资源。对於中等复 : 杂度问题，推理模型显示出一些优势，但对於模拟现实世界情境的高复杂度问题，两种类型 : 的模型都崩溃到 0% 的准确度。 : 这是确凿的证据：苹果给予 AI 模型逐步的演算法，就像给某人食谱一样，但它们仍在相同 : 的门槛下失败了。这证明它们无法遵循逻辑指令。该研究没有发现任何形式推理的证据，得 : 出结论认为其行为最好用复杂的模式匹配来解释。 : 简单地更改名称和问题会显着降低性能。苹果测试了河内塔（Tower of Hanoi）谜题，模型 : 在超过 100 步的移动中成功了，但在新颖的渡河谜题中仅仅 4 步後就失败了。它们是记忆 : 模式，而不是进行逻辑推理。 : 随着问题变得越来越难，「思考」模型使用的 token 越来越少，放弃得更快，而不是更深 : 入地思考。即使无限的计算资源也无济於事。这揭示了数十亿美元的 AI 投资是建立在错误 : 前提上的。 : 公司将复杂的模式匹配宣传为真正的推理，误导消费者对 AI 能力的认知。我们离通用人工 : 智慧（AGI）的距离并没有大家想像的那麽近；我们正在处理的是非常复杂的自动完成系统 : 。当先进的 AI 推理模型连遵循简单指令都失败时，我们是否正生活在一个建立在幻想之上 : 的 AI 炒作泡沫中？ : 英文原文 : Apple just exposed the biggest lie in AI with the illusion of "thinking," provin : g that reasoning models like Claude, Deepseek-R1, and OpenAI's o3-mini don't act : ually think. Instead of recycling math problems, Apple created brand new puzzles : these models had never seen. The results were shocking. : For simple problems, standard AI models outperformed expensive reasoning models : while using fewer resources. For medium complexity, reasoning models showed some : advantage, but for high complexity problems that mirror real-world scenarios, b : oth types collapsed to 0% accuracy. : Here's the damning evidence: Apple gave AI models step-by-step algorithms, like : giving someone a recipe, and they still failed at the same thresholds. This prov : es they can't follow logical instructions. The study found no evidence of formal : reasoning, concluding behavior is better explained by sophisticated pattern mat : ching. : Simply changing names and problems degraded performance dramatically. Apple test : ed Tower of Hanoi puzzles, where models succeeded with 100-plus moves but failed : at novel river crossing puzzles after just 4 moves. They memorized patterns rat : her than reasoned logically. : As problems got harder, "thinking" models used fewer tokens and gave up faster i : nstead of thinking deeper. Even unlimited computational resources couldn't help. : This exposes that billions in AI investment are based on false premises. : Companies market sophisticated pattern matching as genuine reasoning, misleading : consumers about AI capabilities. We are not as close to AGI as everyone thinks; : we're dealing with very sophisticated autocomplete systems. When advanced AI re : asoning models fail at following simple instructions, are we living in an AI hyp : e bubble built on illusions? --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 76.21.72.78 (美国) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1750008748.A.A5E.html ※ 编辑: LDPC (76.21.72.78 美国), 06/16/2025 01:39:39