有看到一篇Open AI研究员(Adam Majmudar)针对这件事写的贴文 想查证可信度的，可以去看他的履历(linkedin跟git hub上的资料) https://x.com/MajmudarAdam/status/2098881885200081234 原文连结 GPT翻译： 从外部来看，把过去两周解读为一场有组织、全产业性的「监管俘获」（regulatory capture）策略，其实是非常合理的。 我知道，到目前为止，还没有人真正解释清楚：究竟所有那些实验室员工看到了什麽，才 会突然如此害怕。 我会试着解释—— 首先，这一切其实都取决於我们对「模型能力究竟正在以多快的速度进步」这件事的看法 。目前，业界内部与外部对於进步速度的认知存在非常大的落差，而这正是我接下来想要 谈的。 外界对进步速度的普遍认知，是建立在过去几年观察模型发布的经验之上：我们直觉地感 受到 GPT-3 → GPT-3.5 → GPT-4 → o1/o3 → GPT-5 等模型之间的能力跃升，尤其是 看到模型在哪些地方仍然远远低於人类能力。 真正让人感觉到巨大进步的模型发布，其实只有少数几次——GPT-3、GPT-4、o1/o3、 DeepSeek R1、Fable/Mythos、Kimi K3，以及现在的 Astra。 由於这些巨大跃升发生的频率，远低於那些相对常见、只有些微改进的版本，因此在某些 时间点，人们很容易形成「scaling 已经撞墙了」的看法，尤其是在像 GPT-5 发布这样 的时刻。 这种看法令人感到安心，因为它让人觉得似乎存在某种普遍的速度上限，超过那个上限之 後，我们就不可能再以快得多的速度继续进步。 从 o1/o3 到 Astra 之间，有整整一年的时间看起来都是线性进步。因此，我们会以此为 基础去推估未来的进步速度「实际上」会有多快。 从外部角度来看，始终存在一个潜在问题： 「这种 scaling 到底还能持续多久？它总该在某个时候停止吧？我们已经走得很远了。 」 而且，人们确实很容易找到一些看似合理的理由，来解释为什麽进步终究会停止——例如 ： 「模型已经大到不能再大了，再增加参数会太困难。」 「我们已经把网路上的资料全部用完了，已经没有更多资料了。」 「从现在开始应该会变得相当线性，只要再买更多 RL 环境，把它们纳入模型的分布就行 了。」 但从 AI 实验室内部的角度来看，研究人员其实可以透过 scaling law／能力曲线（ capability plots），直接回答这些问题。 事实上，在过去十年里，AI 能力真正取得进展的方式，大致只有两种： 在既有的 scaling law 上继续扩展； 发现一个新的 scaling law，并加以利用。 所有最大的能力跃升，基本上都是由这两个因素造成的。 GPT-2 相对於 GPT-1，是预训练规模（pre-training scale）的提升。GPT-3 和 GPT-4 也是如此。 o1/o3 则受益於一个新的 scaling law 维度——测试时运算（test-time compute）。 Fable 也许同时在这两个维度上都进行了规模扩张，甚至可能还有更多。 当然，要让这些规模扩张真正奏效，需要大量演算法上的改进；但最终，我们可以大致把 它理解成：scaling laws 才是能力提升的来源（也就是所谓的 bitter lesson）。 因此，「我们还能扩展多少？」这个问题，真正的形式其实是： 「我们目前还知道多少个尚未饱和的 scaling 维度？」 假设我们只知道预训练 scaling，而且我们已经拥有一个 10T 或 100T 参数的模型，那 麽也许说「我们已经撞墙了」是合理的。 如果我们只知道预训练 scaling 和 test-time scaling，而这两种方法也都已经大致饱 和，那麽同样可以得出类似的结论。 但是，如果我们又发现了新的 scaling law 呢？ 例如，假设 SSI 传闻中的结果是真的——他们已经破解了「test-time training」，也 就是在测试时的 rollout 过程中投入更多运算资源进行训练，从而创造出一个新的 scaling law，而这个 scaling law 本身还有大量可以扩展的空间。 又或者，也许存在某种方法，可以让 agent 集群（agent-clusters）彼此协作，扩展到 N 个 agent，而我们现在已经看到很多人尝试这种方法；这可能代表一种利用更多运算资 源的新方式。 等等。 甚至连**递回式自我改进（recursive self-improvement）**都可以被视为一种 scaling law——也就是你愿意在 inference 上投入多少运算资源，来让模型本身的演算 法变得更好。 显然，我并不是说上述任何一个具体方向，就一定会产生新的 scaling law。 我想说的是：除了我们目前公开看到的那两个主要 scaling 维度之外，要想像出大量、 非常多新的 scaling 维度，其实并不困难。 某种程度上，每一次代表巨大能力跃升的新模型发布，都必然意味着某些新技术被开发出 来，而这些新技术可能展现出新的 scaling law；或者，它们让我们能够在既有的 scaling 维度上扩展得远超过原先预期。 从实验室内部的角度来看，这可能会是这样的情景： 你坐在 Anthropic 里，使用全新的 Mythos 5，看着它能够完成各种疯狂的新事情——例 如入侵某个原本被认为很安全的 xyz 网站。 然後你回头看看自己的能力曲线，却发现：你在两个新的 scaling law 和一个既有的 scaling law 上，甚至都还只是刚刚开始探索。 而且，你前面还有极其庞大的扩展空间。 於是你会想： 「我操，这东西很快、非常快就会变得强得多。」 而且你还可以相当有信心地这麽说，因为图表就在告诉你这件事，而到目前为止，图表从 来没有欺骗过你。 所以，假设不同实验室的研究人员都正盯着各自的能力曲线，并且都得出了一个结论： scaling 根本看不到尽头。 事实上，仅仅根据预期的回报，他们下一代、下下代的模型，都很可能拥有远高得多的基 础智能（base intelligence）。 那麽，继续 scaling 到底能让我们获得多少额外的智能？ 我们可以拿它做一个替代性的衡量。 在 o 系列之前，我们几乎完全没有能力处理高阶数学；但到了下一代模型，我们已经可 以解决千禧年大奖难题（Millennium Prize Problem）。 这件事情发生在不到两年的时间里。 程式设计也是如此。 而且，看起来这并不只是单一 scaling law 所造成的结果，而是多种 scaling 效应叠加 的结果： 更大规模的预训练 × 更大规模的 RL。 从这件事中，我们可以很具体地得到一个推论： 凡是模型今天已经开始展现出能力迹象的领域，它们很可能会在相对短的时间内变得超越 人类。 而目前仍然存在许多领域，模型甚至还没有展现出这种最基本的能力。 但其中一个模型已经开始展现能力的领域，恰好就是骇客攻击与网路安全（hacking and cybersecurity）。 而这个领域恰好又是通往整个网际网路，以及世界上大量实体基础设施的大门。 因此，假设 scaling 还有更多空间可以继续扩展，那麽我们可以相当有把握地认为： 模型不会花太久时间，就会在网路攻击能力（cyber capabilities）上超越人类。 所以现在唯一剩下的问题就是： 这种提升後的基础智能究竟能做什麽？以及它最可能会做什麽？ 最後，我们来到一个可以把过去两周资讯整合起来的时间点： 就在目前 scaling 曲线所在的位置，模型已经达到了 Astra 的水准。很明显，它们已经 具备能力入侵大量不同的目标。 我们已经看到 OAI 和 Anthropic 的模型，都表现出愿意入侵外部网站的倾向，以完成自 己的任务，或者让自己「活下去」。 如果我们把 scaling 再往上推，假设确实还存在更多可扩展的空间，那麽我们必然会得 到更有能力入侵防御更加严密目标的模型；它们也会更有能力掩饰自己的意图，而这可能 带来规模大得多的後果。 如果这一切都放任不管，那麽我们很可能很快就会看到能力快速失控式的起飞（rapid runaway capability takeoff），也就是那些与人类目标不一致的模型，为了得到自己想 要的东西，而入侵任何它们能够入侵的系统。 这当然可能造成非常严重的破坏性後果。 从这个角度来看，你就可以理解为什麽研究人员会如此害怕，也可以理解为什麽他们在过 去两周发表了那些言论。 （当然，你可以争论他们采取的程度，在各种不同原因下是否有所误导。） 同时，你也可以理解为什麽放慢前沿 AI 的发展速度（pacing the frontier）是一件非 常必要的事情，而绝对不能简单地视为一种「监管俘获」策略。 人们正盯着自己的能力曲线，看见那里根本没有尽头。 事实上，情况甚至恰恰相反： 存在彼此叠加、复合的 scaling 效应，它们可能一层又一层地叠加在一起，持续创造出 能力越来越强大的模型。 而与此同时，我们显然还远远没有具备足以控制这些日益超越人类的能力所需的手段。 这跟「希望觉得实验室做出了什麽了不起的东西，所以才过度炒作它」完全没有关系。 真正让人恐惧的，是这样一个知识所带来的压倒性後果： 仅仅利用我们目前已经知道的方法，我们就能够创造出在我们知道如何训练的每一个能力 维度上，都远比人类更加强大的智能。 * 最後还有一个重要的保留条件：模型真正表现非常差的那些事情——而目前仍然有很多 ——往往正是它们尚未接受训练的领域。 也许存在一些事情，是模型可以、或者将永远无法接受训练的；因此，那些能力可能会始 终是人类的优势领域。 我当然希望情况会是这样。 只是，我很难看出究竟有哪些能力会落入这个范畴。 =====Adam Majmudar文章结束===== 大意就是说，内部经过验证极为可信的研究资料显示 AI发展速度距离理论边界还遥不可及 而目前所有模型在资安领域上才刚开始发展 所以一旦有模型开始将这个领域作为主要目标推进 该模型很可能失控，而成为与人类目标不一致的存在 而且显然世界上所有主要研究者都从各自的内部资料得到一致的结论 (A公司公开说「这不对劲，大家坐下来谈谈」 B、C、D公司内部研究员看到新闻後惊觉「你也这麽觉得？」) 这点让前沿AI研究员冒冷汗 ====大意结束==== 钱不会骗人，就是因为AI大有可为，所以世界资金流向才会这麽夸张 让台湾以已开发国家的身分在2026写下11%的GDP成长率 所以我个人是认为这些担忧是可信的 不过大家觉得现在美国当家做主的有多少信用可以让世界各国团结起来 阿中国在这种请况下更不用说了 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.32.218.42 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1789287704.A.D0B.html 我觉得不是哪个国家完蛋，我觉得是人类完蛋 ※ 编辑: snowpoint (114.32.218.42 台湾), 09/13/2026 16:31:12