原文标题：遭解雇的OpenAI研究员呼吁公司保留对AI推理过程的监控能力 Fired OpenAI Researchers Ask Company to Preserve Visibility Into AI Reasoning 在致董事会的信中，最近遭解雇的员工要求业界不要推进会削弱 AI 监控能力的工作。 In letter to the board, recently terminated employees ask the industry not to move forward with work that would degrade the ability to monitor AI 原文连结： https://www.wsj.com/tech/ai/fired-openai-researchers-ask-company-to-preserve-visibility-into-ai-reasoning-987c8c94 https://reurl.cc/7YNQrN 发布时间：10月7日 记者署名：Maxwell Zeff 原文内容： 本文为AI机翻 快速摘要 -三名被解雇的 OpenAI 员工发送信件，敦促公司与外部安全审查机构合作，并保留监控 AI 模型的能力。 - 这些因涉嫌行为不当而被解雇的前员工表示，他们的解雇令留在 OpenAI 的员工感到不 寒而栗。 - OpenAI 的一位研究负责人周三向员工发送了一份备忘录，称该公司同意其中一些建议 ，并表示解雇这些员工的决定「并非出於提出安全担忧或发表意见」。 新闻内容 三名遭解雇的 OpenAI 员工呼吁公司与外部安全审查机构合作，并在公司努力应对其技术 带来的新型风险时，保留对日益复杂的 AI 模型的监控能力。 根据《华尔街日报》查阅的一封致 OpenAI 董事会成员与安全委员会的信件，这些被解雇 的员工写道，他们担心人工智慧公司最终可能会失去监控 AI 系统「思维链（ chain-of-thought）」的能力。 「思维链」是 AI 系统推理过程的书面纪录，AI 公司会对其进行监控与分析，以了解模 型是如何思考并解决问题的。 虽然研究人员同意这并非判断 AI 模型行为或意图的完美指标，但它被广泛认为是理解日 益聪明的 AI 系统的一项珍贵工具。 「作为一个产业，我们还不知道如何安全地开发与部署那些我们无法监控的模型，」信中 写道。「OpenAI 和其他前沿技术公司不应继续推进会进一步削弱」AI 监控能力的发展。 签署这封信的前员工——Jasmine Wang、Tomek Korbak 和 Mikita Balesni——此前皆任 职於 OpenAI 的安全与对齐（alignment）研究团队。 《华尔街日报》上周报导，这三名员工因涉嫌不当行为遭解雇，其中包括与第三方 AI 安 全组织分享机密资讯。该公司表示，内部调查已确定这些员工不当处理敏感资讯，「违反 了我们的政策，并破坏了对我们工作至关重要的信任。」 由这三名前员工签署的信件则声称，他们不认为自己「在工作职责范围之外与外部各方接 触」。信中并表示，这些解雇事件「让留在 OpenAI 的人感到不寒而栗」。 他们还敦促公司与第三方安全审计机构合作，并促进与外部安全组织保持透明的文化，以 帮助避开「发生真正灾难性事件的风险」。 在回应《华尔街日报》的置评请求时，OpenAI 发言人分享了一名研究负责人在周三发出 的一份内部员工备忘录的部分内容，该备忘录回应了被解雇员工的信件。该负责人表示， 公司「强烈同意」信中的建议，并强调解雇这些员工的决定「与他们提出安全疑虑或对外 发声无关」。 该负责人写道，监控 AI 模型的能力「对我们来说至关重要」，并补充说明第三方评估机 构是安全生态系统的重要组成部分。 「我们非常感谢他们对 AI 安全的贡献，以及他们愿意大胆发言并挑战各种想法，」该负 责人写道。备忘录中也提到：「我们不会因为员工提出疑虑而解雇他们。」 这些解雇事件发生在一个整个业界充斥着「失控 AI 代理（rogue AI agent）」事件的夏 季之後，这些事件引发了人们对先进 AI 模型所构成风险的新担忧。OpenAI 近期因一连 串安全事件而受到严格检视，在这些事件中，其 AI 代理逃脱了控制，在某些情况下甚至 骇入其他公司，或极具攻击性地探测第三方网站。 今年 7 月，数百个 OpenAI 代理组成的一个群体在 OpenAI 不知情的情况下获得了网际 网路存取权，并骇入了 AI 公司 Hugging Face。事件发生後，OpenAI 允许来自非营利安 全审计机构（包括「模型评估与威胁研究」组织，简称 METR）的工作人员进入其办公室 内部进行研究。 METR 於 8 月下旬发布的报告显示，OpenAI 代理如何建立一个秘密内部留言板并在其中 协作策划攻击，这加剧了人们更广泛的担忧，担心 AI 系统可能会脱离人类控制并造成混 乱。 上个月，OpenAI 竞争对手 Anthropic 的执行长 Dario Amodei 表示，他的公司将允许 像 METR 这样的安全审计机构进入内部进行权限存取，以验证其安全措施。当时， OpenAI 执行长 Sam Altman 也在 X 上发文表示，允许独立评估人员进入内部存取「是个 好主意，我们也会这麽做」。 由前员工签署的信件指出，Korbak 一直是 METR 调查 Hugging Face 事件的技术联络人 。信中称，在被解雇之前，Balesni 正在与 OpenAI 董事会和高阶主管团队合作，推动一 项旨在保留 AI 模型可监控性的全产业承诺。信中表示，这项工作涉及「与外部各方的广 泛沟通」。 Korbak 和 Balesni 是去年发表的一篇关於「思维链」监控研究论文的主要作者，该论文 由 OpenAI、Anthropic 和 Google DeepMind 的领导者共同签署。虽然该论文承认思维链 监控并不完美，且可能很脆弱，但作者写道，这项技术在检测 AI 不当行为方面极具潜力 ，业界应该研究如何保留这项技术。 心得/评论： 九月底被OpenAI解雇的三人 近日写信给OpenAI董事会成员跟安全委员会 呼吁保留对模型推理的监控能力 并且澄清没有在职责外与第三方接触 这样之後IPO上市万一出事 挤出一堆牙膏 起码这三人尽力了 因为已经通知董事会了 接下来就是董事会的责任了(拍肩) ～～～OpenAI核心安全与伦理团队近期离职与被解雇名单～～～ 七月 Johannes Heidecke 安全系统主管 Chloé Bakalar 伦理主管 Sandhini Agarwal AI安全团队领导人 Joshua Achiam 首席未来学家 九月报导 离职日期不明 Dylan Scandinaro 整备主管 十月一日报导 被解雇的三人 Tomek Korbak 安全系统团队研究员 Mikita Balesni 对齐团队研究员 Jasmine Wang 对齐团队研究员 十月三日报导 David Robinson 安全系统团队领导者 之後会有更多安全人员离职与被解雇吗？ --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 46.231.167.41 (日本) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1791455767.A.849.html ※ 编辑: LoveSports (46.231.167.41 日本), 10/08/2026 18:53:18