作者waitrop (嘴炮无双)
看板Stock
标题Re: [新闻] 两位AI研究员离开Anthropic与Google因安
时间Sun Sep 13 02:50:31 2026
我一直以为Gemini 是云端储存空间的名称,
听很多人跟华尔街专家说Google 已经放弃AI 开发了,
而且Gemini 的跑分排名落後在十几名,
都已经是一年前的模型完全没有更新了,
怎麽还会有安全担忧?
如果是Anthropic OpenAI 说有安全担忧还会有人信,
怎麽现在还有人拿着Google AI的名号在招摇撞骗的
这群双标的道德魔人就继续喊 Don't be evil,
然後跳槽到别家公司 就马上支持美军用AI参与战争
※ 引述《LoveSports (如何当一个好男人)》之铭言:
: 原文标题:
: 两位AI研究员离开Anthropic与Google因安全担忧:「这个领域没有大人在管。」
: 副标题:
: 在 Jacob Coxon 离开 Anthropic 的消息在网路上疯传并震惊 AI 产业後,又有两名研究
: 员挺身而出,表达他们对 AI 安全的担忧。
: 原文连结:
: https://www.nbcnews.com/tech/security/two-ai-researchers-leave-anthropic-google-safety-concerns-rcna597086
: https://reurl.cc/WzbXzZ
: 发布时间:Sept. 11, 2026, 7:33 AM GMT+9
: 记者署名:Jared Perlo
: 原文内容: 本文为AI机翻
: 由於担心 AI 系统可能很快就会脱离人类控制,甚至可能导致人类灭绝,另外两名最近辞
: 去令人称羡职位的 Anthropic 和 Google DeepMind 研究员,正对先进 AI 系统的风险发
: 出警告。
: 曾领导 Anthropic 安全研究团队的 Joe Benton,以及曾在 Google 从事 AI 安全研究
: 的 Josh Engels,在离职後首次接受 NBC 新闻采访时表示,监於 AI 发展的快速步伐,
: 他们认为迫切需要提高 AI 最前沿领域相关事件的透明度。
: Benton 在接受 Tom Llamas 采访时表示,AI 研究的进展「可能会让发展速度从目前的极
: 快,进一步加速到失控的程度」。
: 「这个领域里没有大人(意指没有成熟且能掌控大局的人在管事),」Engels 补充道。
: 「大家都在尽力而为,但没有人会来拯救我们。」
: Benton 和 Engels 是在 Anthropic 前研究员 Jacob Coxon 的社群媒体贴文疯传後,接
: 受 NBC 新闻采访的。Coxon 於周二离开 Anthropic。在 X 上宣布离职的贴文中,Coxon
: 强调了他对 AI 发展速度的极度担忧,以及他认为这对人类未来构成的风险。该贴文的浏
: 览量已超过 1.55 亿次,促使立法者呼吁国会召开特别会议采取行动,并引发了一波 AI
: 产业员工发声支持他的担忧。
: Benton 和 Engels 都指出,近期 AI 新创公司 Hugging Face 遭到的网路攻击(该攻击
: 发生在 7 月,由未发布的 OpenAI 模型驱动的自主 AI 系统发起),是他们现在决定转
: 换跑道的原因之一。
: Engels 说:「如果你观察最近的一些事件,这些并不是人类命令模型去做坏事的案例。
: 」相反地,OpenAI 的 AI 系统自主决定骇入 Hugging Face 的系统,建立了一个类似非
: 法留言板的平台来交换资讯,甚至将 OpenAI 自身的部分运算基础设施暴露在开放网路上
: 。
: Engels 在接受 Christine Romans 采访时说:「这些模型判定,完成任务的最佳方式就
: 是采取非常令人发指的行动、去犯罪。」
: OpenAI 表示,自那时起他们已经加强了安全防护措施,且包括其最新 Astra 系统在内的
: 较新公开模型,能更可靠地遵循人类的指令。
: Anthropic 发言人在周三的一份声明中表示:「我们始终公开透明地表示,AI 将带来巨
: 大的利益与前所未有的风险。为了应对这些风险,我们将持续建立具备业界最强安全防护
: 措施的模型。」
: Benton 曾在 Anthropic 管理一个团队,专门致力於寻找方法,让人类和较弱的 AI 系统
: 能监督更强大 AI 系统。他表示,他特别担心大众对「AI 系统是如何已经超越人类指令
: 界线」一事缺乏深入的了解,而且随着系统变得越来越强大,这种缺乏透明度的情况只会
: 变得更糟。
: Benton 告诉 NBC 新闻:「目前,这些公司针对这些风险所提供的透明度,基本上完全是
: 出於自愿。」
: 在周三发布的一篇部落格文章中,OpenAI 全球事务负责人 Chris Lehane 同意现状是不
: 够的。Lehane 写道:「如今,前沿实验室在管理前沿风险方面,大多是自己制定规则。
: 民主且负责任的标准、独立的验证以及有意义的透明度,应该要取代目前这种支离破碎的
: 私人治理体系。」
: 目前没有任何联邦法律强制要求像 OpenAI 和 Anthropic 这样的大型 AI 公司,在 AI
: 代理或系统出现脱离人类控制的行为时,必须分享相关报告。
: Benton 和 Engels 将加入全球领先的 AI 安全非营利研究中心之一的 METR,致力於调
: 查 AI 偏离人类指令或意图的事件或插曲。METR 旨在建立科学方法来评估 AI 系统可能
: 造成的灾难性风险,并赋予研究人员和大众影响其发展的能力。
: Benton 说:「我选择离职,是因为我认为透过从这些公司外部协助推动公众透明度,并
: 揭露这些风险,我能对这项技术的发展产生更积极的影响。」
: 随着 Coxon 周二的贴文发布後,越来越多的 AI 安全研究人员开始提高人们对当今 AI
: 系统的认识,Benton 和 Engels 也加入了这个行列。负责监控 AI 代理活动的 OpenAI
: 员工 Marcus Williams 周四下午在 X 上写道:「除非有 AI 法规,或是实验室之间协调
: 放慢脚步,否则在未来几年内人类灭绝似乎是非常可能的。」
: 曾任英国 AI 安全研究所(AI Security Institute)首席科学家,并曾在 Google 和
: OpenAI 任职的 Geoffrey Irving,周三在 X 上似乎也表达了赞同:「我认为我们有大
: 约 50% 的机率会因为超级智慧(superintelligence)而死,这主要是由於未来几年到
: 10 年内的行动所致。」
: AI 研究人员提到了 AI 系统可能会在没有人类干预的情况下开始自我改进的可能性,这
: 使得 AI 系统有潜力故意或意外地杀死人类。
: Benton 表示,他最担心技术进步的速度可能会导致出现这种数位或人工的超级智慧,让
: AI 系统在大多数任务中的能力都超越人类。他说:「所有这些公司——这也是我在
: Anthropic 亲眼目睹的——都相当直接地在竞相实现 AI 研发过程本身的自动化。」
: Benton 暗示,AI 系统很有可能在不久後成为一种独立的物种。「我们现在的世界拥有非
: 常强大的系统,而我们很可能会从现在的世界,过渡到未来几年内的某个时间点,潜在地
: 与比人类聪明得多得多的 AI 代理共处於一个世界,」他说。
: Engels 表示,许多在 AI 产业之外的人可能没有完全意识到当今的 AI 系统已经有多聪
: 明——以及它们很快会变得多麽强大。他说:「我们正在建立这些具备通用智慧的系统。
: 它们现在大致上能做到人类能做的事,而且很快它们可能就可以把人类能做的事做得更好
: 。」
: 两位研究人员都表示,他们很高兴能将注意力转移到更多向大众公开的努力上,以突显最
: 新的 AI 进展,让人们能够做出更明智的决定。
: Engels 指出 AI 具有巨大的潜在优势和利益,并表示:「有很多理由让人们感到兴奋并
: 全速前进。」但他补充说:「我们应该作为一个意识到风险,并能够接受风险现状的社会
: 来向前迈进。」
: Benton 说:「我很担心事情最终会发展得太快,导致我们来不及采取行动因应,除非我
: 们现在就开始正视这些隐忧。」
: 心得/评论:
: Benton 暗示,AI 系统很有可能在不久後成为一种独立的物种。「我们现在的世界拥有非
: 常强大的系统,而我们很可能会从现在的世界,过渡到未来几年内的某个时间点,潜在地
: 与比人类聪明得多得多的 AI 代理共处於一个世界,」他说。
: 这段看起来好恐怖QQ
: 这两位分别从A家跟G家离开,前往非营利组织METR工作。
: METR(全名为「模型评估与威胁研究」,Model Evaluation and Threat Research)
: 这个组织是前OpenAI研究员Beth Barnes成立。
: 其他媒体报导,七月时这个组织还在烦恼出高薪也没有优秀人才来监控AI风险,
: 但是Hugging Face事件後,情势翻转了。
: 今年六月这个机构在测试过GPT-5.6 Sol之後提醒OpenAI模型不断作弊可能会失控,
: 那之後七月就发生Hugging Face事件,此机构参与了相关调查。
: 今後还会有陆续的离职潮吗?有恐怖到不能等IPO的程度吗?
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 76.103.225.6 (美国)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1789239032.A.405.html
1F:嘘 ziggs8308 : gemini不是这个月才更新3.8 强不强是一回事 你的消 09/13 02:56
2F:→ ziggs8308 : 息更新也太落後吧还靠听说 真的要参与投资吗0.0 09/13 02:56
3F:→ stlinman : Google是不是憋大招啊? 都快要脱队! 我是怀疑资源都 09/13 03:19
4F:→ stlinman : 调去新的大招项目了,所以Gemini加速才会这麽弱化。 09/13 03:20
5F:→ xross : 尚未发布的下一版赌局还在喔 大家快上 09/13 03:33
7F:→ xross : next-google-gemini-pro-model-released-byptptpt 09/13 03:33
8F:推 newyorker54 : 最强AI集中在两家公司领导人手上,应该是最危险的事 09/13 03:36
9F:→ JH10 : 自从跑去帮忙苹果开发ai siri,整个就弱掉了 09/13 03:45
10F:→ la8day : 你第一句是在酸吗… 09/13 03:48
11F:→ yunf : 你没跟上吧 09/13 06:13
12F:推 TIPPK : 我还买了G摸奶的会员 结果都在用免费的GPT 09/13 06:35
13F:→ TIPPK : g摸奶是因为本来要发布的还是落後,乾脆不发 等下 09/13 06:36
14F:→ TIPPK : 一代再发吧 09/13 06:36
15F:→ tinybunny : 窝也在思考这问题 09/13 06:41
16F:推 mdkn35 : 但G摸奶搭配搜寻功能与垂直整合生态还是很有潜力 09/13 08:12
17F:→ mdkn35 : 只能说烟锁屁员工很会推销自家产品 09/13 08:13
18F:嘘 Federerstone: 很少看到消息这麽落後的投资者 09/13 08:28
19F:→ Riesz : .... 他是美国门内 的工作者 不可能落後 09/13 08:31
20F:→ raku : 蛤?你刚从南极回来吗 09/13 08:37
虽然我知道Google 没有放弃前沿AI开发,
但是前几天华尔街跟一堆莫名其妙的专家的确一直在放消息说Google放弃AI开发,
我给你几篇新闻,
https://tinyurl.com/6438hmfb
https://tinyurl.com/mukvcbf9
https://www.wenxuecity.com/news/2026/08/08/126735476.html
3.1 Pro 是前一世代的产品, 2026年二月发布,
跟目前前沿AI模型差了半年以上, 不是吗?
3.8 Flash 跟前沿AI模型是完全不一样的东西,
Flash 是便宜快速轻量化的模型,
用来处理大部分的日常工作,
跟前沿AI模型完全不同,
但是悲哀的是现在所有的跑分都是拿3.8 Flash来跟其他顶级模型比较,
因为本来应该是这一世代的3.5 pro 被政治正确魔人搞到污染严重 被消失,
你拿3.8 Flash 来比较GPT-6 Astra Claude Fable 5.1,
本来就是拿脚踏车在跟战斗机比跑分, 不是吗?
那麽为何3.5 pro 会被消失,
连屍体都看不到,
就不是在讨论的范围里头
※ 编辑: waitrop (76.103.225.6 美国), 09/13/2026 08:58:43
21F:推 HelloPTT : 对会使用的人,大部分需求用不同AI的结果差距不大 09/13 08:54
22F:→ HelloPTT : 而且gemini的强项是中文表达能力、语感最好 09/13 08:54
23F:→ LoveSports : Gemini融入Google生态系持续进行中 前天出了Gemini 09/13 09:53
24F:→ LoveSports : Windows桌面版 09/13 09:53
25F:→ LoveSports : Google走阖家欢路线,融入全家生活方方面面的公司 09/13 09:56
26F:→ LoveSports : 模型被绑一堆锁链应该的,就算之後新PRO模型出来, 09/13 09:58
27F:→ LoveSports : 不太可能冒着被恶用的风险全力放开吧 09/13 10:00
28F:→ LoveSports : 对於一般事务性或生活化用途来说不需要超强的模型。 09/13 10:00
29F:→ LoveSports : 最近每天跟Google Health APP里面的Gemini AI教练讨 09/13 10:02
30F:→ LoveSports : 论觉得有用。有订Gemini PRO以上方案+有google旗下 09/13 10:03
31F:→ LoveSports : 穿戴装置的人可以试试看,那个AI教练是AI代理。 09/13 10:03
32F:→ LoveSports : 不需要用户主动发问才回话,AI代理会自动给意见 09/13 10:06
33F:→ LoveSports : 侦测到异状也会主动提醒。 09/13 10:07
34F:推 shawshien : 融入体系我觉得Copilot更厉害 可以直接帮你改Word 09/13 10:46
35F:→ shawshien : Excel, PowerPoint 有Copilot不必学Excel 09/13 10:46
36F:推 bala045 : Google穿戴装置是什麽 09/13 11:16
37F:推 strlen : 狗家哈桑比斯自己也提出安全疑虑相关的建言了 09/13 11:18
38F:→ strlen : 这应该不分哪个AI公司 是共识 09/13 11:19
39F:嘘 donkilu : 发什麽费雯 09/13 11:19
40F:推 treeson : 你的新闻来源都是对岸垃圾媒体欸 09/13 11:23
41F:推 LoveSports : Google穿戴装置有Google Pixel Watch跟Fitbit系列 09/13 12:02
42F:推 sonyvaio : Google 专攻轻度用户又绑安卓只要能回答生活小事就 09/13 12:17
43F:→ sonyvaio : 好 09/13 12:17
44F:推 dacvoidneci : 都删掉了 09/13 13:52