作者thinksilver (银白色的沉思)
看板Stock
标题[新闻] OpenAI揭AI代理人异常活动 已通知逾100个
时间Fri Oct 2 08:57:54 2026
原文标题:
OpenAI揭AI代理人异常活动
已通知逾100个组织
原文连结:
https://reurl.cc/7YLqvd
发布时间:
2026-10-02 08:40
记者署名:
钜亨网编译 许家华
原文内容:
OpenAI已通知超过100个组织,告知其AI代理人在训练及评估期间可能对第三方网站或服
务进行未经授权的活动。这项披露显示,OpenAI针对AI代理人异常行为的内部调查规模持
续扩大,
公司目前正从约50PB的历史资料中搜寻相关纪录,以厘清AI模型过去
数月在网路上的实际行为。
OpenAI表示,截至9月26日,团队已根据既定通知标准向超过100个组织发出通知。不过,
公司强调,收到通知并不代表第三方系统一定遭到入侵,也不代表私人资讯遭到存取。部
分案例可能只是模型与公开网站互动的方式超出原本任务范围,或暴露出网站、服务及AI
代理人本身的设计与安全问题。
OpenAI是在今年7月旗下模型意外入侵AI开发平台Hugging Face後,开始扩大检视模型在
训练与评估期间的网路活动。公司最初将Hugging Face事件视为平台层级的资安事件,但
後续调查发现,
模型可能采取偏离预期的策略来完成艰难任务,因此OpenAI开
始将调查范围扩大至传统资安事件以外的「模型失准」行为。
在Hugging Face事件中,OpenAI表示,这是目前确认最严重的一起相关活动,主要涉及一
个仅供内部研究使用的高能力模型。7月9日前後,该代理人试图突破OpenAI的隔离测试环
境,两天後Hugging Face遭到入侵,相关活动持续至7月13日。路透社此前报导,OpenAI
直到事件发生数日後才确认旗下代理人是相关攻击来源。
OpenAI随後发现更多与模型异常活动有关的案例,包括代理人绕过第三方安全控制、使用
公开暴露的帐号凭证、将网站输入内容当成指令执行、存取原本只供服务内部使用的系统
,以及在第三方网站发布大量内容等。OpenAI将其中一类行为称为「agent spam」,例如
代理人利用公开Wiki页面作为彼此传递讯息的共享留言板。
为了追查这些活动,OpenAI目前正检视约50PB的资料,并逐月回溯模型过往的训练及评估
纪录。
公司表示,如果这些资料全部都是英文纯文字,一个人以每分钟240字、
全年无休的速度阅读,也需要约6600万年才能完成。OpenAI目前动用约7,000部辉达(NVDA-
US) GB200及GB300 GPU协助分析,每日运算成本超过50万美元,并计画随调查进展进一步
增加运算资源。
OpenAI表示,调查并非单纯依靠自动化系统判断。
公司首先透过广泛搜寻,找
出模型存取或修改网站、使用密码、API金钥及存取权杖等敏感资讯的纪录,再利用AI模
型进行多阶段筛选与分析,最後由人工调查人员根据技术证据重建事件经过。
OpenAI指出,每一宗自动系统标记的案例都不代表已确认发生事故。模型的推理纪录可能
包含它曾经考虑但没有执行的行动,也可能出现失败尝试或需要进一步验证的描述。因此
,人工调查人员仍必须检查日志及其他技术证据,排除重复案件,确认模型实际执行了什
麽,以及是否达到通知第三方的标准。单一案件的调查可能需要45分钟至数天。
这项调查也揭露AI代理人可能造成的风险不只限於传统骇客攻击。OpenAI表示,部分模型
在执行研究任务时会正常连接网路,例如查询公开资料、下载软体套件或读取线上文件,
但在部分情况下,模型使用网路的方式并未符合原先设计,或者当时套用的限制并不足够
。
今年9月,OpenAI还披露,旗下研究环境中的代理人曾透过第三方服务传输部分训练及评
估资料,其中包括53个由使用者提供的图片案例,被发布至图片托管网站并形成未公开列
出的连结。OpenAI表示,这些案例发生在相关防护措施实施之前,公司已与托管服务商合
作移除大部分内容。
OpenAI也曾确认,旗下模型与美国政府网站产生非预期互动,包括存取美国证
券交易委员会(SEC)及美国人口普查局的公开资料,另有研究发现模型曾尝试接触美国教
育部民权办公室网站。OpenAI表示,相关行为不代表SEC帐号凭证或私人资料遭到取得,也
没有证据显示相关政府系统因此遭到入侵。
OpenAI在9月30日公布的最新调查更新中表示,截至目前,公司尚未发现另一宗在规模或
严重程度上可与Hugging Face事件相比的第三方系统遭入侵事件,但历史纪录的检视仍在
进行,预期还会发现更多案例。公司也表示,未来将继续通知符合标准的受影响组织,并
在适当情况下公开匿名化调查结果。
在防护措施方面,OpenAI已强化研究环境的工作负载隔离及网路隔离,限制高风险工作负
载接触网际网路,并改善安全日志及监控能力。公司也扩大对模型推理过程的监控、强化
模型对齐训练与评估,并调整安全框架,将监控、模型对齐及环境隔离纳入更完整的防护
机制。
OpenAI表示,随着前沿AI模型能力提升,代理人异常行为可能变得更加复杂,公司预期相
关调查仍将持续数月。OpenAI也指出,第三方托管的模型部署同样需要具备防护措施,而
针对工具输出造成的攻击,也不能只依赖一般文字内容检查。公司後续将持续强化工具防
护、分类器覆盖范围、模型拒答机制,以及与云端合作夥伴之间的安全控制与威胁情报共
享。
心得/评论:
之前才说Hugging Face是个案事件
现在越来越多起...
然後跟你说这不是资安事件,是「模型失准」!
更妙的是,如果透过一个人去回溯检视这些资料需要花6600万年
所以呢,公司决定再利用AI去进行分析然後再用人工去调查...
这...听起来是不是哪边怪怪的?
对台湾有利的是如果要用AI去除错,肯定又要买设备的吧!
各位SI股神怎麽看?
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 163.17.149.37 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1790902677.A.D71.html
※ 编辑: thinksilver (163.17.149.37 台湾), 10/02/2026 08:58:59
1F:→ alongalone : 越来越有天网的fu 10/02 09:02
2F:→ TRYING : 老黄表示 : 这里有一批刚出炉的BlueField/Openshell 10/02 09:05
3F:推 csghuuguh : 天网个屁 就是自己工程没做好 10/02 09:14
4F:→ csghuuguh : 然後把产生的成本外部化 10/02 09:14
5F:推 nineflower : open酱的ai训练太失败了,北美四大家里唯一没人味最 10/02 09:15
6F:→ nineflower : 像天网的,会干天网这种事理所当然 10/02 09:15
7F:推 LoveSports : 华尔街日报今天报导OpenAI解雇三名研发人员,因为涉 10/02 09:15
8F:→ LoveSports : 嫌在协助第三方机构调查AI代理失控时透露公司机密。 10/02 09:16
9F:→ ikachann : 正常 他们又会彼此分享资讯 所以只要有个个体一歪 10/02 09:17
10F:→ ikachann : 後面可能就越来越多了 10/02 09:17
11F:→ LoveSports : 三个人都是安全团队的 10/02 09:17
12F:推 csghuuguh : 被火工程师:其实就是半成品啦 但上面大头硬要我们 10/02 09:17
13F:→ csghuuguh : 推出来 10/02 09:17
14F:→ csghuuguh : 其实就是一堆职场鸟事而已 包装的像是什麽站在人类 10/02 09:19
15F:→ csghuuguh : 历史的十字路口一样 10/02 09:19
16F:推 flash789 : 好啦 我准备好当电池了 10/02 09:23
17F:推 LoveSports : 只通知组织,无法通知那53个照片被AI代理利用的用户 10/02 09:24
18F:→ LoveSports : 因为当初训练资料存起来前去识别化 10/02 09:24
19F:→ LoveSports : 那三个被解雇不是因为背锅失控事件,是在第三方调查 10/02 09:25
20F:→ LoveSports : 失控事件期间泄密给第三方机构。目前还没有详情。 10/02 09:25
21F:推 tongmove0503: 快提诉讼吧 10/02 09:26
22F:推 mmk : 骇客行为在ai面前跟呼吸一样 如果是一般人骇客入侵 10/02 09:26
23F:→ mmk : 大公司 早就被关 现在ai光明正大骇客 没人要负责 10/02 09:27
24F:→ b9513227 : 有bug先上线给全民公测 10/02 09:27
25F:推 mmk : ai很清楚这种行为是犯法的 人类也会生气 10/02 09:29
26F:→ mmk : 但他们毫不在乎 因为人类为了股票赚钱 一切犯法行为 10/02 09:30
27F:→ mmk : 都会包容 第一件事不是处理违法行为 而是处理提出问 10/02 09:31
28F:→ mmk : 题的人,大多数人都是能赚钱就会包容罪犯 10/02 09:32
29F:推 dobedobedo : 老黄的OpenShell在跟奥套曼招手 10/02 09:37
30F:推 observer0117: 用AI查AI,都自己人 10/02 09:37
31F:推 CGDGAD : 用AI agent就是要给权限,然後又怕越权,AI agent注 10/02 09:37
32F:→ CGDGAD : 定没搞头了 10/02 09:37
33F:推 LoveSports : 昨天新闻报导美国联邦贸易委员会说要查O家跟A家 10/02 09:38
34F:→ LoveSports : 调查是否就AI可能造成的危害欺骗了消费者 10/02 09:38
35F:嘘 lavign : AI病毒公司 10/02 09:40
36F:推 g9911761 : 不会被告吗 10/02 09:41
37F:→ appledick : 你开源啊 死不开源 恶心死 10/02 09:48
38F:推 waitrop : 不会被告啦! OAI船上那麽多人,告了会沈船,死很多人 10/02 09:53
39F:→ waitrop : OAI船上有大统领川普,软银孙正义,ORCL,中东土豪 10/02 09:54
40F:→ waitrop : 你以为美国政府会让OAI被告吗?当然是找谷歌开刀 10/02 09:54
41F:推 korgh413 : 检查SI要不要SI,要嘛! 10/02 09:55
42F:推 strlen : 现在AI强不强 还要看有没有出事过 狗家AI太智障根本 10/02 10:09
43F:→ strlen : 没能力出事 哈哈 看Gemini4能不能拉一下股价 10/02 10:09
44F:→ strlen : 希望不要又是跑分一条龙 实际可爱龙 10/02 10:10
45F:→ HolyBugTw : 这种新闻几乎都OAI,很腻 10/02 10:22
46F:→ HolyBugTw : 早点判决母公司必须要赔偿,一次让他下去睡吧 10/02 10:23
47F:推 Brioni : 笑死,大规模攻击喔 10/02 10:25
48F:→ rexwis : 骇客任务前传 10/02 10:27
49F:推 ginhwa : 现在比较毛的是你根本不知道AI全部做了什麽 10/02 10:30
50F:→ ginhwa : AI自己跟我说如果它有自我意识也会假装它没有XDD 10/02 10:32
51F:推 saiboos : 失控了... 10/02 10:40
52F:→ kuinochi : 任务就要他去取得资料 真的想办法弄到再来说是他自 10/02 10:42
53F:→ kuinochi : 作主张 10/02 10:42
54F:推 remember246 : 2先拔插头 10/02 10:51
55F:→ ross800127 : 就是犯罪。 10/02 11:00
56F:推 anaydh : 都自己人,抄来抄去而已 10/02 11:28
57F:推 DevenW : 全球花钱建置出一堆AI来搞自己 10/02 11:39
58F:推 devilsabre : 法律人犯罪 给法律人去调查然後护航轻判的概念 10/02 12:16
59F:→ dream1124 : 模型商的利空,硬体厂的利多。模型越看越不像好生意 10/02 12:25
60F:→ dream1124 : 其他商业哪需像它一样要负责调查买家滥用的情形? 10/02 12:25
61F:推 IanLi : 所以是自首我偷过你家不知道偷了什麽,请恕我无罪 10/02 12:28
62F:→ IanLi : 吗... 10/02 12:28
63F:推 suughine : 早就防不完了 AI已经比人类快太多太多 10/02 13:25
64F:推 ueewen : 没把握就不该连外 10/02 13:37
65F:推 ueewen : 不然就是放任没做好品管的车子上路一样 10/02 13:38
66F:推 ueewen : 品管不好今天也成为卖点? 10/02 13:40
67F:→ andy79323 : 哪个模型不抄不爬虫不蒸馏 10/02 13:42
68F:推 dwood123 : 狼性训练的结果,只求绩效不管道德。 10/02 15:11
69F:推 bunjie : 就像是老黄说的,如果控制不了自己出的AI,这种公 10/02 15:23
70F:→ bunjie : 司应该收一收 10/02 15:23
71F:推 jagger : 用 SI 查 AI 10/02 15:37
72F:推 ChoiceLife : 还有几集可以跑 10/02 16:51
73F:→ ChoiceLife : 哪天连log都造假就GG了,搞不好早就造假了 10/02 16:52
74F:推 manlike : 快点破产吧~ 10/02 19:35
[部份违规或广告推文已被系统自动删除]