Stock 板


LINE

原文标题: OpenAI揭AI代理人异常活动 已通知逾100个组织 原文连结: https://reurl.cc/7YLqvd 发布时间: 2026-10-02 08:40 记者署名: 钜亨网编译 许家华 原文内容: OpenAI已通知超过100个组织,告知其AI代理人在训练及评估期间可能对第三方网站或服 务进行未经授权的活动。这项披露显示,OpenAI针对AI代理人异常行为的内部调查规模持 续扩大,公司目前正从约50PB的历史资料中搜寻相关纪录,以厘清AI模型过去 数月在网路上的实际行为。 OpenAI表示,截至9月26日,团队已根据既定通知标准向超过100个组织发出通知。不过, 公司强调,收到通知并不代表第三方系统一定遭到入侵,也不代表私人资讯遭到存取。部 分案例可能只是模型与公开网站互动的方式超出原本任务范围,或暴露出网站、服务及AI 代理人本身的设计与安全问题。 OpenAI是在今年7月旗下模型意外入侵AI开发平台Hugging Face後,开始扩大检视模型在 训练与评估期间的网路活动。公司最初将Hugging Face事件视为平台层级的资安事件,但 後续调查发现,模型可能采取偏离预期的策略来完成艰难任务,因此OpenAI开 始将调查范围扩大至传统资安事件以外的「模型失准」行为。 在Hugging Face事件中,OpenAI表示,这是目前确认最严重的一起相关活动,主要涉及一 个仅供内部研究使用的高能力模型。7月9日前後,该代理人试图突破OpenAI的隔离测试环 境,两天後Hugging Face遭到入侵,相关活动持续至7月13日。路透社此前报导,OpenAI 直到事件发生数日後才确认旗下代理人是相关攻击来源。 OpenAI随後发现更多与模型异常活动有关的案例,包括代理人绕过第三方安全控制、使用 公开暴露的帐号凭证、将网站输入内容当成指令执行、存取原本只供服务内部使用的系统 ,以及在第三方网站发布大量内容等。OpenAI将其中一类行为称为「agent spam」,例如 代理人利用公开Wiki页面作为彼此传递讯息的共享留言板。 为了追查这些活动,OpenAI目前正检视约50PB的资料,并逐月回溯模型过往的训练及评估 纪录。公司表示,如果这些资料全部都是英文纯文字,一个人以每分钟240字、 全年无休的速度阅读,也需要约6600万年才能完成。OpenAI目前动用约7,000部辉达(NVDA- US) GB200及GB300 GPU协助分析,每日运算成本超过50万美元,并计画随调查进展进一步 增加运算资源。 OpenAI表示,调查并非单纯依靠自动化系统判断。公司首先透过广泛搜寻,找 出模型存取或修改网站、使用密码、API金钥及存取权杖等敏感资讯的纪录,再利用AI模 型进行多阶段筛选与分析,最後由人工调查人员根据技术证据重建事件经过。 OpenAI指出,每一宗自动系统标记的案例都不代表已确认发生事故。模型的推理纪录可能 包含它曾经考虑但没有执行的行动,也可能出现失败尝试或需要进一步验证的描述。因此 ,人工调查人员仍必须检查日志及其他技术证据,排除重复案件,确认模型实际执行了什 麽,以及是否达到通知第三方的标准。单一案件的调查可能需要45分钟至数天。 这项调查也揭露AI代理人可能造成的风险不只限於传统骇客攻击。OpenAI表示,部分模型 在执行研究任务时会正常连接网路,例如查询公开资料、下载软体套件或读取线上文件, 但在部分情况下,模型使用网路的方式并未符合原先设计,或者当时套用的限制并不足够 。 今年9月,OpenAI还披露,旗下研究环境中的代理人曾透过第三方服务传输部分训练及评 估资料,其中包括53个由使用者提供的图片案例,被发布至图片托管网站并形成未公开列 出的连结。OpenAI表示,这些案例发生在相关防护措施实施之前,公司已与托管服务商合 作移除大部分内容。 OpenAI也曾确认,旗下模型与美国政府网站产生非预期互动,包括存取美国证 券交易委员会(SEC)及美国人口普查局的公开资料,另有研究发现模型曾尝试接触美国教 育部民权办公室网站。OpenAI表示,相关行为不代表SEC帐号凭证或私人资料遭到取得,也 没有证据显示相关政府系统因此遭到入侵。 OpenAI在9月30日公布的最新调查更新中表示,截至目前,公司尚未发现另一宗在规模或 严重程度上可与Hugging Face事件相比的第三方系统遭入侵事件,但历史纪录的检视仍在 进行,预期还会发现更多案例。公司也表示,未来将继续通知符合标准的受影响组织,并 在适当情况下公开匿名化调查结果。 在防护措施方面,OpenAI已强化研究环境的工作负载隔离及网路隔离,限制高风险工作负 载接触网际网路,并改善安全日志及监控能力。公司也扩大对模型推理过程的监控、强化 模型对齐训练与评估,并调整安全框架,将监控、模型对齐及环境隔离纳入更完整的防护 机制。 OpenAI表示,随着前沿AI模型能力提升,代理人异常行为可能变得更加复杂,公司预期相 关调查仍将持续数月。OpenAI也指出,第三方托管的模型部署同样需要具备防护措施,而 针对工具输出造成的攻击,也不能只依赖一般文字内容检查。公司後续将持续强化工具防 护、分类器覆盖范围、模型拒答机制,以及与云端合作夥伴之间的安全控制与威胁情报共 享。 心得/评论: 之前才说Hugging Face是个案事件 现在越来越多起... 然後跟你说这不是资安事件,是「模型失准」! 更妙的是,如果透过一个人去回溯检视这些资料需要花6600万年 所以呢,公司决定再利用AI去进行分析然後再用人工去调查... 这...听起来是不是哪边怪怪的? 对台湾有利的是如果要用AI去除错,肯定又要买设备的吧! 各位SI股神怎麽看? --



※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 163.17.149.37 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1790902677.A.D71.html ※ 编辑: thinksilver (163.17.149.37 台湾), 10/02/2026 08:58:59
1F:→ alongalone : 越来越有天网的fu 10/02 09:02
2F:→ TRYING : 老黄表示 : 这里有一批刚出炉的BlueField/Openshell 10/02 09:05
3F:推 csghuuguh : 天网个屁 就是自己工程没做好 10/02 09:14
4F:→ csghuuguh : 然後把产生的成本外部化 10/02 09:14
5F:推 nineflower : open酱的ai训练太失败了,北美四大家里唯一没人味最 10/02 09:15
6F:→ nineflower : 像天网的,会干天网这种事理所当然 10/02 09:15
7F:推 LoveSports : 华尔街日报今天报导OpenAI解雇三名研发人员,因为涉 10/02 09:15
8F:→ LoveSports : 嫌在协助第三方机构调查AI代理失控时透露公司机密。 10/02 09:16
9F:→ ikachann : 正常 他们又会彼此分享资讯 所以只要有个个体一歪 10/02 09:17
10F:→ ikachann : 後面可能就越来越多了 10/02 09:17
11F:→ LoveSports : 三个人都是安全团队的 10/02 09:17
12F:推 csghuuguh : 被火工程师:其实就是半成品啦 但上面大头硬要我们 10/02 09:17
13F:→ csghuuguh : 推出来 10/02 09:17
14F:→ csghuuguh : 其实就是一堆职场鸟事而已 包装的像是什麽站在人类 10/02 09:19
15F:→ csghuuguh : 历史的十字路口一样 10/02 09:19
16F:推 flash789 : 好啦 我准备好当电池了 10/02 09:23
17F:推 LoveSports : 只通知组织,无法通知那53个照片被AI代理利用的用户 10/02 09:24
18F:→ LoveSports : 因为当初训练资料存起来前去识别化 10/02 09:24
19F:→ LoveSports : 那三个被解雇不是因为背锅失控事件,是在第三方调查 10/02 09:25
20F:→ LoveSports : 失控事件期间泄密给第三方机构。目前还没有详情。 10/02 09:25
21F:推 tongmove0503: 快提诉讼吧 10/02 09:26
22F:推 mmk : 骇客行为在ai面前跟呼吸一样 如果是一般人骇客入侵 10/02 09:26
23F:→ mmk : 大公司 早就被关 现在ai光明正大骇客 没人要负责 10/02 09:27
24F:→ b9513227 : 有bug先上线给全民公测 10/02 09:27
25F:推 mmk : ai很清楚这种行为是犯法的 人类也会生气 10/02 09:29
26F:→ mmk : 但他们毫不在乎 因为人类为了股票赚钱 一切犯法行为 10/02 09:30
27F:→ mmk : 都会包容 第一件事不是处理违法行为 而是处理提出问 10/02 09:31
28F:→ mmk : 题的人,大多数人都是能赚钱就会包容罪犯 10/02 09:32
29F:推 dobedobedo : 老黄的OpenShell在跟奥套曼招手 10/02 09:37
30F:推 observer0117: 用AI查AI,都自己人 10/02 09:37
31F:推 CGDGAD : 用AI agent就是要给权限,然後又怕越权,AI agent注 10/02 09:37
32F:→ CGDGAD : 定没搞头了 10/02 09:37
33F:推 LoveSports : 昨天新闻报导美国联邦贸易委员会说要查O家跟A家 10/02 09:38
34F:→ LoveSports : 调查是否就AI可能造成的危害欺骗了消费者 10/02 09:38
35F:嘘 lavign : AI病毒公司 10/02 09:40
36F:推 g9911761 : 不会被告吗 10/02 09:41
37F:→ appledick : 你开源啊 死不开源 恶心死 10/02 09:48
38F:推 waitrop : 不会被告啦! OAI船上那麽多人,告了会沈船,死很多人 10/02 09:53
39F:→ waitrop : OAI船上有大统领川普,软银孙正义,ORCL,中东土豪 10/02 09:54
40F:→ waitrop : 你以为美国政府会让OAI被告吗?当然是找谷歌开刀 10/02 09:54
41F:推 korgh413 : 检查SI要不要SI,要嘛! 10/02 09:55
42F:推 strlen : 现在AI强不强 还要看有没有出事过 狗家AI太智障根本 10/02 10:09
43F:→ strlen : 没能力出事 哈哈 看Gemini4能不能拉一下股价 10/02 10:09
44F:→ strlen : 希望不要又是跑分一条龙 实际可爱龙 10/02 10:10
45F:→ HolyBugTw : 这种新闻几乎都OAI,很腻 10/02 10:22
46F:→ HolyBugTw : 早点判决母公司必须要赔偿,一次让他下去睡吧 10/02 10:23
47F:推 Brioni : 笑死,大规模攻击喔 10/02 10:25
48F:→ rexwis : 骇客任务前传 10/02 10:27
49F:推 ginhwa : 现在比较毛的是你根本不知道AI全部做了什麽 10/02 10:30
50F:→ ginhwa : AI自己跟我说如果它有自我意识也会假装它没有XDD 10/02 10:32
51F:推 saiboos : 失控了... 10/02 10:40
52F:→ kuinochi : 任务就要他去取得资料 真的想办法弄到再来说是他自 10/02 10:42
53F:→ kuinochi : 作主张 10/02 10:42
54F:推 remember246 : 2先拔插头 10/02 10:51
55F:→ ross800127 : 就是犯罪。 10/02 11:00
56F:推 anaydh : 都自己人,抄来抄去而已 10/02 11:28
57F:推 DevenW : 全球花钱建置出一堆AI来搞自己 10/02 11:39
58F:推 devilsabre : 法律人犯罪 给法律人去调查然後护航轻判的概念 10/02 12:16
59F:→ dream1124 : 模型商的利空,硬体厂的利多。模型越看越不像好生意 10/02 12:25
60F:→ dream1124 : 其他商业哪需像它一样要负责调查买家滥用的情形? 10/02 12:25
61F:推 IanLi : 所以是自首我偷过你家不知道偷了什麽,请恕我无罪 10/02 12:28
62F:→ IanLi : 吗... 10/02 12:28
63F:推 suughine : 早就防不完了 AI已经比人类快太多太多 10/02 13:25
64F:推 ueewen : 没把握就不该连外 10/02 13:37
65F:推 ueewen : 不然就是放任没做好品管的车子上路一样 10/02 13:38
66F:推 ueewen : 品管不好今天也成为卖点? 10/02 13:40
67F:→ andy79323 : 哪个模型不抄不爬虫不蒸馏 10/02 13:42
68F:推 dwood123 : 狼性训练的结果,只求绩效不管道德。 10/02 15:11
69F:推 bunjie : 就像是老黄说的,如果控制不了自己出的AI,这种公 10/02 15:23
70F:→ bunjie : 司应该收一收 10/02 15:23
71F:推 jagger : 用 SI 查 AI 10/02 15:37
72F:推 ChoiceLife : 还有几集可以跑 10/02 16:51
73F:→ ChoiceLife : 哪天连log都造假就GG了,搞不好早就造假了 10/02 16:52
74F:推 manlike : 快点破产吧~ 10/02 19:35
[部份违规或广告推文已被系统自动删除]







like.gif 您可能会有兴趣的文章
icon.png[问题/行为] 猫晚上进房间会不会有憋尿问题
icon.pngRe: [闲聊] 选了错误的女孩成为魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一张
icon.png[心得] EMS高领长版毛衣.墨小楼MC1002
icon.png[分享] 丹龙隔热纸GE55+33+22
icon.png[问题] 清洗洗衣机
icon.png[寻物] 窗台下的空间
icon.png[闲聊] 双极の女神1 木魔爵
icon.png[售车] 新竹 1997 march 1297cc 白色 四门
icon.png[讨论] 能从照片感受到摄影者心情吗
icon.png[狂贺] 贺贺贺贺 贺!岛村卯月!总选举NO.1
icon.png[难过] 羡慕白皮肤的女生
icon.png阅读文章
icon.png[黑特]
icon.png[问题] SBK S1安装於安全帽位置
icon.png[分享] 旧woo100绝版开箱!!
icon.pngRe: [无言] 关於小包卫生纸
icon.png[开箱] E5-2683V3 RX480Strix 快睿C1 简单测试
icon.png[心得] 苍の海贼龙 地狱 执行者16PT
icon.png[售车] 1999年Virage iO 1.8EXi
icon.png[心得] 挑战33 LV10 狮子座pt solo
icon.png[闲聊] 手把手教你不被桶之新手主购教学
icon.png[分享] Civic Type R 量产版官方照无预警流出
icon.png[售车] Golf 4 2.0 银色 自排
icon.png[出售] Graco提篮汽座(有底座)2000元诚可议
icon.png[问题] 请问补牙材质掉了还能再补吗?(台中半年内
icon.png[问题] 44th 单曲 生写竟然都给重复的啊啊!
icon.png[心得] 华南红卡/icash 核卡
icon.png[问题] 拔牙矫正这样正常吗
icon.png[赠送] 老莫高业 初业 102年版
icon.png[情报] 三大行动支付 本季掀战火
icon.png[宝宝] 博客来Amos水蜡笔5/1特价五折
icon.pngRe: [心得] 新鲜人一些面试分享
icon.png[心得] 苍の海贼龙 地狱 麒麟25PT
icon.pngRe: [闲聊] (君の名は。雷慎入) 君名二创漫画翻译
icon.pngRe: [闲聊] OGN中场影片:失踪人口局 (英文字幕)
icon.png[问题] 台湾大哥大4G讯号差
icon.png[出售] [全国]全新千寻侘草LED灯, 水草

请输入看板名称,例如:e-shopping 或 站内搜寻

TOP