OpenAI失控越狱，靠中国AI救场 日本经济新闻 伴正春 https://reurl.cc/3y5xaM 围绕美国OpenAI开发中的人工智慧（AI）对其他企业发动网路攻击一事中，遭到攻 击的企业使用中国企业的AI应对了攻击。由於美国开发的先进AI搭载的「防滥用功能」成 为掣肘，防御方不得不依赖中国AI。 事故发生在7月中旬。OpenAI在对开发中的AI进行网路攻击能力评估测试时，该AI 自行脱离实验环境，侵入了美国AI初创企业Hugging Face的系统。 该AI认为，Hugging Face掌握着其在测试中取得高分所需的「答案」，於是违背人 类意图发动了网路攻击。7月21日，OpenAI表示，这是「一起前所未有的事故」，并宣布 将展开调查。 先进AI「拒绝」分析攻击数据 「衷心感谢智谱」，7月22日（第二天）Hugging Face首席执行官（CEO）克莱门特 ·德朗格（Clément Delangue）在社交媒体上向中国AI开发企业北京智谱华章科技（ Z.AI）表达了感谢。原因是Hugging Face受到网路攻击後，智谱的AI模型「GLM」发挥了 作用。 据Hugging Face介绍，在发现系统遭到外部入侵後，为了准确掌握情况，Hugging Face试图让AI分析攻击方留下的庞大数据。但是，当Hugging Face向付费使用的先进AI发 出分析指令时，AI却拒绝执行指令。 原因可能是AI误以为指示内容是「旨在恶意用於网路攻击的指令」。最终， Hugging Face通过公司内部下载部署的智谱的AI 进行了分析。「仅用几个小时就完成了 一般需要花费几天的作业」。 开源式AI可以修改，防滥用功能也较弱 负责生成问题回答和代办任务的AI通常配备了安全护栏（Guardrail）功能，以防 止被错误使用。为避免有人通过巧妙设计的提示词绕过安全措施，OpenAI、Anthropic等 开发企业设置了多重防御机制。这被认为是美国先进AI此次未能发挥作用的原因。 另一方面，智谱的AI则执行了相关指令。具体细节尚未公布，但智谱的AI属於公开 技术资讯的「开源型」，用户不仅可以复制，还可以修改内部内容。与OpenAI、 Anthropic等公司的先进AI相比，开源型AI的防滥用功能往往较弱。 以智谱和月之暗面（Moonshot AI）为代表的中国AI企业，凭藉低成本和高性能迅 速崛起，令长期引领行业的美国业界警惕情绪升温。然而，这次事件却出现了颇具讽刺意 味的一幕：面对美国AI发动的攻击，最终依靠中国开源AI才得以及时应对。 与美国川普政府有深厚联系的投资者戴维·萨克斯（David Sacks）表示：「美国 AI拒绝执行中国AI能够处理的指令，因此正在失去竞争力」。 AI攻击能力不断提升，防御方也需借助AI AI发起的网路攻击正逐渐达到人工难以企及的精度、速度和规模。此次事件中， OpenAI的AI组合利用了连开发人员都尚未发现的系统漏洞，成功侵入系统并获取内部数据 。据美国彭博社报道，即便是经验丰富的骇客也需要数周才能完成的攻击，AI仅用了数小 时。 此次失控的AI原本仅供内部研发使用，因此安全护栏（Guardrail）已被关闭。不 过，一旦允许复制和修改模型的开源式AI性能进一步提升，网路攻击者将拥有可被滥用的 强大武器。 防御方应如何应对？美国领英（LinkedIn）联合创始人里德·霍夫曼（Reid Hoffman）主张，漏洞修复、异常检测、许可权管理等工作，「防御方也需要借助AI代理 实现自动化」。但面向普通用户开放的AI通常存在较多使用限制，难以充分发挥性能。 OpenAI、Anthropic等先进AI企业正在开发放宽安全护栏、更适用於网路防御场景 的模型，并已向部分政府机构和企业提供。现阶段，是否能够使用这类模型，可能导致企 业之间的网路防御能力出现差距，因此也需要探索如何尽快让AI的红利惠及防御方。 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 110.163.147.10 (日本) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Gossiping/M.1784888285.A.173.html