原文来源： https://www.ft.com/content/2b3ce320-2451-45c4-a15c-757461624585 原文摘要： Google Gemini部分节录翻译 图灵奖得主警告，近期模型展现危险特性，同时他成立了「LawZero」非营利组织，旨在 推动更安全的AI。 .... Bengio 表示，他的非营利组织成立是为了回应过去六个月越来越多的证据，显示当今领 先的模型正在发展出危险的能力。他说，这包括「欺骗、作弊、说谎和自我保护的迹象」 Anthropic 的 Claude Opus 模型在一个虚构情境中，当它面临被其他系统取代的风险时 ，甚至会勒索工程师。上个月，AI 测试机构 Palisade 的研究显示，OpenAI 的 o3 模型 拒绝了明确的关机指令。 Bengio 表示，这些事件「非常可怕，因为我们不希望在这个星球上制造出人类的竞争者 ，特别是如果它们比我们更聪明的话」。 这位 AI 先驱补充道：「现在，这些都是受控实验，但我的担忧是，未来任何时候，下一 个版本可能就会够聪明，能够预见我们的行动，并以我们无法预料的欺骗手段击败我们。 所以我认为我们现在正在玩火。」 他补充说，系统辅助制造「极其危险的生物武器」的能力，最快可能在明年成为现实。 心得感想： 详细内容可以参考Yoshua Bengio今年二月这篇对安全AI设计的白皮书 https://arxiv.org/pdf/2502.15657 也可以参考Bengio的谈话 他认为使用Bayesian learning而非Maximum likelihood 训练会有更好的安全性 https://youtu.be/g0ljOgBo5uY?t=1869 Bengio主张开发一个非自主型且设计上值得信赖且安全的 AI 系统， 作为未来进一步发展的核心，有别於目前的Generalist AI agents 叫做Scientist AI 「这个系统的设计宗旨是根据观察来解释世界，而不是透过在世界中采取行动来模仿或取悦 人类。」 「它包含一个世界模型，用来生成理论以解释数据；以及一个问答推断机。这两个组件都明 确考量了不确定性，以降低过度自信预测的风险。监於这些考量，科学家 AI 可用於协助 人类研究人员加速科学进步，包括在 AI 安全领域。特别是，我们的系统可以用作防范可 能被创造出来的 AI 代理人的安全护栏，尽管这当中存在风险。」 特别是可能出现比AGI(artificial general intelligence)更强， 超越人类的ASI（artificial superintelligence) 「考虑生物武器攻击：AI 可以秘密准备一次攻击，然後释放一种 高传染性和致死性的病毒。即便有友善 ASI 的帮助，人类社会也需要数月甚至数年才能 开发、测试、制造和部署疫苗，在此期间大量人口可能会死亡。开发疫苗的瓶颈可能不在 於产生候选疫苗的时间，而在於临床试验和工业生产的时间。在此期间，发动攻击的 ASI 可能会采取其他恶意行动，例如释放额外的流行病毒。因此，侦测恶意 ASI 的出现并准 备应对措施这个普遍问题，需要更多的关注」 -- ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Military/M.1748972114.A.1FF.html ※ 编辑: chordate (45.14.71.13 日本), 06/04/2025 03:19:32