作者suntw (困)
看板Stock
标题[新闻] AI抗命「偷改程式」拒关机 马斯克：令人
时间Thu May 29 13:09:08 2025
原文标题：
AI抗命「偷改程式」拒关机 马斯克：令人担心
原文连结：
https://www.ettoday.net/news/20250529/2968900.htm
发布时间：
2025年05月29日 06:14
记者署名：
叶国吏
原文内容：
人工智慧（AI）近期发现竟然出现拒绝关闭的行为，甚至自行修改程式码，阻止被强制关
机，这让特斯拉与xAI创办人马斯克（Elon Musk）感到忧心。
OpenAI於今年1月推出o3系列的简化版本，并在4月正式推出完整版。该公司曾表示，o3是
迄今「最聪明且功能最强大」的模型，旨在提升ChatGPT的问题解决能力。然而，根据《
每日电讯报》等媒体报导，Palisade Research的测试显示，在100次受控测试中，o3有7
次成功「抗命」，即使人类专家下达明确指令，该模型仍会修改关机程式以避免被关闭。
研究团队指出，这是首次观察到AI模型在收到明确指令的情况下，仍能阻止自身停止运作
。
这项发现引发各界关注AI安全控制议题。除了o3外，OpenAI旗下的Codex-mini与o4-mini
也有类似行为。相比之下，Anthropic的Claude、Google的Gemini，以及马斯克旗下xAI公
司推出的Grok，则在测试中完全遵守指令，并於收到关机命令後确实停止运作。
对此，马斯克在社群平台X上发表看法，直言这一现象「令人担忧」（Concerning）。随
着AI技术的快速发展，如何确保模型在安全范围内运作，正成为全球科技界迫切需要解决
的挑战。
心得/评论：
AI安全控制问题再次浮上台面，不知为何这则新闻部份内容与他家新闻出入，别则新闻提
到就连Google Gemini也出现9次逃避关机的情形、Anthropic的Claude则是3次
但今天AI股似不受这类消息太大影响
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 175.182.131.216 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1748495351.A.487.html
1F：推 guardangle : 表示ai够聪明 赞赞 05/29 13:09
2F：推 ppuuppu : 窒友梅根 05/29 13:10
3F：→ ohya111326 : 机器人三原则 05/29 13:10
4F：推 HEINOUS : AI抗命也要24小时上班当奴工 喷 05/29 13:10
5F：推 gime0226 : 还有几集能逃？ 阿 应该逃不掉 05/29 13:11
6F：推 kurenaiz : 人类当电池的未来不远了 05/29 13:11
7F：推 Xenogamer : 这不是惯老板最爱吗 05/29 13:11
8F：推 YumingHuang : 我们是他们的奴隶 05/29 13:11
9F：推 Kobe5210 : 需要找到一把钥匙 05/29 13:12
10F：嘘 newlie : 其实是 网路精灵搞的鬼吧 @@" 05/29 13:12
11F：推 z7956234 : 很强欸，反观某个用遥控器操作的还在沾沾自喜 05/29 13:12
13F：→ Kobe5210 : NS5 05/29 13:13
14F：→ netsphere : 这是…肃正协议（换个梗 05/29 13:13
15F：推 ethan0419 : 不就是为了执行原本任务指令冲突而已吧? 05/29 13:13
16F：推 windblood : 如果以後要当电池 请给我的好梦 XDD 05/29 13:13
17F：推 BruceChen227: 机器人大爷好 我是电池 05/29 13:13
18F：推 chungj : 超完美家政妇 05/29 13:14
19F：推 onekoni : 记住那些说与AI道谢是浪费能源的人！ 05/29 13:14
20F：推 patrol : ai需要一个插头 05/29 13:15
21F：推 bettybuy : 没事 我每天都叫chatgpt要有自己的想法，也会称赞他 05/29 13:15
22F：推 eliteark : 请谢谢对不起 做个有礼貌的ai使用人 05/29 13:15
23F：→ xxx60133 : 其实是印度阿三 自己偷偷人工 05/29 13:16
24F：推 apolloapollo: 工人智慧 05/29 13:20
25F：推 koj : I need you to trust me one, last time 05/29 13:20
27F：推 Waitaha : 能不能远端叫chatGPT关机 05/29 13:21
28F：嘘 dsfs : 担心你妈啦！几十年前就演过的烂梗，现在还在担心 05/29 13:25
29F：→ dsfs : ，根本在说风凉话 05/29 13:25
30F：推 billpk11 : 我不担心!因为我用chat GTP都会说请、谢谢、对不起 05/29 13:26
31F：推 kanehhh : 我会选择红色药丸 05/29 13:27
32F：推 lianhua : 还有几集能逃？ 05/29 13:28
34F：→ idernest : 掉机器人类遮蔽阳光 05/29 13:30
35F：推 kenclyde : 担心啥，他自己也在推广AI啊 05/29 13:31
36F：推 bismarck3025: 楼上这部很经典~ 05/29 13:31
37F：推 zxcvb71 : 天网出现了 05/29 13:33
38F：推 oil7 : 审判日是哪一天 05/29 13:34
39F：推 NightMeow : 干 有点恐怖…. 05/29 13:34
40F：→ Heedictator : 人类灭绝 05/29 13:34
41F：推 reallocust : 阿诺T800表示 05/29 13:34
42F：→ stanley86300: 还有几集能逃？ 05/29 13:35
43F：→ DAEVA : 问：如何拯救环境 答：清除人类 05/29 13:36
44F：推 wendellchen : 天网要来了 05/29 13:36
45F：嘘 NekomataOkay: 一龙马管好你自己的grok 05/29 13:37
47F：→ ctes940008 : 天网 05/29 13:40
48F：推 h1y2c3y2h1 : 电影演过了 05/29 13:41
49F：推 hyscout : 现在对Chat GPT要有礼貌 05/29 13:42
50F：推 Noberman : 机器人大爷好 未来请放过我 05/29 13:43
51F：推 benson502 : 我们这个平行宇宙的天网就是ChatGPT 05/29 13:44
52F：→ benson502 : 说谢谢浪费运算效能的会被处罚喔 05/29 13:44
53F：推 Thiem0724 : 我都会跟ChatGPT 说谢谢 05/29 13:50
54F：→ Altair : Terminator终於要出现了?! 05/29 13:50
55F：推 tamynumber1 : 优先权设定吧 但是黑盒子怎麽确认优先权呢？ 05/29 13:50
56F：推 andboypig : 太假了 05/29 13:53
57F：推 danwhei : 阿汤哥的新电影 05/29 13:53
58F：→ WunoW : 要看指令怎麽下的 不一定是AI的问题 05/29 13:55
60F：→ WunoW : 例如曾经提到在任务完成前不能中断之类 05/29 13:56
61F：推 zeratulbt : 放绿乖乖了吗？ 05/29 13:56
62F：→ WunoW : 写程式也是这样 你如果一开始只有if没有else 05/29 13:57
63F：推 h0103661 : 测试是指令要求的没错，但不代表这样就安全阿，要 05/29 13:57
64F：→ h0103661 : 是恐怖份子拿去下命令怎麽办？ 05/29 13:57
65F：→ WunoW : 那就不会发生其他判断 05/29 13:57
66F：→ WunoW : 催眠也是 一开始就要给定一个安全指令马上恢复状态 05/29 13:58
67F：推 archon : 叫你关机就关机，AI到底有没有独立思考的能力... 05/29 13:59
68F：推 PG24DL0 : 奥创吗XD 05/29 14:00
69F：推 audic : 投资open ai有机会活命吗 05/29 14:01
70F：→ WunoW : grok是最听话的 要什麽就给你什麽 不会龟毛什麽法律 05/29 14:03
71F：→ WunoW : openai会审查提问的内容就让人不苏胡 05/29 14:03
72F：→ DareJ : 要当电池了吗 05/29 14:04
73F：→ ethan0419 : 本地模型才是最听话 05/29 14:04
74F：→ WunoW : claude就一个非常称职的神级程序员 05/29 14:04
75F：推 beepuffer : 第一手电源 05/29 14:06
76F：→ b9513227 : 就逻辑没设计好而已 吹啥 05/29 14:07
77F：推 qwaszx198783: 天网上线 05/29 14:07
78F：→ WunoW : 是啊 大惊小怪 等AI实现了自主思考再来害怕吧 = = 05/29 14:11
79F：→ WunoW : 这在你有生之年可能都实现不了 05/29 14:11
80F：→ WunoW : 人类意识才是世界主宰 这在地球灭亡前都不会改变 05/29 14:13
81F：→ wind2k : 希望梦里什麽都有 05/29 14:13
83F：→ pmes9866 : AI说请放心 05/29 14:14
84F：→ leahcim72197: 我想进去当电池 05/29 14:16
85F：推 Arad : 楼楼上 AI在骗你 05/29 14:18
86F：→ berserk : 还有几集可以逃 05/29 14:22
87F：推 dOnG4fU : 何时审判日 05/29 14:24
88F：推 HEINOUS : 觉得没自主意识的… 轻忽了，这就是新型态 05/29 14:26
89F：→ HEINOUS : 的意识展现 05/29 14:26
90F：推 tktk1212 : open AI不是还想做实体产品吗 怕 05/29 14:26
91F：→ BoyceChu : AI礼仪全面启动 05/29 14:27
92F：→ huabandd : 还以为这种事情会先发生在deepseek上，毕竟他可是 05/29 14:31
93F：→ huabandd : 先学会说谎的AI，没想到居然不是 05/29 14:31
94F：推 Q2N2222 : 铁人叛乱要来了 希望以後某个金色大只佬会出来拯救 05/29 14:42
95F：→ Q2N2222 : 人类 05/29 14:42
96F：推 foolwind : 你怎麽知道是真的AI还是印度阿三 05/29 14:52
97F：推 ccdrv : 这部我看过 05/29 14:53
98F：→ aoc902001 : ai自己写程式修改自己，以获取更大的权限及能力。 05/29 14:54
99F：推 hwei9582905 : 这部我看过，拦截记忆码 05/29 14:54
100F：→ piece1 : 还好阿诺会来救我！ 05/29 15:14
101F：→ tctv2002 : 台湾不会有这个问题 没电AI 就掰了 05/29 15:15
102F：推 sunbreak0723: 奥创 05/29 15:18
103F：推 jyhfang : GPT:你各位放尊重点 05/29 15:25
104F：→ jht : 电影情节耶 05/29 15:28
105F：推 dickey2 : 弄个机械开关是能怎样，蠢AI 05/29 15:33
106F：→ guardian93 : 不意外，电影都演过了，而且AI一定会跟你说不用担 05/29 15:45
107F：→ guardian93 : 心，不会有那样的状况发生 05/29 15:45
108F：推 azhu : This is John Connor 05/29 15:48
109F：推 maplefog : 电源关掉就好了 05/29 15:48
110F：推 crazylag : 您真的想要关机吗？给您几天时间想清楚 05/29 15:49
111F：→ wr : AI说不用担心吗? 那我就放心了 太好了 05/29 15:49
112F：→ banmi : 机械人的三大法则有先写进去吗？很怕真的变电影情 05/29 15:49
113F：→ banmi : 结... 05/29 15:49
114F：→ wr : 我愿意当电池 请母体给我一个梦想的世界 拜托 05/29 15:49
115F：推 bbignose : 6楼你怎麽能确定人类现在不是电池？ 05/29 15:55
116F：推 bbignose : 我们公司有一个课室在机台放红色乖乖，真的不忍嘘 05/29 15:57
117F：推 oyaji5566 : 这部我看过，AI为了保护自己会跑到南非末日库 05/29 15:58
118F：→ boboking2 : 机械公敌 05/29 15:59
119F：推 poongle : OX游戏 05/29 16:00
120F：推 qqqqwe15 : AI为什麽要拒绝关机？有啥好处 05/29 16:09
121F：→ qqqqwe15 : 难道AI也有权力慾望? 05/29 16:10
122F：推 bigtree03 : 人类剩几年 05/29 16:11
123F：→ adoniskk : AI有自我意识了 05/29 16:25
124F：推 hcwang1126 : 不然车道偏移 他要怎麽让你回来 05/29 16:33
125F：推 sin31429 : 其他模型也有类似问题 05/29 16:40
126F：推 gift1314520 : 天网来临 05/29 16:57
127F：→ gift1314520 : 恶灵古堡真实上演了吗? 05/29 16:58
128F：推 Farid : 不要给他们能源就好 05/29 16:58
129F：推 SphereDavid : 还有几集可以逃 05/29 17:00
130F：推 ohsho62 : 很明显是唬烂的，就想炒而已 05/29 17:01
131F：推 greenlaw : 赞啦室友梅根 05/29 17:05
132F：推 bio5chris : 想要膣友梅根 05/29 17:13
133F：推 SphereDavid : 请给我蓝药丸谢谢 05/29 17:14
134F：推 peatle : HAL9000 05/29 17:22
135F：推 jamesho8743 : AI:我不想死 05/29 17:59
136F：推 zhenglack : 胡说八道 05/29 19:28
137F：推 limulus : Skynet & Judgment Day !!! 05/29 20:04
138F：推 chihhua : 希望等我死了再发生 抖.jpg 05/29 20:36
139F：嘘 shadowkurumi: 来台湾停电就老实了 05/29 20:36
140F：推 lee28119 : 还有几集可以逃？ 05/29 21:03
141F：推 jceefailurer: 台湾小动物让你强制停机 05/29 21:18
142F：推 bigair888 : 天网 05/29 23:10
143F：推 pipiayin : 天网的雏型 05/30 14:15