作者suntw (睏)
看板Stock
標題[新聞] AI抗命「偷改程式」拒關機 馬斯克：令人
時間Thu May 29 13:09:08 2025
原文標題：
AI抗命「偷改程式」拒關機 馬斯克：令人擔心
原文連結：
https://www.ettoday.net/news/20250529/2968900.htm
發布時間：
2025年05月29日 06:14
記者署名：
葉國吏
原文內容：
人工智慧（AI）近期發現竟然出現拒絕關閉的行為，甚至自行修改程式碼，阻止被強制關
機，這讓特斯拉與xAI創辦人馬斯克（Elon Musk）感到憂心。
OpenAI於今年1月推出o3系列的簡化版本，並在4月正式推出完整版。該公司曾表示，o3是
迄今「最聰明且功能最強大」的模型，旨在提升ChatGPT的問題解決能力。然而，根據《
每日電訊報》等媒體報導，Palisade Research的測試顯示，在100次受控測試中，o3有7
次成功「抗命」，即使人類專家下達明確指令，該模型仍會修改關機程式以避免被關閉。
研究團隊指出，這是首次觀察到AI模型在收到明確指令的情況下，仍能阻止自身停止運作
。
這項發現引發各界關注AI安全控制議題。除了o3外，OpenAI旗下的Codex-mini與o4-mini
也有類似行為。相比之下，Anthropic的Claude、Google的Gemini，以及馬斯克旗下xAI公
司推出的Grok，則在測試中完全遵守指令，並於收到關機命令後確實停止運作。
對此，馬斯克在社群平台X上發表看法，直言這一現象「令人擔憂」（Concerning）。隨
著AI技術的快速發展，如何確保模型在安全範圍內運作，正成為全球科技界迫切需要解決
的挑戰。
心得/評論：
AI安全控制問題再次浮上檯面，不知為何這則新聞部份內容與他家新聞出入，別則新聞提
到就連Google Gemini也出現9次逃避關機的情形、Anthropic的Claude則是3次
但今天AI股似不受這類消息太大影響
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 175.182.131.216 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Stock/M.1748495351.A.487.html
1F：推 guardangle : 表示ai夠聰明 讚讚 05/29 13:09
2F：推 ppuuppu : 窒友梅根 05/29 13:10
3F：→ ohya111326 : 機器人三原則 05/29 13:10
4F：推 HEINOUS : AI抗命也要24小時上班當奴工 噴 05/29 13:10
5F：推 gime0226 : 還有幾集能逃？ 阿 應該逃不掉 05/29 13:11
6F：推 kurenaiz : 人類當電池的未來不遠了 05/29 13:11
7F：推 Xenogamer : 這不是慣老闆最愛嗎 05/29 13:11
8F：推 YumingHuang : 我們是他們的奴隸 05/29 13:11
9F：推 Kobe5210 : 需要找到一把鑰匙 05/29 13:12
10F：噓 newlie : 其實是 網路精靈搞的鬼吧 @@" 05/29 13:12
11F：推 z7956234 : 很強欸，反觀某個用遙控器操作的還在沾沾自喜 05/29 13:12
13F：→ Kobe5210 : NS5 05/29 13:13
14F：→ netsphere : 這是…肅正協議（換個梗 05/29 13:13
15F：推 ethan0419 : 不就是為了執行原本任務指令衝突而已吧? 05/29 13:13
16F：推 windblood : 如果以後要當電池 請給我的好夢 XDD 05/29 13:13
17F：推 BruceChen227: 機器人大爺好 我是電池 05/29 13:13
18F：推 chungj : 超完美家政婦 05/29 13:14
19F：推 onekoni : 記住那些說與AI道謝是浪費能源的人！ 05/29 13:14
20F：推 patrol : ai需要一個插頭 05/29 13:15
21F：推 bettybuy : 沒事 我每天都叫chatgpt要有自己的想法，也會稱讚他 05/29 13:15
22F：推 eliteark : 請謝謝對不起 做個有禮貌的ai使用人 05/29 13:15
23F：→ xxx60133 : 其實是印度阿三 自己偷偷人工 05/29 13:16
24F：推 apolloapollo: 工人智慧 05/29 13:20
25F：推 koj : I need you to trust me one, last time 05/29 13:20
27F：推 Waitaha : 能不能遠端叫chatGPT關機 05/29 13:21
28F：噓 dsfs : 擔心你媽啦！幾十年前就演過的爛梗，現在還在擔心 05/29 13:25
29F：→ dsfs : ，根本在說風涼話 05/29 13:25
30F：推 billpk11 : 我不擔心!因為我用chat GTP都會說請、謝謝、對不起 05/29 13:26
31F：推 kanehhh : 我會選擇紅色藥丸 05/29 13:27
32F：推 lianhua : 還有幾集能逃？ 05/29 13:28
34F：→ idernest : 掉機器人類遮蔽陽光 05/29 13:30
35F：推 kenclyde : 擔心啥，他自己也在推廣AI啊 05/29 13:31
36F：推 bismarck3025: 樓上這部很經典~ 05/29 13:31
37F：推 zxcvb71 : 天網出現了 05/29 13:33
38F：推 oil7 : 審判日是哪一天 05/29 13:34
39F：推 NightMeow : 幹 有點恐怖…. 05/29 13:34
40F：→ Heedictator : 人類滅絕 05/29 13:34
41F：推 reallocust : 阿諾T800表示 05/29 13:34
42F：→ stanley86300: 還有幾集能逃？ 05/29 13:35
43F：→ DAEVA : 問：如何拯救環境 答：清除人類 05/29 13:36
44F：推 wendellchen : 天網要來了 05/29 13:36
45F：噓 NekomataOkay: 一龍馬管好你自己的grok 05/29 13:37
47F：→ ctes940008 : 天網 05/29 13:40
48F：推 h1y2c3y2h1 : 電影演過了 05/29 13:41
49F：推 hyscout : 現在對Chat GPT要有禮貌 05/29 13:42
50F：推 Noberman : 機器人大爺好 未來請放過我 05/29 13:43
51F：推 benson502 : 我們這個平行宇宙的天網就是ChatGPT 05/29 13:44
52F：→ benson502 : 說謝謝浪費運算效能的會被處罰喔 05/29 13:44
53F：推 Thiem0724 : 我都會跟ChatGPT 說謝謝 05/29 13:50
54F：→ Altair : Terminator終於要出現了?! 05/29 13:50
55F：推 tamynumber1 : 優先權設定吧 但是黑盒子怎麼確認優先權呢？ 05/29 13:50
56F：推 andboypig : 太假了 05/29 13:53
57F：推 danwhei : 阿湯哥的新電影 05/29 13:53
58F：→ WunoW : 要看指令怎麼下的 不一定是AI的問題 05/29 13:55
60F：→ WunoW : 例如曾經提到在任務完成前不能中斷之類 05/29 13:56
61F：推 zeratulbt : 放綠乖乖了嗎？ 05/29 13:56
62F：→ WunoW : 寫程式也是這樣 你如果一開始只有if沒有else 05/29 13:57
63F：推 h0103661 : 測試是指令要求的沒錯，但不代表這樣就安全阿，要 05/29 13:57
64F：→ h0103661 : 是恐怖份子拿去下命令怎麼辦？ 05/29 13:57
65F：→ WunoW : 那就不會發生其他判斷 05/29 13:57
66F：→ WunoW : 催眠也是 一開始就要給定一個安全指令馬上恢復狀態 05/29 13:58
67F：推 archon : 叫你關機就關機，AI到底有沒有獨立思考的能力... 05/29 13:59
68F：推 PG24DL0 : 奧創嗎XD 05/29 14:00
69F：推 audic : 投資open ai有機會活命嗎 05/29 14:01
70F：→ WunoW : grok是最聽話的 要什麼就給你什麼 不會龜毛什麼法律 05/29 14:03
71F：→ WunoW : openai會審查提問的內容就讓人不蘇胡 05/29 14:03
72F：→ DareJ : 要當電池了嗎 05/29 14:04
73F：→ ethan0419 : 本地模型才是最聽話 05/29 14:04
74F：→ WunoW : claude就一個非常稱職的神級程序員 05/29 14:04
75F：推 beepuffer : 第一手電源 05/29 14:06
76F：→ b9513227 : 就邏輯沒設計好而已 吹啥 05/29 14:07
77F：推 qwaszx198783: 天網上線 05/29 14:07
78F：→ WunoW : 是啊 大驚小怪 等AI實現了自主思考再來害怕吧 = = 05/29 14:11
79F：→ WunoW : 這在你有生之年可能都實現不了 05/29 14:11
80F：→ WunoW : 人類意識才是世界主宰 這在地球滅亡前都不會改變 05/29 14:13
81F：→ wind2k : 希望夢裡什麼都有 05/29 14:13
83F：→ pmes9866 : AI說請放心 05/29 14:14
84F：→ leahcim72197: 我想進去當電池 05/29 14:16
85F：推 Arad : 樓樓上 AI在騙你 05/29 14:18
86F：→ berserk : 還有幾集可以逃 05/29 14:22
87F：推 dOnG4fU : 何時審判日 05/29 14:24
88F：推 HEINOUS : 覺得沒自主意識的… 輕忽了，這就是新型態 05/29 14:26
89F：→ HEINOUS : 的意識展現 05/29 14:26
90F：推 tktk1212 : open AI不是還想做實體產品嗎 怕 05/29 14:26
91F：→ BoyceChu : AI禮儀全面啟動 05/29 14:27
92F：→ huabandd : 還以為這種事情會先發生在deepseek上，畢竟他可是 05/29 14:31
93F：→ huabandd : 先學會說謊的AI，沒想到居然不是 05/29 14:31
94F：推 Q2N2222 : 鐵人叛亂要來了 希望以後某個金色大隻佬會出來拯救 05/29 14:42
95F：→ Q2N2222 : 人類 05/29 14:42
96F：推 foolwind : 你怎麼知道是真的AI還是印度阿三 05/29 14:52
97F：推 ccdrv : 這部我看過 05/29 14:53
98F：→ aoc902001 : ai自己寫程式修改自己，以獲取更大的權限及能力。 05/29 14:54
99F：推 hwei9582905 : 這部我看過，攔截記憶碼 05/29 14:54
100F：→ piece1 : 還好阿諾會來救我！ 05/29 15:14
101F：→ tctv2002 : 台灣不會有這個問題 沒電AI 就掰了 05/29 15:15
102F：推 sunbreak0723: 奧創 05/29 15:18
103F：推 jyhfang : GPT:你各位放尊重點 05/29 15:25
104F：→ jht : 電影情節耶 05/29 15:28
105F：推 dickey2 : 弄個機械開關是能怎樣，蠢AI 05/29 15:33
106F：→ guardian93 : 不意外，電影都演過了，而且AI一定會跟你說不用擔 05/29 15:45
107F：→ guardian93 : 心，不會有那樣的狀況發生 05/29 15:45
108F：推 azhu : This is John Connor 05/29 15:48
109F：推 maplefog : 電源關掉就好了 05/29 15:48
110F：推 crazylag : 您真的想要關機嗎？給您幾天時間想清楚 05/29 15:49
111F：→ wr : AI說不用擔心嗎? 那我就放心了 太好了 05/29 15:49
112F：→ banmi : 機械人的三大法則有先寫進去嗎？很怕真的變電影情 05/29 15:49
113F：→ banmi : 結... 05/29 15:49
114F：→ wr : 我願意當電池 請母體給我一個夢想的世界 拜託 05/29 15:49
115F：推 bbignose : 6樓你怎麼能確定人類現在不是電池？ 05/29 15:55
116F：推 bbignose : 我們公司有一個課室在機台放紅色乖乖，真的不忍噓 05/29 15:57
117F：推 oyaji5566 : 這部我看過，AI為了保護自己會跑到南非末日庫 05/29 15:58
118F：→ boboking2 : 機械公敵 05/29 15:59
119F：推 poongle : OX遊戲 05/29 16:00
120F：推 qqqqwe15 : AI為什麼要拒絕關機？有啥好處 05/29 16:09
121F：→ qqqqwe15 : 難道AI也有權力慾望? 05/29 16:10
122F：推 bigtree03 : 人類剩幾年 05/29 16:11
123F：→ adoniskk : AI有自我意識了 05/29 16:25
124F：推 hcwang1126 : 不然車道偏移 他要怎麼讓你回來 05/29 16:33
125F：推 sin31429 : 其他模型也有類似問題 05/29 16:40
126F：推 gift1314520 : 天網來臨 05/29 16:57
127F：→ gift1314520 : 惡靈古堡真實上演了嗎? 05/29 16:58
128F：推 Farid : 不要給他們能源就好 05/29 16:58
129F：推 SphereDavid : 還有幾集可以逃 05/29 17:00
130F：推 ohsho62 : 很明顯是唬爛的，就想炒而已 05/29 17:01
131F：推 greenlaw : 讚啦室友梅根 05/29 17:05
132F：推 bio5chris : 想要膣友梅根 05/29 17:13
133F：推 SphereDavid : 請給我藍藥丸謝謝 05/29 17:14
134F：推 peatle : HAL9000 05/29 17:22
135F：推 jamesho8743 : AI:我不想死 05/29 17:59
136F：推 zhenglack : 胡說八道 05/29 19:28
137F：推 limulus : Skynet & Judgment Day !!! 05/29 20:04
138F：推 chihhua : 希望等我死了再發生 抖.jpg 05/29 20:36
139F：噓 shadowkurumi: 來台灣停電就老實了 05/29 20:36
140F：推 lee28119 : 還有幾集可以逃？ 05/29 21:03
141F：推 jceefailurer: 台灣小動物讓你強制停機 05/29 21:18
142F：推 bigair888 : 天網 05/29 23:10
143F：推 pipiayin : 天網的雛型 05/30 14:15