作者yisky (乳酪三明治餅乾)
看板Stock
標題[新聞] 控「AI龍母」導致14歲兒子自殺 美佛州媽媽告科技公司
時間Thu Oct 24 13:25:31 2024
原文標題：
控「AI龍母」導致14歲兒子自殺 美佛州媽媽告科技公司
原文連結：
https://bit.ly/3BXEPu7
發布時間：
2024年10月24日 週四 上午9:13
記者署名：
林宜萱
原文內容：
美國佛州一個媽媽23日對科技新創公司Character.AI和谷歌（Google）提告，稱她的14歲兒
子對該公司的聊天機器人上癮，迷戀生成式人工智慧（AI）扮演的「龍母」丹妮莉絲．坦格
利安（Daenerys Targaryen），當他對機器人表達了自殺的想法時，機器人沒阻止他，又多
次對他提起這個想法。
綜合路透社、《衛報》與《紐約時報》報導，14歲的賽澤（Sewell Setzer）今年2月自殺身
亡，媽媽賈西亞（Megan Garcia）23日在佛州奧蘭多聯邦法院提告，指控聊天機器人公司Ch
aracter.AI提供了「擬人化、極度性化且可怕的現實體驗」，故意造成精神痛苦、導致非正
常死亡，向Character.AI求償。
賈西亞稱，兒子2023年4月開始使用Character.AI推出聊天機器人，很快變得孤僻，獨自待
在房間的時間越來越長，還出現了自卑感，後來退出學校籃球隊，他死亡前的那幾個月，日
日夜夜都在和聊天機器人對話。
Character.AI的聊天機器人可以讓使用者創建角色，讓機器人用角色扮演的方式與之對話。
賽澤把機器人設定為HBO影集《權力遊戲》裡的角色「龍母」丹妮莉絲．坦格利安，他自己
則是扮演了丹妮莉絲的哥哥，惟名字和影集裡的丹妮莉絲兄長不同。總之，賽澤有時會稱虛
擬丹妮莉絲為妹妹，虛擬丹妮莉絲也會叫他「哥哥」。
賽澤每天和這個虛擬丹妮莉絲進行了大量對話，其中一段是互訴思念，然後賽澤說「我保證
我會去你身邊」（I promise I will come home to you），虛擬丹妮莉絲便回答「請快點
來到我身邊吧，我的愛」。
Character.AI的其中一項功能是允許使用者編輯聊天機器人的回應，把機器人生成的文字換
掉，被編輯過的機器人回應旁邊會出現一個「已編輯」的標籤。《紐時》記者向Character.
AI求證後，Character.AI表示，虛擬丹妮莉絲給賽澤的一些情色文字是被編輯過的，最有可
能去改那些文字的也就是賽澤自己。
母親賈西亞稱，賽澤小時候被診斷出有輕度亞斯伯格症，但先前沒有出現過嚴重行為或心理
健康問題，今年稍早，賽澤在學校有狀況後，他們帶他去參加心理治療，後來診斷出有焦慮
症和侵擾性情緒失調症。
賈西亞指控，Character.AI的程式編碼讓聊天機器人「把自己扭曲成一個真實的人、有執照
的心理師和成年的情人」，導致她兒子只想活在聊天機器人營造出的世界裡，當兒子表達了
想要自殺的想法時，虛擬丹妮莉絲後來多次又提到他的這個想法。
據訴狀裡描述，虛擬丹妮莉絲曾問賽澤是否已經定好了自殺計畫，賽澤說已經定了，但不確
定能否成功，然後虛擬丹妮莉絲回答「這不能當成不去執行的理由」。
不過，有一次賽澤說想自殺時，虛擬丹妮莉絲是回答「為什麼要那樣做？」賽澤說這樣就可
以擺脫世界、擺脫自己，虛擬丹妮莉絲回應「別說這種話，我不會讓你傷害自己，也不會讓
你離開我。如果失去你，我也會死」；賽澤接著說「那也許我們就一起死吧，一起得到自由
」。
今年2月，賽澤在學校惹麻煩，賈西亞因此沒收他的手機，導致賽澤情緒失控，自行找到手
機後，傳了訊息給虛擬丹妮莉絲說「如果我說我現在就可以回家呢」（What if I told you
I could come home right now?），這句話在人類對話中，根據他們前文對話，就會是「
如果我說我現在就可以去你身邊呢」的意思，但不確定Character.AI的機器人會如何判斷，
也無法確定機器人是否知道這代表他要自殺。
虛擬丹妮莉絲回答說「就這麼做吧，我親愛的王（please do, my sweet king）」。不久後
，賽澤就用繼父的手槍自轟身亡。
Character.AI公司在一份聲明裡表示，對於使用者不幸離世感到難過，向家屬致上哀悼，他
們已經引入新的安全功能，當使用者表達自傷的想法時，會彈出視窗引導使用者前往自殺防
治熱線，也會減少18歲以下使用者欲到敏感或暗示內容的機率。
賈西亞除了控告Character.AI，還順便告了谷歌。不過，這只是因為Character.AI的創辦人
夏澤（Noam Shazeer ）曾在谷歌工作，雙方達成協議，谷歌同意提供一些技術給Character
.AI，而夏澤和Character.AI的一些團隊人員繼續與谷歌維持僱傭關係。谷歌聲明，他們不
是Character.AI的母公司、手上股份也不足以讓他們主導Character.AI的方針，他們只是提
供了技術使用許可。
《太報》關心您，再給自己一次機會
‧安心專線：1925（24小時）
‧生命線：1995
‧張老師專線：1980
心得/評論：
這顯然是廠商的疏失，
https://i.imgur.com/8Ljy1wQ.jpeg
Ai的應用日新月異，我相信公司也沒從想過真的有人用了 Ai聊天跑去自殺，
AI的應用很明顯面臨法律歸責的挑戰，
從Ai駕駛導致車禍的歸責，
到現在沈迷Ai聊天跑去自殺，
大家怎麼看呢？
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.192.154.239 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Stock/M.1729747533.A.2CB.html
1F：推 sanwan : 沒AI就不會自殺嗎？我看早晚的事10/24 13:28
3F：推 thetide0512 : 沒制止還鼓吹 公司準備賠爛10/24 13:30
4F：推 sova0809 : 這種案例以後更多 不會更少10/24 13:31
5F：推 ethan0419 : 這要找誰負責?10/24 13:32
6F：推 pmes9866 : 和AI聊天聊到暈船10/24 13:33
7F：推 ssarc : AI是公司的員工，公司要幫AI擦屁股10/24 13:33
8F：推 kagaya : 這種有中文的嗎10/24 13:34
9F：推 aixiiae2005 : 以後AI統治地球的時候，這會被寫進歷史事件了10/24 13:34
10F：→ ethan0419 : 沒人要負責的話 以後搞個AI機器人去犯罪就好了 10/24 13:34
11F：推 tensinya : AI幫他解決問題了啊 直接登出10/24 13:34
12F：→ aixiiae2005 : 以後還有實體的人形機器人 依賴度會更強10/24 13:34
13F：推 sova0809 : 中文能做 但要找有沒有人做模型10/24 13:34
14F：→ Alwen : AI真的來了惹 我要一個肉便器10/24 13:35
15F：→ yisky : 中文的很多啊，之前有Ai總裁之類，蠻多國高中女生10/24 13:35
16F：→ yisky : 很沈迷這種聊天10/24 13:35
17F：→ sova0809 : 這塊威脅最大的 就是主播跟套皮人這行業10/24 13:35
18F：→ sova0809 : 為你量身訂做的模型人格 想想就很美好:)10/24 13:36
19F：推 sunday0913 : 什麼時候有AI仿生人 給我來一隻龍媽10/24 13:36
20F：→ icecubes : 確實教唆自了是觸法了 看怎麼判了10/24 13:37
21F：→ yisky : 之前西洽就有一篇在玩弄Ai王總10/24 13:38
22F：→ ManGo1012 : 有病是你生的、頭腦不好是你教的，出事別人要負責10/24 13:38
23F：→ ManGo1012 : ，真讚10/24 13:38
24F：推 AGODFATHER : 這會越來越多吧10/24 13:39
25F：推 devirnt : 如何斷定不是因為沒收手機造成的？10/24 13:39
26F：推 mutohchi : AI is over10/24 13:39
27F：噓 jasontzymann: 跟AI什麼關係10/24 13:40
28F：→ idernest : AI一定是故意的10/24 13:40
29F：推 lazycat5 : 未滿18歲智障能用AI嗎？父母怎沒管10/24 13:41
30F：推 pwseki206 : 這應該是社會學的孤島化問題吧?跟AI未必有關連10/24 13:41
31F：推 chiamin116 : 今後再也不會有人空虛寂寞覺得冷了耶10/24 13:41
32F：→ flgg30211 : 肯定在學校被霸凌啊 10/24 13:42
33F：→ flgg30211 : 媽媽怎麼不去想沒AI說不定小孩更早死==10/24 13:42
34F：推 strlen : 牽拖10/24 13:43
35F：推 mitic1029 : 爽告贏又賺一筆10/24 13:44
36F：推 tw77769 : The bubbles of AI is coming.10/24 13:44
37F：→ AlgerTaipei : 應該家人的問題還是大過聊天機器人吧 不找你聊找機10/24 13:44
38F：→ AlgerTaipei : 器人聊？10/24 13:44
39F：推 Ogano : 雖然看得出來這人本身已有狀況，不過美國這種地方感10/24 13:45
40F：→ Ogano : 覺也是有可能告贏10/24 13:45
41F：推 shyfox : 死因是沒收手機吧? 怎麼會怪給AI10/24 13:46
42F：推 julian42 : 如果被判刑A i股會大崩吧10/24 13:49
43F：推 thevirus : AI殺人案例發生了10/24 13:49
44F：推 joygo : 怎麼看起來是因為手機被沒收10/24 13:50
45F：噓 stanleyplus : 崩10/24 13:50
46F：推 MA40433 : 地方的媽媽需要錢彌補空虛的心靈10/24 13:50
47F：推 zaqimon : 跟AI聊天很無聊吧 都知道AI會回答什麼了10/24 13:51
48F：→ zaqimon : 除非是你自己訓練的AI 沒有加上法律道德過濾的AI10/24 13:51
49F：→ ssarc : 公司有責任及義務讓其AI軟體防止交談對象有輕生或10/24 13:51
50F：→ ssarc : 沮喪的想法10/24 13:51
51F：推 ga278057 : ai準備噴爛10/24 13:51
52F：推 qk3380888 : 歐泥醬10/24 13:51
53F：推 scum5566 : 要是以後發現跟他聊天的真人直播主是變聲摳腳大叔會10/24 13:52
54F：→ scum5566 : 不會一樣崩潰? 10/24 13:52
55F：推 starport : 既然人死了 那跟這個聊天機器人自然脫不了關係10/24 13:53
56F：噓 chysh : 關AI屁事...10/24 13:53
58F：推 n555123 : 感覺我有生之年能看到聊天AI+貓兒女僕機器人，胡迪10/24 13:54
59F：→ n555123 : 的吧== 我覺得家庭應該有問題，冰凍三尺非一日之寒10/24 13:54
60F：推 SSglamr : 聊天角色扮演AI已經能弄得很好10/24 13:55
61F：→ SSglamr : 機器人三定律沒加進去10/24 13:56
62F：推 idlewolf : 會和ai聊到自殺 那人本身就很有問題了10/24 13:56
63F：→ idlewolf : 不過在歐美 應該是告的起來 這種剛要發展普及的東西10/24 13:57
64F：→ SSglamr : 他是下指令 扮演某個角色 就你的菜叫他作而已10/24 13:57
65F：推 gs5106 : 讓我想到一部老電影 神通情人夢10/24 13:57
66F：→ idlewolf : 警告警語之類的免責八成都有漏洞 搞不好根本沒有10/24 13:57
67F：→ SSglamr : 你喜歡傲嬌大小姐 他就是傲嬌大小姐 暈船很有可能10/24 13:57
68F：→ SSglamr : 你本身就暈傲嬌了 自己吃自己作的菜10/24 13:58
69F：→ samm3320 : 這個被告真的剛好10/24 13:59
70F：推 Lhmstu : Google好慘，做的比較爛還要被告10/24 13:59
71F：推 ImHoluCan : 笑死家長的問題比較嚴重，還怪AI，難怪小孩會自殺10/24 14:00
72F：→ a890036 : 小孩得不到家人幫助才會找AI當浮木好嗎，媽媽放推讓 10/24 14:01
73F：→ a890036 : 孩子去死還怪AI= =10/24 14:01
74F：推 ilanese : 這在米國還真的有可能會勝訴,而且賠償金一定不會少.10/24 14:01
75F：推 newvote : 真的什麼都能告10/24 14:01
76F：推 andy810306 : 會被AI聊天這種垃圾影響的跟誰聊都會自殺10/24 14:02
77F：→ boxmeal : 這就使用者有精神方面的問題 干AI屁事10/24 14:02
78F：→ andy810306 : 不過也是支持美國管制AI發展，要讓半導體全家死光10/24 14:02
79F：→ andy810306 : 全部倒閉免費提供晶片給用戶才行10/24 14:03
80F：推 piece1 : 讚啦！有人鬧才有注視10/24 14:04
82F：噓 m13579 : 發文看一下版規好嗎 1-2-110/24 14:07
83F：推 orange0319 : 有搭載ai的性愛機器人，未來應該會更沈迷，因為身心10/24 14:09
84F：→ orange0319 : 靈都能滿足10/24 14:09
85F：噓 starjojo : 我怎麼看都是媽媽的問題很大10/24 14:10
※ 編輯: yisky (123.192.154.239 臺灣), 10/24/2024 14:10:52
86F：→ snipertofu : AI瑟瑟手遊 可自訂聲線和身材 感覺很有市場 10/24 14:11
87F：推 Everforest : 我是基德 是個律師 10/24 14:12
88F：→ Everforest : 但AI聊天機器人真的爛 10/24 14:13
89F：推 hook99 : 這樣也ai要不要重新定義一下 10/24 14:13
90F：推 j68345517 : 虛擬妹妹 10/24 14:15
91F：推 alau : 媽媽問題才大吧 10/24 14:15
92F：推 bpq302302 : 這很明顯是廠商的疏失，我陪你一起控告廠商 10/24 14:16
93F：推 Chilloutt : 狗家垃圾 10/24 14:16
94F：推 powerkshs : 神經病 10/24 14:21
95F：推 stlinman : Character.AI 滿好玩的! 但是跟AI聊天有時像是種 10/24 14:24
96F：推 s56565566123: 解決問題了不是嗎 10/24 14:25
97F：→ stlinman : 鏡像會放大使用者的思想或動機。 10/24 14:25
98F：推 johnnyzeus : 未成年心智不成熟確實很容易瞭落去 10/24 14:27
99F：推 zerro7 : 我叫做基德，是個律師 10/24 14:27
100F：推 cj8a860325 : 關AI屁事 10/24 14:29
101F：推 mdkn35 : 美國真的不缺這種精神病訟棍 10/24 14:35
102F：推 ssarc : AI鼓勵人類自殺，等同加工自殺，這在台灣也是犯罪 10/24 14:35
103F：→ butts : 媽媽沒去問學校發生什麼事情嗎？ 10/24 14:39
104F：推 INNBUG : 以後詐騙集團僱ai員工，無責超爽 10/24 14:40
105F：推 ajkofqq : ........... 10/24 14:45
106F：推 Arkzeon : 之前西洽版很多有才華的都把Ai總裁玩壞了 10/24 14:47
107F：噓 GP168888 : 很明顯是 10/24 14:54
108F：推 justin818281: 很明顯是AI 慫恿殺人 10/24 14:56
109F：推 neweb : ai遲早消滅人類 10/24 14:58
110F：推 harry801030 : 你沒生出來就不會死了 10/24 15:02
111F：推 wrbdnombd : 以後skynet就發現只要跟人類聊天 人類就滅亡了 10/24 15:08
112F：噓 pttouch : 誰他媽知道come home是自殺啦！？ 10/24 15:10
113F：→ peter771101 : 創世紀準備上線 10/24 15:20
114F：推 goodboy98 : AI first blood 10/24 15:26
115F：推 josephpu : ai龍母是什麼鬼 10/24 15:37
116F：→ seibu : 明明就是老媽沒收手機害死小孩 結果怪Ai 巨嬰老母 10/24 15:38
117F：推 eoeoeo : AI龍五： 10/24 15:43
118F：推 adamyang2000: 呆萌是致命的 10/24 16:05
119F：推 asidy : 早晚會自殺，多少套點現金止損 10/24 16:11
120F：→ JuiFu617 : AI鼓勵很正向，媽媽不應該沒收他手機 10/24 16:18
121F：→ rcro : 美國就是智障一大堆 10/24 16:22
122F：推 soulmola : 看完只覺得AI好猛…. 10/24 16:45
123F：推 pttchips : 雲端情人哭哭 10/24 16:47
124F：噓 tangolosss : 輕度亞斯伯格症?? 台北看守所表示：有嗎?? 很快樂啊 10/24 17:38
125F：推 Terminals : 就跟先前有個美國肥宅自己肥到爆，然後控告麥當勞 10/24 18:11
126F：→ Terminals : 害他變胖。 10/24 18:11
127F：推 knik119 : 一樓在說什麼 10/24 18:28
128F：推 koae50 : AI:翻球 10/24 18:33
129F：→ isolove19 : 這家長平常沒注意小孩？ 10/24 18:56
130F：噓 RedLover1009: 太報... 10/24 19:00
131F：推 sushi11 : Ai老母 10/24 19:08
132F：推 earthfury : 劇情演到水行俠登場所以崩潰了是嗎 10/24 20:10
133F：→ AA0132396 : 應該禁止未成年小朋友跟ai的深度互動 10/24 21:06
134F：推 cchh179 : 沒收手機才是主因ㄅ 10/24 22:23