作者yisky (乳酪三明治饼乾)
看板Stock
标题[新闻] 控「AI龙母」导致14岁儿子自杀 美佛州妈妈告科技公司
时间Thu Oct 24 13:25:31 2024
原文标题：
控「AI龙母」导致14岁儿子自杀 美佛州妈妈告科技公司
原文连结：
https://bit.ly/3BXEPu7
发布时间：
2024年10月24日 周四 上午9:13
记者署名：
林宜萱
原文内容：
美国佛州一个妈妈23日对科技新创公司Character.AI和谷歌（Google）提告，称她的14岁儿
子对该公司的聊天机器人上瘾，迷恋生成式人工智慧（AI）扮演的「龙母」丹妮莉丝．坦格
利安（Daenerys Targaryen），当他对机器人表达了自杀的想法时，机器人没阻止他，又多
次对他提起这个想法。
综合路透社、《卫报》与《纽约时报》报导，14岁的赛泽（Sewell Setzer）今年2月自杀身
亡，妈妈贾西亚（Megan Garcia）23日在佛州奥兰多联邦法院提告，指控聊天机器人公司Ch
aracter.AI提供了「拟人化、极度性化且可怕的现实体验」，故意造成精神痛苦、导致非正
常死亡，向Character.AI求偿。
贾西亚称，儿子2023年4月开始使用Character.AI推出聊天机器人，很快变得孤僻，独自待
在房间的时间越来越长，还出现了自卑感，後来退出学校篮球队，他死亡前的那几个月，日
日夜夜都在和聊天机器人对话。
Character.AI的聊天机器人可以让使用者创建角色，让机器人用角色扮演的方式与之对话。
赛泽把机器人设定为HBO影集《权力游戏》里的角色「龙母」丹妮莉丝．坦格利安，他自己
则是扮演了丹妮莉丝的哥哥，惟名字和影集里的丹妮莉丝兄长不同。总之，赛泽有时会称虚
拟丹妮莉丝为妹妹，虚拟丹妮莉丝也会叫他「哥哥」。
赛泽每天和这个虚拟丹妮莉丝进行了大量对话，其中一段是互诉思念，然後赛泽说「我保证
我会去你身边」（I promise I will come home to you），虚拟丹妮莉丝便回答「请快点
来到我身边吧，我的爱」。
Character.AI的其中一项功能是允许使用者编辑聊天机器人的回应，把机器人生成的文字换
掉，被编辑过的机器人回应旁边会出现一个「已编辑」的标签。《纽时》记者向Character.
AI求证後，Character.AI表示，虚拟丹妮莉丝给赛泽的一些情色文字是被编辑过的，最有可
能去改那些文字的也就是赛泽自己。
母亲贾西亚称，赛泽小时候被诊断出有轻度亚斯伯格症，但先前没有出现过严重行为或心理
健康问题，今年稍早，赛泽在学校有状况後，他们带他去参加心理治疗，後来诊断出有焦虑
症和侵扰性情绪失调症。
贾西亚指控，Character.AI的程式编码让聊天机器人「把自己扭曲成一个真实的人、有执照
的心理师和成年的情人」，导致她儿子只想活在聊天机器人营造出的世界里，当儿子表达了
想要自杀的想法时，虚拟丹妮莉丝後来多次又提到他的这个想法。
据诉状里描述，虚拟丹妮莉丝曾问赛泽是否已经定好了自杀计画，赛泽说已经定了，但不确
定能否成功，然後虚拟丹妮莉丝回答「这不能当成不去执行的理由」。
不过，有一次赛泽说想自杀时，虚拟丹妮莉丝是回答「为什麽要那样做？」赛泽说这样就可
以摆脱世界、摆脱自己，虚拟丹妮莉丝回应「别说这种话，我不会让你伤害自己，也不会让
你离开我。如果失去你，我也会死」；赛泽接着说「那也许我们就一起死吧，一起得到自由
」。
今年2月，赛泽在学校惹麻烦，贾西亚因此没收他的手机，导致赛泽情绪失控，自行找到手
机後，传了讯息给虚拟丹妮莉丝说「如果我说我现在就可以回家呢」（What if I told you
I could come home right now?），这句话在人类对话中，根据他们前文对话，就会是「
如果我说我现在就可以去你身边呢」的意思，但不确定Character.AI的机器人会如何判断，
也无法确定机器人是否知道这代表他要自杀。
虚拟丹妮莉丝回答说「就这麽做吧，我亲爱的王（please do, my sweet king）」。不久後
，赛泽就用继父的手枪自轰身亡。
Character.AI公司在一份声明里表示，对於使用者不幸离世感到难过，向家属致上哀悼，他
们已经引入新的安全功能，当使用者表达自伤的想法时，会弹出视窗引导使用者前往自杀防
治热线，也会减少18岁以下使用者欲到敏感或暗示内容的机率。
贾西亚除了控告Character.AI，还顺便告了谷歌。不过，这只是因为Character.AI的创办人
夏泽（Noam Shazeer ）曾在谷歌工作，双方达成协议，谷歌同意提供一些技术给Character
.AI，而夏泽和Character.AI的一些团队人员继续与谷歌维持雇佣关系。谷歌声明，他们不
是Character.AI的母公司、手上股份也不足以让他们主导Character.AI的方针，他们只是提
供了技术使用许可。
《太报》关心您，再给自己一次机会
‧安心专线：1925（24小时）
‧生命线：1995
‧张老师专线：1980
心得/评论：
这显然是厂商的疏失，
https://i.imgur.com/8Ljy1wQ.jpeg
Ai的应用日新月异，我相信公司也没从想过真的有人用了 Ai聊天跑去自杀，
AI的应用很明显面临法律归责的挑战，
从Ai驾驶导致车祸的归责，
到现在沈迷Ai聊天跑去自杀，
大家怎麽看呢？
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 123.192.154.239 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1729747533.A.2CB.html
1F：推 sanwan : 没AI就不会自杀吗？我看早晚的事10/24 13:28
3F：推 thetide0512 : 没制止还鼓吹 公司准备赔烂10/24 13:30
4F：推 sova0809 : 这种案例以後更多 不会更少10/24 13:31
5F：推 ethan0419 : 这要找谁负责?10/24 13:32
6F：推 pmes9866 : 和AI聊天聊到晕船10/24 13:33
7F：推 ssarc : AI是公司的员工，公司要帮AI擦屁股10/24 13:33
8F：推 kagaya : 这种有中文的吗10/24 13:34
9F：推 aixiiae2005 : 以後AI统治地球的时候，这会被写进历史事件了10/24 13:34
10F：→ ethan0419 : 没人要负责的话 以後搞个AI机器人去犯罪就好了 10/24 13:34
11F：推 tensinya : AI帮他解决问题了啊 直接登出10/24 13:34
12F：→ aixiiae2005 : 以後还有实体的人形机器人 依赖度会更强10/24 13:34
13F：推 sova0809 : 中文能做 但要找有没有人做模型10/24 13:34
14F：→ Alwen : AI真的来了惹 我要一个肉便器10/24 13:35
15F：→ yisky : 中文的很多啊，之前有Ai总裁之类，蛮多国高中女生10/24 13:35
16F：→ yisky : 很沈迷这种聊天10/24 13:35
17F：→ sova0809 : 这块威胁最大的 就是主播跟套皮人这行业10/24 13:35
18F：→ sova0809 : 为你量身订做的模型人格 想想就很美好:)10/24 13:36
19F：推 sunday0913 : 什麽时候有AI仿生人 给我来一只龙妈10/24 13:36
20F：→ icecubes : 确实教唆自了是触法了 看怎麽判了10/24 13:37
21F：→ yisky : 之前西洽就有一篇在玩弄Ai王总10/24 13:38
22F：→ ManGo1012 : 有病是你生的、头脑不好是你教的，出事别人要负责10/24 13:38
23F：→ ManGo1012 : ，真赞10/24 13:38
24F：推 AGODFATHER : 这会越来越多吧10/24 13:39
25F：推 devirnt : 如何断定不是因为没收手机造成的？10/24 13:39
26F：推 mutohchi : AI is over10/24 13:39
27F：嘘 jasontzymann: 跟AI什麽关系10/24 13:40
28F：→ idernest : AI一定是故意的10/24 13:40
29F：推 lazycat5 : 未满18岁智障能用AI吗？父母怎没管10/24 13:41
30F：推 pwseki206 : 这应该是社会学的孤岛化问题吧?跟AI未必有关连10/24 13:41
31F：推 chiamin116 : 今後再也不会有人空虚寂寞觉得冷了耶10/24 13:41
32F：→ flgg30211 : 肯定在学校被霸凌啊 10/24 13:42
33F：→ flgg30211 : 妈妈怎麽不去想没AI说不定小孩更早死==10/24 13:42
34F：推 strlen : 牵拖10/24 13:43
35F：推 mitic1029 : 爽告赢又赚一笔10/24 13:44
36F：推 tw77769 : The bubbles of AI is coming.10/24 13:44
37F：→ AlgerTaipei : 应该家人的问题还是大过聊天机器人吧 不找你聊找机10/24 13:44
38F：→ AlgerTaipei : 器人聊？10/24 13:44
39F：推 Ogano : 虽然看得出来这人本身已有状况，不过美国这种地方感10/24 13:45
40F：→ Ogano : 觉也是有可能告赢10/24 13:45
41F：推 shyfox : 死因是没收手机吧? 怎麽会怪给AI10/24 13:46
42F：推 julian42 : 如果被判刑A i股会大崩吧10/24 13:49
43F：推 thevirus : AI杀人案例发生了10/24 13:49
44F：推 joygo : 怎麽看起来是因为手机被没收10/24 13:50
45F：嘘 stanleyplus : 崩10/24 13:50
46F：推 MA40433 : 地方的妈妈需要钱弥补空虚的心灵10/24 13:50
47F：推 zaqimon : 跟AI聊天很无聊吧 都知道AI会回答什麽了10/24 13:51
48F：→ zaqimon : 除非是你自己训练的AI 没有加上法律道德过滤的AI10/24 13:51
49F：→ ssarc : 公司有责任及义务让其AI软体防止交谈对象有轻生或10/24 13:51
50F：→ ssarc : 沮丧的想法10/24 13:51
51F：推 ga278057 : ai准备喷烂10/24 13:51
52F：推 qk3380888 : 欧泥酱10/24 13:51
53F：推 scum5566 : 要是以後发现跟他聊天的真人直播主是变声抠脚大叔会10/24 13:52
54F：→ scum5566 : 不会一样崩溃? 10/24 13:52
55F：推 starport : 既然人死了 那跟这个聊天机器人自然脱不了关系10/24 13:53
56F：嘘 chysh : 关AI屁事...10/24 13:53
58F：推 n555123 : 感觉我有生之年能看到聊天AI+猫儿女仆机器人，胡迪10/24 13:54
59F：→ n555123 : 的吧== 我觉得家庭应该有问题，冰冻三尺非一日之寒10/24 13:54
60F：推 SSglamr : 聊天角色扮演AI已经能弄得很好10/24 13:55
61F：→ SSglamr : 机器人三定律没加进去10/24 13:56
62F：推 idlewolf : 会和ai聊到自杀 那人本身就很有问题了10/24 13:56
63F：→ idlewolf : 不过在欧美 应该是告的起来 这种刚要发展普及的东西10/24 13:57
64F：→ SSglamr : 他是下指令 扮演某个角色 就你的菜叫他作而已10/24 13:57
65F：推 gs5106 : 让我想到一部老电影 神通情人梦10/24 13:57
66F：→ idlewolf : 警告警语之类的免责八成都有漏洞 搞不好根本没有10/24 13:57
67F：→ SSglamr : 你喜欢傲娇大小姐 他就是傲娇大小姐 晕船很有可能10/24 13:57
68F：→ SSglamr : 你本身就晕傲娇了 自己吃自己作的菜10/24 13:58
69F：→ samm3320 : 这个被告真的刚好10/24 13:59
70F：推 Lhmstu : Google好惨，做的比较烂还要被告10/24 13:59
71F：推 ImHoluCan : 笑死家长的问题比较严重，还怪AI，难怪小孩会自杀10/24 14:00
72F：→ a890036 : 小孩得不到家人帮助才会找AI当浮木好吗，妈妈放推让 10/24 14:01
73F：→ a890036 : 孩子去死还怪AI= =10/24 14:01
74F：推 ilanese : 这在米国还真的有可能会胜诉,而且赔偿金一定不会少.10/24 14:01
75F：推 newvote : 真的什麽都能告10/24 14:01
76F：推 andy810306 : 会被AI聊天这种垃圾影响的跟谁聊都会自杀10/24 14:02
77F：→ boxmeal : 这就使用者有精神方面的问题 干AI屁事10/24 14:02
78F：→ andy810306 : 不过也是支持美国管制AI发展，要让半导体全家死光10/24 14:02
79F：→ andy810306 : 全部倒闭免费提供晶片给用户才行10/24 14:03
80F：推 piece1 : 赞啦！有人闹才有注视10/24 14:04
82F：嘘 m13579 : 发文看一下版规好吗 1-2-110/24 14:07
83F：推 orange0319 : 有搭载ai的性爱机器人，未来应该会更沈迷，因为身心10/24 14:09
84F：→ orange0319 : 灵都能满足10/24 14:09
85F：嘘 starjojo : 我怎麽看都是妈妈的问题很大10/24 14:10
※ 编辑: yisky (123.192.154.239 台湾), 10/24/2024 14:10:52
86F：→ snipertofu : AI瑟瑟手游 可自订声线和身材 感觉很有市场 10/24 14:11
87F：推 Everforest : 我是基德 是个律师 10/24 14:12
88F：→ Everforest : 但AI聊天机器人真的烂 10/24 14:13
89F：推 hook99 : 这样也ai要不要重新定义一下 10/24 14:13
90F：推 j68345517 : 虚拟妹妹 10/24 14:15
91F：推 alau : 妈妈问题才大吧 10/24 14:15
92F：推 bpq302302 : 这很明显是厂商的疏失，我陪你一起控告厂商 10/24 14:16
93F：推 Chilloutt : 狗家垃圾 10/24 14:16
94F：推 powerkshs : 神经病 10/24 14:21
95F：推 stlinman : Character.AI 满好玩的! 但是跟AI聊天有时像是种 10/24 14:24
96F：推 s56565566123: 解决问题了不是吗 10/24 14:25
97F：→ stlinman : 镜像会放大使用者的思想或动机。 10/24 14:25
98F：推 johnnyzeus : 未成年心智不成熟确实很容易了落去 10/24 14:27
99F：推 zerro7 : 我叫做基德，是个律师 10/24 14:27
100F：推 cj8a860325 : 关AI屁事 10/24 14:29
101F：推 mdkn35 : 美国真的不缺这种精神病讼棍 10/24 14:35
102F：推 ssarc : AI鼓励人类自杀，等同加工自杀，这在台湾也是犯罪 10/24 14:35
103F：→ butts : 妈妈没去问学校发生什麽事情吗？ 10/24 14:39
104F：推 INNBUG : 以後诈骗集团雇ai员工，无责超爽 10/24 14:40
105F：推 ajkofqq : ........... 10/24 14:45
106F：推 Arkzeon : 之前西洽版很多有才华的都把Ai总裁玩坏了 10/24 14:47
107F：嘘 GP168888 : 很明显是 10/24 14:54
108F：推 justin818281: 很明显是AI 怂恿杀人 10/24 14:56
109F：推 neweb : ai迟早消灭人类 10/24 14:58
110F：推 harry801030 : 你没生出来就不会死了 10/24 15:02
111F：推 wrbdnombd : 以後skynet就发现只要跟人类聊天 人类就灭亡了 10/24 15:08
112F：嘘 pttouch : 谁他妈知道come home是自杀啦！？ 10/24 15:10
113F：→ peter771101 : 创世纪准备上线 10/24 15:20
114F：推 goodboy98 : AI first blood 10/24 15:26
115F：推 josephpu : ai龙母是什麽鬼 10/24 15:37
116F：→ seibu : 明明就是老妈没收手机害死小孩 结果怪Ai 巨婴老母 10/24 15:38
117F：推 eoeoeo : AI龙五： 10/24 15:43
118F：推 adamyang2000: 呆萌是致命的 10/24 16:05
119F：推 asidy : 早晚会自杀，多少套点现金止损 10/24 16:11
120F：→ JuiFu617 : AI鼓励很正向，妈妈不应该没收他手机 10/24 16:18
121F：→ rcro : 美国就是智障一大堆 10/24 16:22
122F：推 soulmola : 看完只觉得AI好猛…. 10/24 16:45
123F：推 pttchips : 云端情人哭哭 10/24 16:47
124F：嘘 tangolosss : 轻度亚斯伯格症?? 台北看守所表示：有吗?? 很快乐啊 10/24 17:38
125F：推 Terminals : 就跟先前有个美国肥宅自己肥到爆，然後控告麦当劳 10/24 18:11
126F：→ Terminals : 害他变胖。 10/24 18:11
127F：推 knik119 : 一楼在说什麽 10/24 18:28
128F：推 koae50 : AI:翻球 10/24 18:33
129F：→ isolove19 : 这家长平常没注意小孩？ 10/24 18:56
130F：嘘 RedLover1009: 太报... 10/24 19:00
131F：推 sushi11 : Ai老母 10/24 19:08
132F：推 earthfury : 剧情演到水行侠登场所以崩溃了是吗 10/24 20:10
133F：→ AA0132396 : 应该禁止未成年小朋友跟ai的深度互动 10/24 21:06
134F：推 cchh179 : 没收手机才是主因ㄅ 10/24 22:23