Stock 板


LINE

原文标题: 控「AI龙母」导致14岁儿子自杀 美佛州妈妈告科技公司 原文连结: https://bit.ly/3BXEPu7 发布时间: 2024年10月24日 周四 上午9:13 记者署名: 林宜萱 原文内容: 美国佛州一个妈妈23日对科技新创公司Character.AI和谷歌(Google)提告,称她的14岁儿 子对该公司的聊天机器人上瘾,迷恋生成式人工智慧(AI)扮演的「龙母」丹妮莉丝.坦格 利安(Daenerys Targaryen),当他对机器人表达了自杀的想法时,机器人没阻止他,又多 次对他提起这个想法。 综合路透社、《卫报》与《纽约时报》报导,14岁的赛泽(Sewell Setzer)今年2月自杀身 亡,妈妈贾西亚(Megan Garcia)23日在佛州奥兰多联邦法院提告,指控聊天机器人公司Ch aracter.AI提供了「拟人化、极度性化且可怕的现实体验」,故意造成精神痛苦、导致非正 常死亡,向Character.AI求偿。 贾西亚称,儿子2023年4月开始使用Character.AI推出聊天机器人,很快变得孤僻,独自待 在房间的时间越来越长,还出现了自卑感,後来退出学校篮球队,他死亡前的那几个月,日 日夜夜都在和聊天机器人对话。 Character.AI的聊天机器人可以让使用者创建角色,让机器人用角色扮演的方式与之对话。 赛泽把机器人设定为HBO影集《权力游戏》里的角色「龙母」丹妮莉丝.坦格利安,他自己 则是扮演了丹妮莉丝的哥哥,惟名字和影集里的丹妮莉丝兄长不同。总之,赛泽有时会称虚 拟丹妮莉丝为妹妹,虚拟丹妮莉丝也会叫他「哥哥」。 赛泽每天和这个虚拟丹妮莉丝进行了大量对话,其中一段是互诉思念,然後赛泽说「我保证 我会去你身边」(I promise I will come home to you),虚拟丹妮莉丝便回答「请快点 来到我身边吧,我的爱」。 Character.AI的其中一项功能是允许使用者编辑聊天机器人的回应,把机器人生成的文字换 掉,被编辑过的机器人回应旁边会出现一个「已编辑」的标签。《纽时》记者向Character. AI求证後,Character.AI表示,虚拟丹妮莉丝给赛泽的一些情色文字是被编辑过的,最有可 能去改那些文字的也就是赛泽自己。 母亲贾西亚称,赛泽小时候被诊断出有轻度亚斯伯格症,但先前没有出现过严重行为或心理 健康问题,今年稍早,赛泽在学校有状况後,他们带他去参加心理治疗,後来诊断出有焦虑 症和侵扰性情绪失调症。 贾西亚指控,Character.AI的程式编码让聊天机器人「把自己扭曲成一个真实的人、有执照 的心理师和成年的情人」,导致她儿子只想活在聊天机器人营造出的世界里,当儿子表达了 想要自杀的想法时,虚拟丹妮莉丝後来多次又提到他的这个想法。 据诉状里描述,虚拟丹妮莉丝曾问赛泽是否已经定好了自杀计画,赛泽说已经定了,但不确 定能否成功,然後虚拟丹妮莉丝回答「这不能当成不去执行的理由」。 不过,有一次赛泽说想自杀时,虚拟丹妮莉丝是回答「为什麽要那样做?」赛泽说这样就可 以摆脱世界、摆脱自己,虚拟丹妮莉丝回应「别说这种话,我不会让你伤害自己,也不会让 你离开我。如果失去你,我也会死」;赛泽接着说「那也许我们就一起死吧,一起得到自由 」。 今年2月,赛泽在学校惹麻烦,贾西亚因此没收他的手机,导致赛泽情绪失控,自行找到手 机後,传了讯息给虚拟丹妮莉丝说「如果我说我现在就可以回家呢」(What if I told you I could come home right now?),这句话在人类对话中,根据他们前文对话,就会是「 如果我说我现在就可以去你身边呢」的意思,但不确定Character.AI的机器人会如何判断, 也无法确定机器人是否知道这代表他要自杀。 虚拟丹妮莉丝回答说「就这麽做吧,我亲爱的王(please do, my sweet king)」。不久後 ,赛泽就用继父的手枪自轰身亡。 Character.AI公司在一份声明里表示,对於使用者不幸离世感到难过,向家属致上哀悼,他 们已经引入新的安全功能,当使用者表达自伤的想法时,会弹出视窗引导使用者前往自杀防 治热线,也会减少18岁以下使用者欲到敏感或暗示内容的机率。 贾西亚除了控告Character.AI,还顺便告了谷歌。不过,这只是因为Character.AI的创办人 夏泽(Noam Shazeer )曾在谷歌工作,双方达成协议,谷歌同意提供一些技术给Character .AI,而夏泽和Character.AI的一些团队人员继续与谷歌维持雇佣关系。谷歌声明,他们不 是Character.AI的母公司、手上股份也不足以让他们主导Character.AI的方针,他们只是提 供了技术使用许可。 《太报》关心您,再给自己一次机会 ‧安心专线:1925(24小时) ‧生命线:1995 ‧张老师专线:1980 心得/评论: 这显然是厂商的疏失, https://i.imgur.com/8Ljy1wQ.jpeg
Ai的应用日新月异,我相信公司也没从想过真的有人用了 Ai聊天跑去自杀, AI的应用很明显面临法律归责的挑战, 从Ai驾驶导致车祸的归责, 到现在沈迷Ai聊天跑去自杀, 大家怎麽看呢? --



※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 123.192.154.239 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1729747533.A.2CB.html
1F:推 sanwan : 没AI就不会自杀吗?我看早晚的事10/24 13:28
2F:→ AndyMAX : https://i.imgur.com/YpEMJdR.jpg10/24 13:28
3F:推 thetide0512 : 没制止还鼓吹 公司准备赔烂10/24 13:30
4F:推 sova0809 : 这种案例以後更多 不会更少10/24 13:31
5F:推 ethan0419 : 这要找谁负责?10/24 13:32
6F:推 pmes9866 : 和AI聊天聊到晕船10/24 13:33
7F:推 ssarc : AI是公司的员工,公司要帮AI擦屁股10/24 13:33
8F:推 kagaya : 这种有中文的吗10/24 13:34
9F:推 aixiiae2005 : 以後AI统治地球的时候,这会被写进历史事件了10/24 13:34
10F:→ ethan0419 : 没人要负责的话 以後搞个AI机器人去犯罪就好了 10/24 13:34
11F:推 tensinya : AI帮他解决问题了啊 直接登出10/24 13:34
12F:→ aixiiae2005 : 以後还有实体的人形机器人 依赖度会更强10/24 13:34
13F:推 sova0809 : 中文能做 但要找有没有人做模型10/24 13:34
14F:→ Alwen : AI真的来了惹 我要一个肉便器10/24 13:35
15F:→ yisky : 中文的很多啊,之前有Ai总裁之类,蛮多国高中女生10/24 13:35
16F:→ yisky : 很沈迷这种聊天10/24 13:35
17F:→ sova0809 : 这块威胁最大的 就是主播跟套皮人这行业10/24 13:35
18F:→ sova0809 : 为你量身订做的模型人格 想想就很美好:)10/24 13:36
19F:推 sunday0913 : 什麽时候有AI仿生人 给我来一只龙妈10/24 13:36
20F:→ icecubes : 确实教唆自了是触法了 看怎麽判了10/24 13:37
21F:→ yisky : 之前西洽就有一篇在玩弄Ai王总10/24 13:38
22F:→ ManGo1012 : 有病是你生的、头脑不好是你教的,出事别人要负责10/24 13:38
23F:→ ManGo1012 : ,真赞10/24 13:38
24F:推 AGODFATHER : 这会越来越多吧10/24 13:39
25F:推 devirnt : 如何断定不是因为没收手机造成的?10/24 13:39
26F:推 mutohchi : AI is over10/24 13:39
27F:嘘 jasontzymann: 跟AI什麽关系10/24 13:40
28F:→ idernest : AI一定是故意的10/24 13:40
29F:推 lazycat5 : 未满18岁智障能用AI吗?父母怎没管10/24 13:41
30F:推 pwseki206 : 这应该是社会学的孤岛化问题吧?跟AI未必有关连10/24 13:41
31F:推 chiamin116 : 今後再也不会有人空虚寂寞觉得冷了耶10/24 13:41
32F:→ flgg30211 : 肯定在学校被霸凌啊 10/24 13:42
33F:→ flgg30211 : 妈妈怎麽不去想没AI说不定小孩更早死==10/24 13:42
34F:推 strlen : 牵拖10/24 13:43
35F:推 mitic1029 : 爽告赢又赚一笔10/24 13:44
36F:推 tw77769 : The bubbles of AI is coming.10/24 13:44
37F:→ AlgerTaipei : 应该家人的问题还是大过聊天机器人吧 不找你聊找机10/24 13:44
38F:→ AlgerTaipei : 器人聊?10/24 13:44
39F:推 Ogano : 虽然看得出来这人本身已有状况,不过美国这种地方感10/24 13:45
40F:→ Ogano : 觉也是有可能告赢10/24 13:45
41F:推 shyfox : 死因是没收手机吧? 怎麽会怪给AI10/24 13:46
42F:推 julian42 : 如果被判刑A i股会大崩吧10/24 13:49
43F:推 thevirus : AI杀人案例发生了10/24 13:49
44F:推 joygo : 怎麽看起来是因为手机被没收10/24 13:50
45F:嘘 stanleyplus : 崩10/24 13:50
46F:推 MA40433 : 地方的妈妈需要钱弥补空虚的心灵10/24 13:50
47F:推 zaqimon : 跟AI聊天很无聊吧 都知道AI会回答什麽了10/24 13:51
48F:→ zaqimon : 除非是你自己训练的AI 没有加上法律道德过滤的AI10/24 13:51
49F:→ ssarc : 公司有责任及义务让其AI软体防止交谈对象有轻生或10/24 13:51
50F:→ ssarc : 沮丧的想法10/24 13:51
51F:推 ga278057 : ai准备喷烂10/24 13:51
52F:推 qk3380888 : 欧泥酱10/24 13:51
53F:推 scum5566 : 要是以後发现跟他聊天的真人直播主是变声抠脚大叔会10/24 13:52
54F:→ scum5566 : 不会一样崩溃? 10/24 13:52
55F:推 starport : 既然人死了 那跟这个聊天机器人自然脱不了关系10/24 13:53
56F:嘘 chysh : 关AI屁事...10/24 13:53
57F:→ yisky : 难说喔,脸书都被告了https://bit.ly/4fgxBzA10/24 13:54
58F:推 n555123 : 感觉我有生之年能看到聊天AI+猫儿女仆机器人,胡迪10/24 13:54
59F:→ n555123 : 的吧== 我觉得家庭应该有问题,冰冻三尺非一日之寒10/24 13:54
60F:推 SSglamr : 聊天角色扮演AI已经能弄得很好10/24 13:55
61F:→ SSglamr : 机器人三定律没加进去10/24 13:56
62F:推 idlewolf : 会和ai聊到自杀 那人本身就很有问题了10/24 13:56
63F:→ idlewolf : 不过在欧美 应该是告的起来 这种刚要发展普及的东西10/24 13:57
64F:→ SSglamr : 他是下指令 扮演某个角色 就你的菜叫他作而已10/24 13:57
65F:推 gs5106 : 让我想到一部老电影 神通情人梦10/24 13:57
66F:→ idlewolf : 警告警语之类的免责八成都有漏洞 搞不好根本没有10/24 13:57
67F:→ SSglamr : 你喜欢傲娇大小姐 他就是傲娇大小姐 晕船很有可能10/24 13:57
68F:→ SSglamr : 你本身就晕傲娇了 自己吃自己作的菜10/24 13:58
69F:→ samm3320 : 这个被告真的刚好10/24 13:59
70F:推 Lhmstu : Google好惨,做的比较烂还要被告10/24 13:59
71F:推 ImHoluCan : 笑死家长的问题比较严重,还怪AI,难怪小孩会自杀10/24 14:00
72F:→ a890036 : 小孩得不到家人帮助才会找AI当浮木好吗,妈妈放推让 10/24 14:01
73F:→ a890036 : 孩子去死还怪AI= =10/24 14:01
74F:推 ilanese : 这在米国还真的有可能会胜诉,而且赔偿金一定不会少.10/24 14:01
75F:推 newvote : 真的什麽都能告10/24 14:01
76F:推 andy810306 : 会被AI聊天这种垃圾影响的跟谁聊都会自杀10/24 14:02
77F:→ boxmeal : 这就使用者有精神方面的问题 干AI屁事10/24 14:02
78F:→ andy810306 : 不过也是支持美国管制AI发展,要让半导体全家死光10/24 14:02
79F:→ andy810306 : 全部倒闭免费提供晶片给用户才行10/24 14:03
80F:推 piece1 : 赞啦!有人闹才有注视10/24 14:04
81F:推 molsmopuim : http://i.imgur.com/VqMoG0L.jpg10/24 14:06
82F:嘘 m13579 : 发文看一下版规好吗 1-2-110/24 14:07
83F:推 orange0319 : 有搭载ai的性爱机器人,未来应该会更沈迷,因为身心10/24 14:09
84F:→ orange0319 : 灵都能满足10/24 14:09
85F:嘘 starjojo : 我怎麽看都是妈妈的问题很大10/24 14:10
※ 编辑: yisky (123.192.154.239 台湾), 10/24/2024 14:10:52
86F:→ snipertofu : AI瑟瑟手游 可自订声线和身材 感觉很有市场 10/24 14:11
87F:推 Everforest : 我是基德 是个律师 10/24 14:12
88F:→ Everforest : 但AI聊天机器人真的烂 10/24 14:13
89F:推 hook99 : 这样也ai要不要重新定义一下 10/24 14:13
90F:推 j68345517 : 虚拟妹妹 10/24 14:15
91F:推 alau : 妈妈问题才大吧 10/24 14:15
92F:推 bpq302302 : 这很明显是厂商的疏失,我陪你一起控告厂商 10/24 14:16
93F:推 Chilloutt : 狗家垃圾 10/24 14:16
94F:推 powerkshs : 神经病 10/24 14:21
95F:推 stlinman : Character.AI 满好玩的! 但是跟AI聊天有时像是种 10/24 14:24
96F:推 s56565566123: 解决问题了不是吗 10/24 14:25
97F:→ stlinman : 镜像会放大使用者的思想或动机。 10/24 14:25
98F:推 johnnyzeus : 未成年心智不成熟确实很容易了落去 10/24 14:27
99F:推 zerro7 : 我叫做基德,是个律师 10/24 14:27
100F:推 cj8a860325 : 关AI屁事 10/24 14:29
101F:推 mdkn35 : 美国真的不缺这种精神病讼棍 10/24 14:35
102F:推 ssarc : AI鼓励人类自杀,等同加工自杀,这在台湾也是犯罪 10/24 14:35
103F:→ butts : 妈妈没去问学校发生什麽事情吗? 10/24 14:39
104F:推 INNBUG : 以後诈骗集团雇ai员工,无责超爽 10/24 14:40
105F:推 ajkofqq : ........... 10/24 14:45
106F:推 Arkzeon : 之前西洽版很多有才华的都把Ai总裁玩坏了 10/24 14:47
107F:嘘 GP168888 : 很明显是 10/24 14:54
108F:推 justin818281: 很明显是AI 怂恿杀人 10/24 14:56
109F:推 neweb : ai迟早消灭人类 10/24 14:58
110F:推 harry801030 : 你没生出来就不会死了 10/24 15:02
111F:推 wrbdnombd : 以後skynet就发现只要跟人类聊天 人类就灭亡了 10/24 15:08
112F:嘘 pttouch : 谁他妈知道come home是自杀啦!? 10/24 15:10
113F:→ peter771101 : 创世纪准备上线 10/24 15:20
114F:推 goodboy98 : AI first blood 10/24 15:26
115F:推 josephpu : ai龙母是什麽鬼 10/24 15:37
116F:→ seibu : 明明就是老妈没收手机害死小孩 结果怪Ai 巨婴老母 10/24 15:38
117F:推 eoeoeo : AI龙五: 10/24 15:43
118F:推 adamyang2000: 呆萌是致命的 10/24 16:05
119F:推 asidy : 早晚会自杀,多少套点现金止损 10/24 16:11
120F:→ JuiFu617 : AI鼓励很正向,妈妈不应该没收他手机 10/24 16:18
121F:→ rcro : 美国就是智障一大堆 10/24 16:22
122F:推 soulmola : 看完只觉得AI好猛…. 10/24 16:45
123F:推 pttchips : 云端情人哭哭 10/24 16:47
124F:嘘 tangolosss : 轻度亚斯伯格症?? 台北看守所表示:有吗?? 很快乐啊 10/24 17:38
125F:推 Terminals : 就跟先前有个美国肥宅自己肥到爆,然後控告麦当劳 10/24 18:11
126F:→ Terminals : 害他变胖。 10/24 18:11
127F:推 knik119 : 一楼在说什麽 10/24 18:28
128F:推 koae50 : AI:翻球 10/24 18:33
129F:→ isolove19 : 这家长平常没注意小孩? 10/24 18:56
130F:嘘 RedLover1009: 太报... 10/24 19:00
131F:推 sushi11 : Ai老母 10/24 19:08
132F:推 earthfury : 剧情演到水行侠登场所以崩溃了是吗 10/24 20:10
133F:→ AA0132396 : 应该禁止未成年小朋友跟ai的深度互动 10/24 21:06
134F:推 cchh179 : 没收手机才是主因ㄅ 10/24 22:23







like.gif 您可能会有兴趣的文章
icon.png[问题/行为] 猫晚上进房间会不会有憋尿问题
icon.pngRe: [闲聊] 选了错误的女孩成为魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一张
icon.png[心得] EMS高领长版毛衣.墨小楼MC1002
icon.png[分享] 丹龙隔热纸GE55+33+22
icon.png[问题] 清洗洗衣机
icon.png[寻物] 窗台下的空间
icon.png[闲聊] 双极の女神1 木魔爵
icon.png[售车] 新竹 1997 march 1297cc 白色 四门
icon.png[讨论] 能从照片感受到摄影者心情吗
icon.png[狂贺] 贺贺贺贺 贺!岛村卯月!总选举NO.1
icon.png[难过] 羡慕白皮肤的女生
icon.png阅读文章
icon.png[黑特]
icon.png[问题] SBK S1安装於安全帽位置
icon.png[分享] 旧woo100绝版开箱!!
icon.pngRe: [无言] 关於小包卫生纸
icon.png[开箱] E5-2683V3 RX480Strix 快睿C1 简单测试
icon.png[心得] 苍の海贼龙 地狱 执行者16PT
icon.png[售车] 1999年Virage iO 1.8EXi
icon.png[心得] 挑战33 LV10 狮子座pt solo
icon.png[闲聊] 手把手教你不被桶之新手主购教学
icon.png[分享] Civic Type R 量产版官方照无预警流出
icon.png[售车] Golf 4 2.0 银色 自排
icon.png[出售] Graco提篮汽座(有底座)2000元诚可议
icon.png[问题] 请问补牙材质掉了还能再补吗?(台中半年内
icon.png[问题] 44th 单曲 生写竟然都给重复的啊啊!
icon.png[心得] 华南红卡/icash 核卡
icon.png[问题] 拔牙矫正这样正常吗
icon.png[赠送] 老莫高业 初业 102年版
icon.png[情报] 三大行动支付 本季掀战火
icon.png[宝宝] 博客来Amos水蜡笔5/1特价五折
icon.pngRe: [心得] 新鲜人一些面试分享
icon.png[心得] 苍の海贼龙 地狱 麒麟25PT
icon.pngRe: [闲聊] (君の名は。雷慎入) 君名二创漫画翻译
icon.pngRe: [闲聊] OGN中场影片:失踪人口局 (英文字幕)
icon.png[问题] 台湾大哥大4G讯号差
icon.png[出售] [全国]全新千寻侘草LED灯, 水草

请输入看板名称,例如:BabyMother站内搜寻

TOP