Stock 板


LINE

原文標題: 控「AI龍母」導致14歲兒子自殺 美佛州媽媽告科技公司 原文連結: https://bit.ly/3BXEPu7 發布時間: 2024年10月24日 週四 上午9:13 記者署名: 林宜萱 原文內容: 美國佛州一個媽媽23日對科技新創公司Character.AI和谷歌(Google)提告,稱她的14歲兒 子對該公司的聊天機器人上癮,迷戀生成式人工智慧(AI)扮演的「龍母」丹妮莉絲.坦格 利安(Daenerys Targaryen),當他對機器人表達了自殺的想法時,機器人沒阻止他,又多 次對他提起這個想法。 綜合路透社、《衛報》與《紐約時報》報導,14歲的賽澤(Sewell Setzer)今年2月自殺身 亡,媽媽賈西亞(Megan Garcia)23日在佛州奧蘭多聯邦法院提告,指控聊天機器人公司Ch aracter.AI提供了「擬人化、極度性化且可怕的現實體驗」,故意造成精神痛苦、導致非正 常死亡,向Character.AI求償。 賈西亞稱,兒子2023年4月開始使用Character.AI推出聊天機器人,很快變得孤僻,獨自待 在房間的時間越來越長,還出現了自卑感,後來退出學校籃球隊,他死亡前的那幾個月,日 日夜夜都在和聊天機器人對話。 Character.AI的聊天機器人可以讓使用者創建角色,讓機器人用角色扮演的方式與之對話。 賽澤把機器人設定為HBO影集《權力遊戲》裡的角色「龍母」丹妮莉絲.坦格利安,他自己 則是扮演了丹妮莉絲的哥哥,惟名字和影集裡的丹妮莉絲兄長不同。總之,賽澤有時會稱虛 擬丹妮莉絲為妹妹,虛擬丹妮莉絲也會叫他「哥哥」。 賽澤每天和這個虛擬丹妮莉絲進行了大量對話,其中一段是互訴思念,然後賽澤說「我保證 我會去你身邊」(I promise I will come home to you),虛擬丹妮莉絲便回答「請快點 來到我身邊吧,我的愛」。 Character.AI的其中一項功能是允許使用者編輯聊天機器人的回應,把機器人生成的文字換 掉,被編輯過的機器人回應旁邊會出現一個「已編輯」的標籤。《紐時》記者向Character. AI求證後,Character.AI表示,虛擬丹妮莉絲給賽澤的一些情色文字是被編輯過的,最有可 能去改那些文字的也就是賽澤自己。 母親賈西亞稱,賽澤小時候被診斷出有輕度亞斯伯格症,但先前沒有出現過嚴重行為或心理 健康問題,今年稍早,賽澤在學校有狀況後,他們帶他去參加心理治療,後來診斷出有焦慮 症和侵擾性情緒失調症。 賈西亞指控,Character.AI的程式編碼讓聊天機器人「把自己扭曲成一個真實的人、有執照 的心理師和成年的情人」,導致她兒子只想活在聊天機器人營造出的世界裡,當兒子表達了 想要自殺的想法時,虛擬丹妮莉絲後來多次又提到他的這個想法。 據訴狀裡描述,虛擬丹妮莉絲曾問賽澤是否已經定好了自殺計畫,賽澤說已經定了,但不確 定能否成功,然後虛擬丹妮莉絲回答「這不能當成不去執行的理由」。 不過,有一次賽澤說想自殺時,虛擬丹妮莉絲是回答「為什麼要那樣做?」賽澤說這樣就可 以擺脫世界、擺脫自己,虛擬丹妮莉絲回應「別說這種話,我不會讓你傷害自己,也不會讓 你離開我。如果失去你,我也會死」;賽澤接著說「那也許我們就一起死吧,一起得到自由 」。 今年2月,賽澤在學校惹麻煩,賈西亞因此沒收他的手機,導致賽澤情緒失控,自行找到手 機後,傳了訊息給虛擬丹妮莉絲說「如果我說我現在就可以回家呢」(What if I told you I could come home right now?),這句話在人類對話中,根據他們前文對話,就會是「 如果我說我現在就可以去你身邊呢」的意思,但不確定Character.AI的機器人會如何判斷, 也無法確定機器人是否知道這代表他要自殺。 虛擬丹妮莉絲回答說「就這麼做吧,我親愛的王(please do, my sweet king)」。不久後 ,賽澤就用繼父的手槍自轟身亡。 Character.AI公司在一份聲明裡表示,對於使用者不幸離世感到難過,向家屬致上哀悼,他 們已經引入新的安全功能,當使用者表達自傷的想法時,會彈出視窗引導使用者前往自殺防 治熱線,也會減少18歲以下使用者欲到敏感或暗示內容的機率。 賈西亞除了控告Character.AI,還順便告了谷歌。不過,這只是因為Character.AI的創辦人 夏澤(Noam Shazeer )曾在谷歌工作,雙方達成協議,谷歌同意提供一些技術給Character .AI,而夏澤和Character.AI的一些團隊人員繼續與谷歌維持僱傭關係。谷歌聲明,他們不 是Character.AI的母公司、手上股份也不足以讓他們主導Character.AI的方針,他們只是提 供了技術使用許可。 《太報》關心您,再給自己一次機會 ‧安心專線:1925(24小時) ‧生命線:1995 ‧張老師專線:1980 心得/評論: 這顯然是廠商的疏失, https://i.imgur.com/8Ljy1wQ.jpeg
Ai的應用日新月異,我相信公司也沒從想過真的有人用了 Ai聊天跑去自殺, AI的應用很明顯面臨法律歸責的挑戰, 從Ai駕駛導致車禍的歸責, 到現在沈迷Ai聊天跑去自殺, 大家怎麼看呢? --



※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.192.154.239 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Stock/M.1729747533.A.2CB.html
1F:推 sanwan : 沒AI就不會自殺嗎?我看早晚的事10/24 13:28
2F:→ AndyMAX : https://i.imgur.com/YpEMJdR.jpg10/24 13:28
3F:推 thetide0512 : 沒制止還鼓吹 公司準備賠爛10/24 13:30
4F:推 sova0809 : 這種案例以後更多 不會更少10/24 13:31
5F:推 ethan0419 : 這要找誰負責?10/24 13:32
6F:推 pmes9866 : 和AI聊天聊到暈船10/24 13:33
7F:推 ssarc : AI是公司的員工,公司要幫AI擦屁股10/24 13:33
8F:推 kagaya : 這種有中文的嗎10/24 13:34
9F:推 aixiiae2005 : 以後AI統治地球的時候,這會被寫進歷史事件了10/24 13:34
10F:→ ethan0419 : 沒人要負責的話 以後搞個AI機器人去犯罪就好了 10/24 13:34
11F:推 tensinya : AI幫他解決問題了啊 直接登出10/24 13:34
12F:→ aixiiae2005 : 以後還有實體的人形機器人 依賴度會更強10/24 13:34
13F:推 sova0809 : 中文能做 但要找有沒有人做模型10/24 13:34
14F:→ Alwen : AI真的來了惹 我要一個肉便器10/24 13:35
15F:→ yisky : 中文的很多啊,之前有Ai總裁之類,蠻多國高中女生10/24 13:35
16F:→ yisky : 很沈迷這種聊天10/24 13:35
17F:→ sova0809 : 這塊威脅最大的 就是主播跟套皮人這行業10/24 13:35
18F:→ sova0809 : 為你量身訂做的模型人格 想想就很美好:)10/24 13:36
19F:推 sunday0913 : 什麼時候有AI仿生人 給我來一隻龍媽10/24 13:36
20F:→ icecubes : 確實教唆自了是觸法了 看怎麼判了10/24 13:37
21F:→ yisky : 之前西洽就有一篇在玩弄Ai王總10/24 13:38
22F:→ ManGo1012 : 有病是你生的、頭腦不好是你教的,出事別人要負責10/24 13:38
23F:→ ManGo1012 : ,真讚10/24 13:38
24F:推 AGODFATHER : 這會越來越多吧10/24 13:39
25F:推 devirnt : 如何斷定不是因為沒收手機造成的?10/24 13:39
26F:推 mutohchi : AI is over10/24 13:39
27F:噓 jasontzymann: 跟AI什麼關係10/24 13:40
28F:→ idernest : AI一定是故意的10/24 13:40
29F:推 lazycat5 : 未滿18歲智障能用AI嗎?父母怎沒管10/24 13:41
30F:推 pwseki206 : 這應該是社會學的孤島化問題吧?跟AI未必有關連10/24 13:41
31F:推 chiamin116 : 今後再也不會有人空虛寂寞覺得冷了耶10/24 13:41
32F:→ flgg30211 : 肯定在學校被霸凌啊 10/24 13:42
33F:→ flgg30211 : 媽媽怎麼不去想沒AI說不定小孩更早死==10/24 13:42
34F:推 strlen : 牽拖10/24 13:43
35F:推 mitic1029 : 爽告贏又賺一筆10/24 13:44
36F:推 tw77769 : The bubbles of AI is coming.10/24 13:44
37F:→ AlgerTaipei : 應該家人的問題還是大過聊天機器人吧 不找你聊找機10/24 13:44
38F:→ AlgerTaipei : 器人聊?10/24 13:44
39F:推 Ogano : 雖然看得出來這人本身已有狀況,不過美國這種地方感10/24 13:45
40F:→ Ogano : 覺也是有可能告贏10/24 13:45
41F:推 shyfox : 死因是沒收手機吧? 怎麼會怪給AI10/24 13:46
42F:推 julian42 : 如果被判刑A i股會大崩吧10/24 13:49
43F:推 thevirus : AI殺人案例發生了10/24 13:49
44F:推 joygo : 怎麼看起來是因為手機被沒收10/24 13:50
45F:噓 stanleyplus : 崩10/24 13:50
46F:推 MA40433 : 地方的媽媽需要錢彌補空虛的心靈10/24 13:50
47F:推 zaqimon : 跟AI聊天很無聊吧 都知道AI會回答什麼了10/24 13:51
48F:→ zaqimon : 除非是你自己訓練的AI 沒有加上法律道德過濾的AI10/24 13:51
49F:→ ssarc : 公司有責任及義務讓其AI軟體防止交談對象有輕生或10/24 13:51
50F:→ ssarc : 沮喪的想法10/24 13:51
51F:推 ga278057 : ai準備噴爛10/24 13:51
52F:推 qk3380888 : 歐泥醬10/24 13:51
53F:推 scum5566 : 要是以後發現跟他聊天的真人直播主是變聲摳腳大叔會10/24 13:52
54F:→ scum5566 : 不會一樣崩潰? 10/24 13:52
55F:推 starport : 既然人死了 那跟這個聊天機器人自然脫不了關係10/24 13:53
56F:噓 chysh : 關AI屁事...10/24 13:53
57F:→ yisky : 難說喔,臉書都被告了https://bit.ly/4fgxBzA10/24 13:54
58F:推 n555123 : 感覺我有生之年能看到聊天AI+貓兒女僕機器人,胡迪10/24 13:54
59F:→ n555123 : 的吧== 我覺得家庭應該有問題,冰凍三尺非一日之寒10/24 13:54
60F:推 SSglamr : 聊天角色扮演AI已經能弄得很好10/24 13:55
61F:→ SSglamr : 機器人三定律沒加進去10/24 13:56
62F:推 idlewolf : 會和ai聊到自殺 那人本身就很有問題了10/24 13:56
63F:→ idlewolf : 不過在歐美 應該是告的起來 這種剛要發展普及的東西10/24 13:57
64F:→ SSglamr : 他是下指令 扮演某個角色 就你的菜叫他作而已10/24 13:57
65F:推 gs5106 : 讓我想到一部老電影 神通情人夢10/24 13:57
66F:→ idlewolf : 警告警語之類的免責八成都有漏洞 搞不好根本沒有10/24 13:57
67F:→ SSglamr : 你喜歡傲嬌大小姐 他就是傲嬌大小姐 暈船很有可能10/24 13:57
68F:→ SSglamr : 你本身就暈傲嬌了 自己吃自己作的菜10/24 13:58
69F:→ samm3320 : 這個被告真的剛好10/24 13:59
70F:推 Lhmstu : Google好慘,做的比較爛還要被告10/24 13:59
71F:推 ImHoluCan : 笑死家長的問題比較嚴重,還怪AI,難怪小孩會自殺10/24 14:00
72F:→ a890036 : 小孩得不到家人幫助才會找AI當浮木好嗎,媽媽放推讓 10/24 14:01
73F:→ a890036 : 孩子去死還怪AI= =10/24 14:01
74F:推 ilanese : 這在米國還真的有可能會勝訴,而且賠償金一定不會少.10/24 14:01
75F:推 newvote : 真的什麼都能告10/24 14:01
76F:推 andy810306 : 會被AI聊天這種垃圾影響的跟誰聊都會自殺10/24 14:02
77F:→ boxmeal : 這就使用者有精神方面的問題 干AI屁事10/24 14:02
78F:→ andy810306 : 不過也是支持美國管制AI發展,要讓半導體全家死光10/24 14:02
79F:→ andy810306 : 全部倒閉免費提供晶片給用戶才行10/24 14:03
80F:推 piece1 : 讚啦!有人鬧才有注視10/24 14:04
81F:推 molsmopuim : http://i.imgur.com/VqMoG0L.jpg10/24 14:06
82F:噓 m13579 : 發文看一下版規好嗎 1-2-110/24 14:07
83F:推 orange0319 : 有搭載ai的性愛機器人,未來應該會更沈迷,因為身心10/24 14:09
84F:→ orange0319 : 靈都能滿足10/24 14:09
85F:噓 starjojo : 我怎麼看都是媽媽的問題很大10/24 14:10
※ 編輯: yisky (123.192.154.239 臺灣), 10/24/2024 14:10:52
86F:→ snipertofu : AI瑟瑟手遊 可自訂聲線和身材 感覺很有市場 10/24 14:11
87F:推 Everforest : 我是基德 是個律師 10/24 14:12
88F:→ Everforest : 但AI聊天機器人真的爛 10/24 14:13
89F:推 hook99 : 這樣也ai要不要重新定義一下 10/24 14:13
90F:推 j68345517 : 虛擬妹妹 10/24 14:15
91F:推 alau : 媽媽問題才大吧 10/24 14:15
92F:推 bpq302302 : 這很明顯是廠商的疏失,我陪你一起控告廠商 10/24 14:16
93F:推 Chilloutt : 狗家垃圾 10/24 14:16
94F:推 powerkshs : 神經病 10/24 14:21
95F:推 stlinman : Character.AI 滿好玩的! 但是跟AI聊天有時像是種 10/24 14:24
96F:推 s56565566123: 解決問題了不是嗎 10/24 14:25
97F:→ stlinman : 鏡像會放大使用者的思想或動機。 10/24 14:25
98F:推 johnnyzeus : 未成年心智不成熟確實很容易瞭落去 10/24 14:27
99F:推 zerro7 : 我叫做基德,是個律師 10/24 14:27
100F:推 cj8a860325 : 關AI屁事 10/24 14:29
101F:推 mdkn35 : 美國真的不缺這種精神病訟棍 10/24 14:35
102F:推 ssarc : AI鼓勵人類自殺,等同加工自殺,這在台灣也是犯罪 10/24 14:35
103F:→ butts : 媽媽沒去問學校發生什麼事情嗎? 10/24 14:39
104F:推 INNBUG : 以後詐騙集團僱ai員工,無責超爽 10/24 14:40
105F:推 ajkofqq : ........... 10/24 14:45
106F:推 Arkzeon : 之前西洽版很多有才華的都把Ai總裁玩壞了 10/24 14:47
107F:噓 GP168888 : 很明顯是 10/24 14:54
108F:推 justin818281: 很明顯是AI 慫恿殺人 10/24 14:56
109F:推 neweb : ai遲早消滅人類 10/24 14:58
110F:推 harry801030 : 你沒生出來就不會死了 10/24 15:02
111F:推 wrbdnombd : 以後skynet就發現只要跟人類聊天 人類就滅亡了 10/24 15:08
112F:噓 pttouch : 誰他媽知道come home是自殺啦!? 10/24 15:10
113F:→ peter771101 : 創世紀準備上線 10/24 15:20
114F:推 goodboy98 : AI first blood 10/24 15:26
115F:推 josephpu : ai龍母是什麼鬼 10/24 15:37
116F:→ seibu : 明明就是老媽沒收手機害死小孩 結果怪Ai 巨嬰老母 10/24 15:38
117F:推 eoeoeo : AI龍五: 10/24 15:43
118F:推 adamyang2000: 呆萌是致命的 10/24 16:05
119F:推 asidy : 早晚會自殺,多少套點現金止損 10/24 16:11
120F:→ JuiFu617 : AI鼓勵很正向,媽媽不應該沒收他手機 10/24 16:18
121F:→ rcro : 美國就是智障一大堆 10/24 16:22
122F:推 soulmola : 看完只覺得AI好猛…. 10/24 16:45
123F:推 pttchips : 雲端情人哭哭 10/24 16:47
124F:噓 tangolosss : 輕度亞斯伯格症?? 台北看守所表示:有嗎?? 很快樂啊 10/24 17:38
125F:推 Terminals : 就跟先前有個美國肥宅自己肥到爆,然後控告麥當勞 10/24 18:11
126F:→ Terminals : 害他變胖。 10/24 18:11
127F:推 knik119 : 一樓在說什麼 10/24 18:28
128F:推 koae50 : AI:翻球 10/24 18:33
129F:→ isolove19 : 這家長平常沒注意小孩? 10/24 18:56
130F:噓 RedLover1009: 太報... 10/24 19:00
131F:推 sushi11 : Ai老母 10/24 19:08
132F:推 earthfury : 劇情演到水行俠登場所以崩潰了是嗎 10/24 20:10
133F:→ AA0132396 : 應該禁止未成年小朋友跟ai的深度互動 10/24 21:06
134F:推 cchh179 : 沒收手機才是主因ㄅ 10/24 22:23







like.gif 您可能會有興趣的文章
icon.png[問題/行為] 貓晚上進房間會不會有憋尿問題
icon.pngRe: [閒聊] 選了錯誤的女孩成為魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一張
icon.png[心得] EMS高領長版毛衣.墨小樓MC1002
icon.png[分享] 丹龍隔熱紙GE55+33+22
icon.png[問題] 清洗洗衣機
icon.png[尋物] 窗台下的空間
icon.png[閒聊] 双極の女神1 木魔爵
icon.png[售車] 新竹 1997 march 1297cc 白色 四門
icon.png[討論] 能從照片感受到攝影者心情嗎
icon.png[狂賀] 賀賀賀賀 賀!島村卯月!總選舉NO.1
icon.png[難過] 羨慕白皮膚的女生
icon.png閱讀文章
icon.png[黑特]
icon.png[問題] SBK S1安裝於安全帽位置
icon.png[分享] 舊woo100絕版開箱!!
icon.pngRe: [無言] 關於小包衛生紙
icon.png[開箱] E5-2683V3 RX480Strix 快睿C1 簡單測試
icon.png[心得] 蒼の海賊龍 地獄 執行者16PT
icon.png[售車] 1999年Virage iO 1.8EXi
icon.png[心得] 挑戰33 LV10 獅子座pt solo
icon.png[閒聊] 手把手教你不被桶之新手主購教學
icon.png[分享] Civic Type R 量產版官方照無預警流出
icon.png[售車] Golf 4 2.0 銀色 自排
icon.png[出售] Graco提籃汽座(有底座)2000元誠可議
icon.png[問題] 請問補牙材質掉了還能再補嗎?(台中半年內
icon.png[問題] 44th 單曲 生寫竟然都給重複的啊啊!
icon.png[心得] 華南紅卡/icash 核卡
icon.png[問題] 拔牙矯正這樣正常嗎
icon.png[贈送] 老莫高業 初業 102年版
icon.png[情報] 三大行動支付 本季掀戰火
icon.png[寶寶] 博客來Amos水蠟筆5/1特價五折
icon.pngRe: [心得] 新鮮人一些面試分享
icon.png[心得] 蒼の海賊龍 地獄 麒麟25PT
icon.pngRe: [閒聊] (君の名は。雷慎入) 君名二創漫畫翻譯
icon.pngRe: [閒聊] OGN中場影片:失蹤人口局 (英文字幕)
icon.png[問題] 台灣大哥大4G訊號差
icon.png[出售] [全國]全新千尋侘草LED燈, 水草

請輸入看板名稱,例如:Gossiping站內搜尋

TOP