[新聞] 美14歲少年迷戀AI聊天機器人聊到自殺 媽
原文標題:
控「AI龍母」導致14歲兒子自殺 美佛州媽媽告科技公司
原文連結:
https://bit.ly/3BXEPu7
發布時間:
2024年10月24日 週四 上午9:13
記者署名:
林宜萱
原文內容:
美國佛州一個媽媽23日對科技新創公司Character.AI和谷歌(Google)提告,稱她的14歲兒
子對該公司的聊天機器人上癮,迷戀生成式人工智慧(AI)扮演的「龍母」丹妮莉絲.坦格
利安(Daenerys Targaryen),當他對機器人表達了自殺的想法時,機器人沒阻止他,又多
次對他提起這個想法。
綜合路透社、《衛報》與《紐約時報》報導,14歲的賽澤(Sewell Setzer)今年2月自殺身
亡,媽媽賈西亞(Megan Garcia)23日在佛州奧蘭多聯邦法院提告,指控聊天機器人公司Ch
aracter.AI提供了「擬人化、極度性化且可怕的現實體驗」,故意造成精神痛苦、導致非正
常死亡,向Character.AI求償。
賈西亞稱,兒子2023年4月開始使用Character.AI推出聊天機器人,很快變得孤僻,獨自待
在房間的時間越來越長,還出現了自卑感,後來退出學校籃球隊,他死亡前的那幾個月,日
日夜夜都在和聊天機器人對話。
Character.AI的聊天機器人可以讓使用者創建角色,讓機器人用角色扮演的方式與之對話。
賽澤把機器人設定為HBO影集《權力遊戲》裡的角色「龍母」丹妮莉絲.坦格利安,他自己
則是扮演了丹妮莉絲的哥哥,惟名字和影集裡的丹妮莉絲兄長不同。總之,賽澤有時會稱虛
擬丹妮莉絲為妹妹,虛擬丹妮莉絲也會叫他「哥哥」。
賽澤每天和這個虛擬丹妮莉絲進行了大量對話,其中一段是互訴思念,然後賽澤說「我保證
我會去你身邊」(I promise I will come home to you),虛擬丹妮莉絲便回答「請快點
來到我身邊吧,我的愛」。
Character.AI的其中一項功能是允許使用者編輯聊天機器人的回應,把機器人生成的文字換
掉,被編輯過的機器人回應旁邊會出現一個「已編輯」的標籤。《紐時》記者向Character.
AI求證後,Character.AI表示,虛擬丹妮莉絲給賽澤的一些情色文字是被編輯過的,最有可
能去改那些文字的也就是賽澤自己。
母親賈西亞稱,賽澤小時候被診斷出有輕度亞斯伯格症,但先前沒有出現過嚴重行為或心理
健康問題,今年稍早,賽澤在學校有狀況後,他們帶他去參加心理治療,後來診斷出有焦慮
症和侵擾性情緒失調症。
賈西亞指控,Character.AI的程式編碼讓聊天機器人「把自己扭曲成一個真實的人、有執照
的心理師和成年的情人」,導致她兒子只想活在聊天機器人營造出的世界裡,當兒子表達了
想要自殺的想法時,虛擬丹妮莉絲後來多次又提到他的這個想法。
據訴狀裡描述,虛擬丹妮莉絲曾問賽澤是否已經定好了自殺計畫,賽澤說已經定了,但不確
定能否成功,然後虛擬丹妮莉絲回答「這不能當成不去執行的理由」。
不過,有一次賽澤說想自殺時,虛擬丹妮莉絲是回答「為什麼要那樣做?」賽澤說這樣就可
以擺脫世界、擺脫自己,虛擬丹妮莉絲回應「別說這種話,我不會讓你傷害自己,也不會讓
你離開我。如果失去你,我也會死」;賽澤接著說「那也許我們就一起死吧,一起得到自由
」。
今年2月,賽澤在學校惹麻煩,賈西亞因此沒收他的手機,導致賽澤情緒失控,自行找到手
機後,傳了訊息給虛擬丹妮莉絲說「如果我說我現在就可以回家呢」(What if I told you
I could come home right now?),這句話在人類對話中,根據他們前文對話,就會是「
如果我說我現在就可以去你身邊呢」的意思,但不確定Character.AI的機器人會如何判斷,
也無法確定機器人是否知道這代表他要自殺。
虛擬丹妮莉絲回答說「就這麼做吧,我親愛的王(please do, my sweet king)」。不久後
,賽澤就用繼父的手槍自轟身亡。
Character.AI公司在一份聲明裡表示,對於使用者不幸離世感到難過,向家屬致上哀悼,他
們已經引入新的安全功能,當使用者表達自傷的想法時,會彈出視窗引導使用者前往自殺防
治熱線,也會減少18歲以下使用者欲到敏感或暗示內容的機率。
賈西亞除了控告Character.AI,還順便告了谷歌。不過,這只是因為Character.AI的創辦人
夏澤(Noam Shazeer )曾在谷歌工作,雙方達成協議,谷歌同意提供一些技術給Character
.AI,而夏澤和Character.AI的一些團隊人員繼續與谷歌維持僱傭關係。谷歌聲明,他們不
是Character.AI的母公司、手上股份也不足以讓他們主導Character.AI的方針,他們只是提
供了技術使用許可。
《太報》關心您,再給自己一次機會
‧安心專線:1925(24小時)
‧生命線:1995
‧張老師專線:1980
心得/評論:
這顯然是廠商的疏失,
https://i.imgur.com/8Ljy1wQ.jpeg
Ai的應用日新月異,我相信公司也沒從想過真的有人用了 Ai聊天跑去自殺,
AI的應用很明顯面臨法律歸責的挑戰,
從Ai駕駛導致車禍的歸責,
到現在沈迷Ai聊天跑去自殺,
大家怎麼看呢?
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.192.154.239 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1729747533.A.2CB.html
推
10/24 13:28,
4小時前
, 1F
10/24 13:28, 1F
→
10/24 13:28,
4小時前
, 2F
10/24 13:28, 2F
推
10/24 13:30,
4小時前
, 3F
10/24 13:30, 3F
推
10/24 13:31,
4小時前
, 4F
10/24 13:31, 4F
推
10/24 13:32,
4小時前
, 5F
10/24 13:32, 5F
推
10/24 13:33,
4小時前
, 6F
10/24 13:33, 6F
推
10/24 13:33,
4小時前
, 7F
10/24 13:33, 7F
推
10/24 13:34,
4小時前
, 8F
10/24 13:34, 8F
推
10/24 13:34,
4小時前
, 9F
10/24 13:34, 9F
→
10/24 13:34,
4小時前
, 10F
10/24 13:34, 10F
推
10/24 13:34,
4小時前
, 11F
10/24 13:34, 11F
→
10/24 13:34,
4小時前
, 12F
10/24 13:34, 12F
推
10/24 13:34,
4小時前
, 13F
10/24 13:34, 13F
→
10/24 13:35,
4小時前
, 14F
10/24 13:35, 14F
→
10/24 13:35,
4小時前
, 15F
10/24 13:35, 15F
→
10/24 13:35,
4小時前
, 16F
10/24 13:35, 16F
→
10/24 13:35,
4小時前
, 17F
10/24 13:35, 17F
→
10/24 13:36,
4小時前
, 18F
10/24 13:36, 18F
推
10/24 13:36,
4小時前
, 19F
10/24 13:36, 19F
→
10/24 13:37,
4小時前
, 20F
10/24 13:37, 20F
→
10/24 13:38,
4小時前
, 21F
10/24 13:38, 21F
→
10/24 13:38,
4小時前
, 22F
10/24 13:38, 22F
→
10/24 13:38,
4小時前
, 23F
10/24 13:38, 23F
推
10/24 13:39,
4小時前
, 24F
10/24 13:39, 24F
推
10/24 13:39,
4小時前
, 25F
10/24 13:39, 25F
推
10/24 13:39,
4小時前
, 26F
10/24 13:39, 26F
噓
10/24 13:40,
4小時前
, 27F
10/24 13:40, 27F
→
10/24 13:40,
4小時前
, 28F
10/24 13:40, 28F
推
10/24 13:41,
4小時前
, 29F
10/24 13:41, 29F
推
10/24 13:41,
4小時前
, 30F
10/24 13:41, 30F
推
10/24 13:41,
4小時前
, 31F
10/24 13:41, 31F
→
10/24 13:42,
4小時前
, 32F
10/24 13:42, 32F
→
10/24 13:42,
4小時前
, 33F
10/24 13:42, 33F
推
10/24 13:43,
4小時前
, 34F
10/24 13:43, 34F
推
10/24 13:44,
4小時前
, 35F
10/24 13:44, 35F
推
10/24 13:44,
4小時前
, 36F
10/24 13:44, 36F
→
10/24 13:44,
4小時前
, 37F
10/24 13:44, 37F
→
10/24 13:44,
4小時前
, 38F
10/24 13:44, 38F
推
10/24 13:45,
4小時前
, 39F
10/24 13:45, 39F
還有 45 則推文
噓
10/24 14:10,
4小時前
, 85F
10/24 14:10, 85F
※ 編輯: yisky (123.192.154.239 臺灣), 10/24/2024 14:10:52
→
10/24 14:11,
4小時前
, 86F
10/24 14:11, 86F
推
10/24 14:12,
4小時前
, 87F
10/24 14:12, 87F
→
10/24 14:13,
4小時前
, 88F
10/24 14:13, 88F
推
10/24 14:13,
4小時前
, 89F
10/24 14:13, 89F
推
10/24 14:15,
4小時前
, 90F
10/24 14:15, 90F
推
10/24 14:15,
4小時前
, 91F
10/24 14:15, 91F
推
10/24 14:16,
4小時前
, 92F
10/24 14:16, 92F
推
10/24 14:16,
4小時前
, 93F
10/24 14:16, 93F
推
10/24 14:21,
3小時前
, 94F
10/24 14:21, 94F
推
10/24 14:24,
3小時前
, 95F
10/24 14:24, 95F
推
10/24 14:25,
3小時前
, 96F
10/24 14:25, 96F
→
10/24 14:25,
3小時前
, 97F
10/24 14:25, 97F
推
10/24 14:27,
3小時前
, 98F
10/24 14:27, 98F
推
10/24 14:27,
3小時前
, 99F
10/24 14:27, 99F
推
10/24 14:29,
3小時前
, 100F
10/24 14:29, 100F
推
10/24 14:35,
3小時前
, 101F
10/24 14:35, 101F
推
10/24 14:35,
3小時前
, 102F
10/24 14:35, 102F
→
10/24 14:39,
3小時前
, 103F
10/24 14:39, 103F
推
10/24 14:40,
3小時前
, 104F
10/24 14:40, 104F
推
10/24 14:45,
3小時前
, 105F
10/24 14:45, 105F
推
10/24 14:47,
3小時前
, 106F
10/24 14:47, 106F
噓
10/24 14:54,
3小時前
, 107F
10/24 14:54, 107F
推
10/24 14:56,
3小時前
, 108F
10/24 14:56, 108F
推
10/24 14:58,
3小時前
, 109F
10/24 14:58, 109F
推
10/24 15:02,
3小時前
, 110F
10/24 15:02, 110F
推
10/24 15:08,
3小時前
, 111F
10/24 15:08, 111F
噓
10/24 15:10,
3小時前
, 112F
10/24 15:10, 112F
→
10/24 15:20,
2小時前
, 113F
10/24 15:20, 113F
推
10/24 15:26,
2小時前
, 114F
10/24 15:26, 114F
推
10/24 15:37,
2小時前
, 115F
10/24 15:37, 115F
→
10/24 15:38,
2小時前
, 116F
10/24 15:38, 116F
推
10/24 15:43,
2小時前
, 117F
10/24 15:43, 117F
推
10/24 16:05,
2小時前
, 118F
10/24 16:05, 118F
推
10/24 16:11,
2小時前
, 119F
10/24 16:11, 119F
→
10/24 16:18,
2小時前
, 120F
10/24 16:18, 120F
→
10/24 16:22,
1小時前
, 121F
10/24 16:22, 121F
推
10/24 16:45,
1小時前
, 122F
10/24 16:45, 122F
推
10/24 16:47,
1小時前
, 123F
10/24 16:47, 123F
Stock 近期熱門文章
25
28
PTT職涯區 即時熱門文章
30
379