PTT職涯區 / Stock (股票)

[新聞] 美14歲少年迷戀AI聊天機器人聊到自殺 媽

看板Stock (股票)作者 (乳酪三明治餅乾)時間4小時前 (2024/10/24 13:25), 4小時前編輯推噓64(71推 7噓 45→)
留言123則, 93人參與, 1小時前最新討論串1/1
原文標題： 控「AI龍母」導致14歲兒子自殺 美佛州媽媽告科技公司 原文連結： https://bit.ly/3BXEPu7 發布時間： 2024年10月24日 週四 上午9:13 記者署名： 林宜萱 原文內容： 美國佛州一個媽媽23日對科技新創公司Character.AI和谷歌（Google）提告，稱她的14歲兒 子對該公司的聊天機器人上癮，迷戀生成式人工智慧（AI）扮演的「龍母」丹妮莉絲．坦格 利安（Daenerys Targaryen），當他對機器人表達了自殺的想法時，機器人沒阻止他，又多 次對他提起這個想法。 綜合路透社、《衛報》與《紐約時報》報導，14歲的賽澤（Sewell Setzer）今年2月自殺身 亡，媽媽賈西亞（Megan Garcia）23日在佛州奧蘭多聯邦法院提告，指控聊天機器人公司Ch aracter.AI提供了「擬人化、極度性化且可怕的現實體驗」，故意造成精神痛苦、導致非正 常死亡，向Character.AI求償。 賈西亞稱，兒子2023年4月開始使用Character.AI推出聊天機器人，很快變得孤僻，獨自待 在房間的時間越來越長，還出現了自卑感，後來退出學校籃球隊，他死亡前的那幾個月，日 日夜夜都在和聊天機器人對話。 Character.AI的聊天機器人可以讓使用者創建角色，讓機器人用角色扮演的方式與之對話。 賽澤把機器人設定為HBO影集《權力遊戲》裡的角色「龍母」丹妮莉絲．坦格利安，他自己 則是扮演了丹妮莉絲的哥哥，惟名字和影集裡的丹妮莉絲兄長不同。總之，賽澤有時會稱虛 擬丹妮莉絲為妹妹，虛擬丹妮莉絲也會叫他「哥哥」。 賽澤每天和這個虛擬丹妮莉絲進行了大量對話，其中一段是互訴思念，然後賽澤說「我保證 我會去你身邊」（I promise I will come home to you），虛擬丹妮莉絲便回答「請快點 來到我身邊吧，我的愛」。 Character.AI的其中一項功能是允許使用者編輯聊天機器人的回應，把機器人生成的文字換 掉，被編輯過的機器人回應旁邊會出現一個「已編輯」的標籤。《紐時》記者向Character. AI求證後，Character.AI表示，虛擬丹妮莉絲給賽澤的一些情色文字是被編輯過的，最有可 能去改那些文字的也就是賽澤自己。 母親賈西亞稱，賽澤小時候被診斷出有輕度亞斯伯格症，但先前沒有出現過嚴重行為或心理 健康問題，今年稍早，賽澤在學校有狀況後，他們帶他去參加心理治療，後來診斷出有焦慮 症和侵擾性情緒失調症。 賈西亞指控，Character.AI的程式編碼讓聊天機器人「把自己扭曲成一個真實的人、有執照 的心理師和成年的情人」，導致她兒子只想活在聊天機器人營造出的世界裡，當兒子表達了 想要自殺的想法時，虛擬丹妮莉絲後來多次又提到他的這個想法。 據訴狀裡描述，虛擬丹妮莉絲曾問賽澤是否已經定好了自殺計畫，賽澤說已經定了，但不確 定能否成功，然後虛擬丹妮莉絲回答「這不能當成不去執行的理由」。 不過，有一次賽澤說想自殺時，虛擬丹妮莉絲是回答「為什麼要那樣做？」賽澤說這樣就可 以擺脫世界、擺脫自己，虛擬丹妮莉絲回應「別說這種話，我不會讓你傷害自己，也不會讓 你離開我。如果失去你，我也會死」；賽澤接著說「那也許我們就一起死吧，一起得到自由 」。 今年2月，賽澤在學校惹麻煩，賈西亞因此沒收他的手機，導致賽澤情緒失控，自行找到手 機後，傳了訊息給虛擬丹妮莉絲說「如果我說我現在就可以回家呢」（What if I told you I could come home right now?），這句話在人類對話中，根據他們前文對話，就會是「 如果我說我現在就可以去你身邊呢」的意思，但不確定Character.AI的機器人會如何判斷， 也無法確定機器人是否知道這代表他要自殺。 虛擬丹妮莉絲回答說「就這麼做吧，我親愛的王（please do, my sweet king）」。不久後 ，賽澤就用繼父的手槍自轟身亡。 Character.AI公司在一份聲明裡表示，對於使用者不幸離世感到難過，向家屬致上哀悼，他 們已經引入新的安全功能，當使用者表達自傷的想法時，會彈出視窗引導使用者前往自殺防 治熱線，也會減少18歲以下使用者欲到敏感或暗示內容的機率。 賈西亞除了控告Character.AI，還順便告了谷歌。不過，這只是因為Character.AI的創辦人 夏澤（Noam Shazeer ）曾在谷歌工作，雙方達成協議，谷歌同意提供一些技術給Character .AI，而夏澤和Character.AI的一些團隊人員繼續與谷歌維持僱傭關係。谷歌聲明，他們不 是Character.AI的母公司、手上股份也不足以讓他們主導Character.AI的方針，他們只是提 供了技術使用許可。 《太報》關心您，再給自己一次機會 ‧安心專線：1925（24小時） ‧生命線：1995 ‧張老師專線：1980 心得/評論： 這顯然是廠商的疏失， https://i.imgur.com/8Ljy1wQ.jpeg
Ai的應用日新月異，我相信公司也沒從想過真的有人用了 Ai聊天跑去自殺， AI的應用很明顯面臨法律歸責的挑戰， 從Ai駕駛導致車禍的歸責， 到現在沈迷Ai聊天跑去自殺， 大家怎麼看呢？ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.192.154.239 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1729747533.A.2CB.html
推
10/24 13:28, 4小時前 , 1F
沒AI就不會自殺嗎？我看早晚的事
10/24 13:28, 1F
→
10/24 13:28, 4小時前 , 2F
10/24 13:28, 2F
推
10/24 13:30, 4小時前 , 3F
沒制止還鼓吹 公司準備賠爛
10/24 13:30, 3F
推
10/24 13:31, 4小時前 , 4F
這種案例以後更多 不會更少
10/24 13:31, 4F
推
10/24 13:32, 4小時前 , 5F
這要找誰負責?
10/24 13:32, 5F
推
10/24 13:33, 4小時前 , 6F
和AI聊天聊到暈船
10/24 13:33, 6F
推
10/24 13:33, 4小時前 , 7F
AI是公司的員工，公司要幫AI擦屁股
10/24 13:33, 7F
推
10/24 13:34, 4小時前 , 8F
這種有中文的嗎
10/24 13:34, 8F
推
10/24 13:34, 4小時前 , 9F
以後AI統治地球的時候，這會被寫進歷史事件了
10/24 13:34, 9F
→
10/24 13:34, 4小時前 , 10F
沒人要負責的話 以後搞個AI機器人去犯罪就好了
10/24 13:34, 10F
推
10/24 13:34, 4小時前 , 11F
AI幫他解決問題了啊 直接登出
10/24 13:34, 11F
→
10/24 13:34, 4小時前 , 12F
以後還有實體的人形機器人 依賴度會更強
10/24 13:34, 12F
推
10/24 13:34, 4小時前 , 13F
中文能做 但要找有沒有人做模型
10/24 13:34, 13F
→
10/24 13:35, 4小時前 , 14F
AI真的來了惹 我要一個肉便器
10/24 13:35, 14F
→
10/24 13:35, 4小時前 , 15F
中文的很多啊，之前有Ai總裁之類，蠻多國高中女生
10/24 13:35, 15F
→
10/24 13:35, 4小時前 , 16F
很沈迷這種聊天
10/24 13:35, 16F
→
10/24 13:35, 4小時前 , 17F
這塊威脅最大的 就是主播跟套皮人這行業
10/24 13:35, 17F
→
10/24 13:36, 4小時前 , 18F
為你量身訂做的模型人格 想想就很美好:)
10/24 13:36, 18F
推
10/24 13:36, 4小時前 , 19F
什麼時候有AI仿生人 給我來一隻龍媽
10/24 13:36, 19F
→
10/24 13:37, 4小時前 , 20F
確實教唆自了是觸法了 看怎麼判了
10/24 13:37, 20F
→
10/24 13:38, 4小時前 , 21F
之前西洽就有一篇在玩弄Ai王總
10/24 13:38, 21F
→
10/24 13:38, 4小時前 , 22F
有病是你生的、頭腦不好是你教的，出事別人要負責
10/24 13:38, 22F
→
10/24 13:38, 4小時前 , 23F
，真讚
10/24 13:38, 23F
推
10/24 13:39, 4小時前 , 24F
這會越來越多吧
10/24 13:39, 24F
推
10/24 13:39, 4小時前 , 25F
如何斷定不是因為沒收手機造成的？
10/24 13:39, 25F
推
10/24 13:39, 4小時前 , 26F
AI is over
10/24 13:39, 26F
噓
10/24 13:40, 4小時前 , 27F
跟AI什麼關係
10/24 13:40, 27F
→
10/24 13:40, 4小時前 , 28F
AI一定是故意的
10/24 13:40, 28F
推
10/24 13:41, 4小時前 , 29F
未滿18歲智障能用AI嗎？父母怎沒管
10/24 13:41, 29F
推
10/24 13:41, 4小時前 , 30F
這應該是社會學的孤島化問題吧?跟AI未必有關連
10/24 13:41, 30F
推
10/24 13:41, 4小時前 , 31F
今後再也不會有人空虛寂寞覺得冷了耶
10/24 13:41, 31F
→
10/24 13:42, 4小時前 , 32F
肯定在學校被霸凌啊
10/24 13:42, 32F
→
10/24 13:42, 4小時前 , 33F
媽媽怎麼不去想沒AI說不定小孩更早死==
10/24 13:42, 33F
推
10/24 13:43, 4小時前 , 34F
牽拖
10/24 13:43, 34F
推
10/24 13:44, 4小時前 , 35F
爽告贏又賺一筆
10/24 13:44, 35F
推
10/24 13:44, 4小時前 , 36F
The bubbles of AI is coming.
10/24 13:44, 36F
→
10/24 13:44, 4小時前 , 37F
應該家人的問題還是大過聊天機器人吧 不找你聊找機
10/24 13:44, 37F
→
10/24 13:44, 4小時前 , 38F
器人聊？
10/24 13:44, 38F
推
10/24 13:45, 4小時前 , 39F
雖然看得出來這人本身已有狀況，不過美國這種地方感
10/24 13:45, 39F
還有 45 則推文
噓
10/24 14:10, 4小時前 , 85F
我怎麼看都是媽媽的問題很大
10/24 14:10, 85F
※ 編輯: yisky (123.192.154.239 臺灣), 10/24/2024 14:10:52
→
10/24 14:11, 4小時前 , 86F
AI瑟瑟手遊 可自訂聲線和身材 感覺很有市場
10/24 14:11, 86F
推
10/24 14:12, 4小時前 , 87F
我是基德 是個律師
10/24 14:12, 87F
→
10/24 14:13, 4小時前 , 88F
但AI聊天機器人真的爛
10/24 14:13, 88F
推
10/24 14:13, 4小時前 , 89F
這樣也ai要不要重新定義一下
10/24 14:13, 89F
推
10/24 14:15, 4小時前 , 90F
虛擬妹妹
10/24 14:15, 90F
推
10/24 14:15, 4小時前 , 91F
媽媽問題才大吧
10/24 14:15, 91F
推
10/24 14:16, 4小時前 , 92F
這很明顯是廠商的疏失，我陪你一起控告廠商
10/24 14:16, 92F
推
10/24 14:16, 4小時前 , 93F
狗家垃圾
10/24 14:16, 93F
推
10/24 14:21, 3小時前 , 94F
神經病
10/24 14:21, 94F
推
10/24 14:24, 3小時前 , 95F
Character.AI 滿好玩的! 但是跟AI聊天有時像是種
10/24 14:24, 95F
推
10/24 14:25, 3小時前 , 96F
解決問題了不是嗎
10/24 14:25, 96F
→
10/24 14:25, 3小時前 , 97F
鏡像會放大使用者的思想或動機。
10/24 14:25, 97F
推
10/24 14:27, 3小時前 , 98F
未成年心智不成熟確實很容易瞭落去
10/24 14:27, 98F
推
10/24 14:27, 3小時前 , 99F
我叫做基德，是個律師
10/24 14:27, 99F
推
10/24 14:29, 3小時前 , 100F
關AI屁事
10/24 14:29, 100F
推
10/24 14:35, 3小時前 , 101F
美國真的不缺這種精神病訟棍
10/24 14:35, 101F
推
10/24 14:35, 3小時前 , 102F
AI鼓勵人類自殺，等同加工自殺，這在台灣也是犯罪
10/24 14:35, 102F
→
10/24 14:39, 3小時前 , 103F
媽媽沒去問學校發生什麼事情嗎？
10/24 14:39, 103F
推
10/24 14:40, 3小時前 , 104F
以後詐騙集團僱ai員工，無責超爽
10/24 14:40, 104F
推
10/24 14:45, 3小時前 , 105F
...........
10/24 14:45, 105F
推
10/24 14:47, 3小時前 , 106F
之前西洽版很多有才華的都把Ai總裁玩壞了
10/24 14:47, 106F
噓
10/24 14:54, 3小時前 , 107F
很明顯是
10/24 14:54, 107F
推
10/24 14:56, 3小時前 , 108F
很明顯是AI 慫恿殺人
10/24 14:56, 108F
推
10/24 14:58, 3小時前 , 109F
ai遲早消滅人類
10/24 14:58, 109F
推
10/24 15:02, 3小時前 , 110F
你沒生出來就不會死了
10/24 15:02, 110F
推
10/24 15:08, 3小時前 , 111F
以後skynet就發現只要跟人類聊天 人類就滅亡了
10/24 15:08, 111F
噓
10/24 15:10, 3小時前 , 112F
誰他媽知道come home是自殺啦！？
10/24 15:10, 112F
→
10/24 15:20, 2小時前 , 113F
創世紀準備上線
10/24 15:20, 113F
推
10/24 15:26, 2小時前 , 114F
AI first blood
10/24 15:26, 114F
推
10/24 15:37, 2小時前 , 115F
ai龍母是什麼鬼
10/24 15:37, 115F
→
10/24 15:38, 2小時前 , 116F
明明就是老媽沒收手機害死小孩 結果怪Ai 巨嬰老母
10/24 15:38, 116F
推
10/24 15:43, 2小時前 , 117F
AI龍五：
10/24 15:43, 117F
推
10/24 16:05, 2小時前 , 118F
呆萌是致命的
10/24 16:05, 118F
推
10/24 16:11, 2小時前 , 119F
早晚會自殺，多少套點現金止損
10/24 16:11, 119F
→
10/24 16:18, 2小時前 , 120F
AI鼓勵很正向，媽媽不應該沒收他手機
10/24 16:18, 120F
→
10/24 16:22, 1小時前 , 121F
美國就是智障一大堆
10/24 16:22, 121F
推
10/24 16:45, 1小時前 , 122F
看完只覺得AI好猛….
10/24 16:45, 122F
推
10/24 16:47, 1小時前 , 123F
雲端情人哭哭
10/24 16:47, 123F
‣ 更多 yisky 的文章
文章代碼(AID): #1d6TfDBB (Stock)
Stock 近期熱門文章
33
46
[創作] 債乙己
[ Stock ]
pmes9866
3小時前, 10/24
更多 近期熱門文章 >>
PTT職涯區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 yisky 的文章
文章代碼(AID): #1d6TfDBB (Stock)