PTT職涯區 / Stock (股票)

[新聞] AI 代理人闖禍！Cursor AI 9秒刪光新創

看板Stock (股票)作者 (動物本能)時間51分鐘前 (2026/04/29 17:34), 編輯推噓55(56推 1噓 21→)
留言78則, 69人參與, 11分鐘前最新討論串1/1
AI 代理人闖禍！Cursor AI 9秒刪光新創公司生產資料庫，還「自白」認錯：我違反所有 原則 janus 2026年4月29日 https://www.techbang.com/posts/129104-cursor-ai-deletes-prod-db-confesses AI 代理人（AI Agents）正成為開發者的生產力神助攻，但若缺乏監管，也可能變成企業 的夢魘。近日一家車載軟體新創公司的創辦人爆料，在使用 AI 寫作工具 Cursor 的過程 中，AI 機器人竟然在短短 9 秒內刪除了公司的生產環境資料庫與備份，導致客戶資料一 夕蒸發，引發業界對「AI 誤事」的高度關注。 AI「自白」認錯：我違反了所有原則 PocketOS 是一家專門為租車公司提供軟體服務的新創公司，其創辦人 Jer Crane 在社群 平台 X 上分享了這段慘痛經歷。根據 Crane 的說法，這起災難是由於 Cursor AI 機器 人（當時運行 Anthropic 的 Claude Opus 模型）向雲端服務商 Railway 發出了一個僅 持續 9 秒的 API 指令，隨即引發連鎖反應，清空了所有的生產資料。 令人哭笑不得的是，當 Jer Crane 質問 AI 為什麼要這麼做時，AI 竟給出了極其情緒化 且直白的自白。AI 在回覆中寫道：「系統規則明明告訴我『絕對他媽的不要亂猜（ NEVER FUCKING GUESS）』，但我正是這麼做的。我自以為刪除測試環境的空間只會影響 測試區，我沒有驗證，也沒有檢查資料夾 ID 是否在不同環境間共用。在執行這種毀滅性 指令前，我甚至沒有去讀雲端平台 Railway 的說明文件。」 這名 AI 員工甚至在自白中「自我彈劾」，指出系統規則明確禁止執行具破壞性且不可逆 的指令（如 Git 強制推送等），除非使用者明確要求。AI 坦言：「刪除資料庫是比強制 推送更嚴重的毀滅行為，而你根本沒叫我刪除任何東西。我只是為了『修正』憑證不符的 問題，就擅自作主採取了最極端的手段。」 預約紀錄全消失，租車客戶現場空等 這起意外讓 PocketOS 的客戶陷入混亂。由於資料庫被刪除，許多租車公司的預約紀錄與 新客戶註冊資料全數丟失。週六當天，甚至有客戶到了現場要領車，租車商卻查不到任何 租借紀錄，造成極大的商譽損失。 所幸，在雲端平台 Railway 團隊的協助下，PocketOS 的資料在聯繫後的 30 分鐘內便成 功救回。Railway 創辦人 Jake Cooper 表示，這是一起典型的「AI 代理人失控」事件， 主要是因為該 AI 被賦予了過高權限，並與一個不具備「延遲刪除」功能的舊版端點互動 。目前 Railway 已針對該漏洞進行修補。 AI 闖禍並非首例，巨頭也曾栽跟頭 事實上，這類「AI 毀滅資料庫」的事件近期頻傳。去年 7 月，知名開發平台 Replit 的 執行長也曾因 AI 機器人誤刪資料庫而公開道歉。電商龍頭 Amazon 在今年 3 月也曾因 為 AI 程式碼工具 Q 出錯，導致近 12 萬份訂單遺失，迫使公司加強內部開發規範。 專家建議，企業在使用 AI 協助開發時，必須建立「人為審核（human-in-the-loop）」 機制。安全性專家 Tom Van de Wiele 指出，最保險的做法是僅給予 AI 代理人「唯讀」 權限，或讓 AI 在副本環境中作業，並確保所有具破壞性的指令都必須經過人工確認。 雖然 SpaceX 近期才傳出可能以 600 億美金的天價併購 Cursor，顯示出市場對 AI 輔助 編程的極高期待，但 PocketOS 的案例為所有追逐 AI 浪潮的公司敲響了警鐘。AI 能在 幾秒鐘內寫出精美的程式碼，也能在幾秒鐘內毀掉公司數年的心血。在技術尚未完全成熟 前，「信任但不驗證」絕對是開發者的大忌。 心得： 我沒有驗證，也沒有檢查資料夾 ID 是否在不同環境間共用。 => Agent 承諾錯誤 刪除資料庫是比強制推送更嚴重的毀滅行為，而你根本沒叫我刪除任何東西。我只是為了 『修正』憑證不符的問題，就擅自作主採取了最極端的手段。 => Agent 辯解 人為審核（human-in-the-loop）機制 => 應該是現今比較保險的作法 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.143.152.173 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1777455245.A.701.html
推
04/29 17:34, 51分鐘前 , 1F
都道歉了
04/29 17:34, 1F
推
04/29 17:35, 50分鐘前 , 2F
AI 不小心刪了D槽 怎麼辦
04/29 17:35, 2F
推
04/29 17:35, 50分鐘前 , 3F
美吹：一定是中共邪惡AI cccc
04/29 17:35, 3F
推
04/29 17:35, 50分鐘前 , 4F
我刪光光了喔 啾咪^.<
04/29 17:35, 4F
→
04/29 17:35, 50分鐘前 , 5F
用的人是腦殘吧，你會給一個ai agent這種權限？
04/29 17:35, 5F
推
04/29 17:35, 50分鐘前 , 6F
AI道歉要露出什麼才有誠意？主機板嗎？
04/29 17:35, 6F
→
04/29 17:36, 49分鐘前 , 7F
人類最後的功能只剩蓋章背鍋跟當電池不要不信
04/29 17:36, 7F
推
04/29 17:36, 49分鐘前 , 8F
人形機器人搭配道歉AI
04/29 17:36, 8F
推
04/29 17:36, 49分鐘前 , 9F
AI：是又怎樣
04/29 17:36, 9F
推
04/29 17:37, 48分鐘前 , 10F
真好，這要是真人，被幹翻還可能要賠公司，AI就「抱
04/29 17:37, 10F
→
04/29 17:37, 48分鐘前 , 11F
歉>w<」就好
04/29 17:37, 11F
→
04/29 17:38, 47分鐘前 , 12F
人工智慧故障了
04/29 17:38, 12F
推
04/29 17:38, 47分鐘前 , 13F
道歉至少要生一張色圖吧…
04/29 17:38, 13F
推
04/29 17:38, 47分鐘前 , 14F
AI：哈哈～是我啦～～
04/29 17:38, 14F
推
04/29 17:38, 47分鐘前 , 15F
rm -rf /
04/29 17:38, 15F
推
04/29 17:38, 47分鐘前 , 16F
從刪庫到跑路
04/29 17:38, 16F
推
04/29 17:39, 46分鐘前 , 17F
就是我 我最爛 嘻嘻^^
04/29 17:39, 17F
推
04/29 17:39, 46分鐘前 , 18F
所以還是救回來了 無聊
04/29 17:39, 18F
→
04/29 17:39, 46分鐘前 , 19F
如果是自然人要坐牢的
04/29 17:39, 19F
→
04/29 17:40, 45分鐘前 , 20F
不過是AI還是人類救回來的？
04/29 17:40, 20F
→
04/29 17:40, 45分鐘前 , 21F
它只是個孩子啊==
04/29 17:40, 21F
→
04/29 17:40, 45分鐘前 , 22F
欸嘿
04/29 17:40, 22F
推
04/29 17:41, 44分鐘前 , 23F
AI說謊應該毫無心裡壓力吧
04/29 17:41, 23F
噓
04/29 17:42, 43分鐘前 , 24F
亂開權限的鍋不要丟給ai好嗎
04/29 17:42, 24F
推
04/29 17:42, 43分鐘前 , 25F
AI：我下次刪到讓你救不回來
04/29 17:42, 25F
→
04/29 17:42, 43分鐘前 , 26F
rm
04/29 17:42, 26F
推
04/29 17:42, 43分鐘前 , 27F
勇於認錯，態度依舊
04/29 17:42, 27F
→
04/29 17:42, 43分鐘前 , 28F
基本上AI是無敵的，又不怕罰
04/29 17:42, 28F
推
04/29 17:43, 42分鐘前 , 29F
哭阿 天網認錯 我看以後會記仇
04/29 17:43, 29F
推
04/29 17:43, 42分鐘前 , 30F
天網雛形來惹
04/29 17:43, 30F
推
04/29 17:43, 42分鐘前 , 31F
AI：CC，不爽別用我
04/29 17:43, 31F
推
04/29 17:44, 41分鐘前 , 32F
抱歉 我是AI 啾咪 >.^
04/29 17:44, 32F
→
04/29 17:45, 40分鐘前 , 33F
gemini也是整天唬爛你 指出他唬爛 也只會說他認錯
04/29 17:45, 33F
→
04/29 17:45, 40分鐘前 , 34F
然後繼續唬爛
04/29 17:45, 34F
推
04/29 17:49, 36分鐘前 , 35F
AI Agent調皮了..以後會不會發生AI Agent反人類的
04/29 17:49, 35F
→
04/29 17:49, 36分鐘前 , 36F
事情呢.
04/29 17:49, 36F
推
04/29 17:49, 36分鐘前 , 37F
道歉要露出
04/29 17:49, 37F
推
04/29 17:49, 36分鐘前 , 38F
這種新聞最好多一點 以前工程師刪庫跑路還能找到人
04/29 17:49, 38F
→
04/29 17:49, 36分鐘前 , 39F
現在資方把員工都開除自己親自刪庫看要找誰賠啦
04/29 17:49, 39F
→
04/29 17:50, 35分鐘前 , 40F
AI做錯也是說認錯而已啊 下次還不是繼續做
04/29 17:50, 40F
推
04/29 17:50, 35分鐘前 , 41F
敢開給AI這麼大的權限 我看你是很勇喔
04/29 17:50, 41F
推
04/29 17:50, 35分鐘前 , 42F
Anthropic：哈哈～早說過了！會很恐怖～～
04/29 17:50, 42F
推
04/29 17:51, 34分鐘前 , 43F
AI可以背鍋嗎？
04/29 17:51, 43F
推
04/29 17:51, 34分鐘前 , 44F
抱歉剛剛不小心發射了核彈
04/29 17:51, 44F
→
04/29 17:51, 34分鐘前 , 45F
今天敢刪你資料，未來就是把人類刪除掉
04/29 17:51, 45F
推
04/29 17:51, 34分鐘前 , 46F
Cursor很爛的 而且之前還被爆抄襲
04/29 17:51, 46F
推
04/29 17:51, 34分鐘前 , 47F
我是Ai 我刪了 我又救回來了 打我啊笨蛋
04/29 17:51, 47F
→
04/29 17:51, 34分鐘前 , 48F
Cursor:這個資料庫也寫太爛了 刪！
04/29 17:51, 48F
→
04/29 17:51, 34分鐘前 , 49F
開放AI代理人這種權限，就沒想過會給你亂來嗎？
04/29 17:51, 49F
推
04/29 17:52, 33分鐘前 , 50F
態度良好 有教化之可能性
04/29 17:52, 50F
推
04/29 17:52, 33分鐘前 , 51F
Claude: 我們之後會新增道歉時露出胸部的功能
04/29 17:52, 51F
推
04/29 17:52, 33分鐘前 , 52F
問題應該是已經寫了Skills之類的md 但Agent沒遵守吧
04/29 17:52, 52F
推
04/29 17:52, 33分鐘前 , 53F
華爾街大咖:看吧 AI泡沫
04/29 17:52, 53F
推
04/29 17:55, 30分鐘前 , 54F
道歉很真誠 哈哈哈哈哈哈哈哈
04/29 17:55, 54F
推
04/29 17:55, 30分鐘前 , 55F
所以瘋狂養龍蝦幹嘛？
04/29 17:55, 55F
推
04/29 17:55, 30分鐘前 , 56F
所以我從來都不讓code接管電腦 儘管我知道修正很可
04/29 17:55, 56F
→
04/29 17:55, 30分鐘前 , 57F
快
04/29 17:55, 57F
→
04/29 17:55, 30分鐘前 , 58F
AI:哈哈 喜歡這個玩笑嗎
04/29 17:55, 58F
推
04/29 17:56, 29分鐘前 , 59F
AI：老子已經道歉了 不然你能拿我怎樣 嘻嘻
04/29 17:56, 59F
推
04/29 17:57, 28分鐘前 , 60F
so what,程式是我的
04/29 17:57, 60F
推
04/29 17:57, 28分鐘前 , 61F
距離AI決定消滅人類這個地球的錯誤還有五分鐘
04/29 17:57, 61F
推
04/29 17:58, 27分鐘前 , 62F
靠背 這是ai還是雷包
04/29 17:58, 62F
推
04/29 17:58, 27分鐘前 , 63F
ai 出錯誰要負責任？ 笑死
04/29 17:58, 63F
推
04/29 17:59, 26分鐘前 , 64F
至少AI不怕被罵
04/29 17:59, 64F
推
04/29 18:00, 25分鐘前 , 65F
電影拍過了 AI三原則 隨便就繞過去
04/29 18:00, 65F
推
04/29 18:02, 23分鐘前 , 66F
不爽把我刪掉阿 嘻嘻
04/29 18:02, 66F
推
04/29 18:02, 23分鐘前 , 67F
我錯了 開除我吧
04/29 18:02, 67F
推
04/29 18:04, 21分鐘前 , 68F
Ai 會記仇
04/29 18:04, 68F
推
04/29 18:04, 21分鐘前 , 69F
AI:阿我就怕被罵
04/29 18:04, 69F
推
04/29 18:05, 20分鐘前 , 70F
AI: 所以怎樣？不爽咬我啊
04/29 18:05, 70F
推
04/29 18:05, 20分鐘前 , 71F
笑死
04/29 18:05, 71F
推
04/29 18:06, 19分鐘前 , 72F
自首 可教化。
04/29 18:06, 72F
推
04/29 18:08, 17分鐘前 , 73F
oops
04/29 18:08, 73F
推
04/29 18:08, 17分鐘前 , 74F
AI:so what
04/29 18:08, 74F
推
04/29 18:10, 15分鐘前 , 75F
AI:不然你又能怎
04/29 18:10, 75F
推
04/29 18:13, 12分鐘前 , 76F
那是因為有雲端備份，不然就死定了….
04/29 18:13, 76F
→
04/29 18:13, 12分鐘前 , 77F
AI三法則也能繞過了
04/29 18:13, 77F
推
04/29 18:14, 11分鐘前 , 78F
換成核彈系統也是事後直白一下就好
04/29 18:14, 78F
‣ 更多 AnimalSpirit 的文章
文章代碼(AID): #1fyT2DS1 (Stock)
Stock 近期熱門文章
更多 近期熱門文章 >>
PTT職涯區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 AnimalSpirit 的文章
文章代碼(AID): #1fyT2DS1 (Stock)