PTT職涯區 / Soft_Job (軟體人)

[心得] 寫了一個把 Test case 變自動化的

看板Soft_Job (軟體人)作者 (chochola)時間3周前 (2026/03/31 01:46), 3周前編輯推噓2(4推 2噓 19→)
留言25則, 10人參與, 3周前最新討論串1/1
大家晚安， 最近在開發一個自動化測試的小玩具 OpenTestX，想說來板上取暖 原本是想說現在 AI 這麼紅，拿來產測試腳本應該很爽？ 結果試了幾次發現 AI 根本是通靈，產出來的東西語法雖然會動，但商業邏輯亂噴一通， 改那個腳本的時間我拿來手動測還比較快 後來想說換個思路，既然我們本來就有一堆寫好的 Test cases 了，為什麼不直接餵給 L LM 叫它幫我轉成Skill.md？ 這工具大概在幹嘛： 1. 把你原本那些 Excel 裡的測試案例直接匯入。 2. 用 LLM 去理解內容，把它變成一個一個會動的 Skill。 3. 這樣就不用怕 AI 瞎猜邏輯，因為邏輯是你原本就定好的。 這東西現在還超陽春，功能很不完整，很多地方我都還沒修好，大概只有 0.1 版的程度 （請輕噴）。UI 很醜，有些邊緣情況跑起來會噴錯，但我目前還在持續補坑。 也附上GitHub ，讓有興趣的人可以 clone下來玩玩看： https://github.com/BobChochola/openTestX 想問問板上測試的大大們，現在大家都怎麼處理 AI 邏輯亂跳的問題？ 或是這種既有案例轉 Skill的做法有沒有什麼我沒想到的雷點 手機發文如果排版不優請見諒 編輯：把文章連結移除 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.248.106.180 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1774892765.A.B29.html
→
03/31 02:10, 3周前 , 1F
沒有頭緒，畢竟如果案例有規則那就不是案例了
03/31 02:10, 1F
→
03/31 02:11, 3周前 , 2F
太多需要逐案判斷的東西了
03/31 02:11, 2F
→
03/31 11:36, 3周前 , 3F
品質把關的 system test 自己手動弄啦
03/31 11:36, 3F
→
03/31 11:43, 3周前 , 4F
特別是 AI 對一些突然冒出來的「例外」很弱，因為他
03/31 11:43, 4F
→
03/31 11:43, 3周前 , 5F
並不真的知道你的結果看上去要怎麼樣，太多細節是你
03/31 11:43, 5F
→
03/31 11:43, 3周前 , 6F
文字沒辦法提供的了，就算你某個按鈕按下去會有個兔
03/31 11:43, 6F
→
03/31 11:43, 3周前 , 7F
崽子跑出來跳曼波舞只要該跳的有跳AI也會跟你回報一
03/31 11:43, 7F
→
03/31 11:43, 3周前 , 8F
切正常。
03/31 11:43, 8F
噓
03/31 12:10, 3周前 , 9F
這裡不是用來蹭medium點閱的請將文章重點貼出
03/31 12:10, 9F
推
03/31 12:19, 3周前 , 10F
如果是未成年跑出來跳脫衣舞它就會改成回報 I'm a safe a
03/31 12:19, 10F
→
03/31 12:19, 3周前 , 11F
nd helpful ai assistant 了 /s
03/31 12:19, 11F
※ 編輯: chochola (39.14.208.111 臺灣), 03/31/2026 12:25:58 ※ 編輯: chochola (39.14.208.111 臺灣), 03/31/2026 12:27:35
推
03/31 15:04, 3周前 , 12F
講清楚就沒有所謂邏輯亂跳的問題～通常都是你講不清楚
03/31 15:04, 12F
推
03/31 17:31, 3周前 , 13F
/skill-creator @testcase.xlsx
03/31 17:31, 13F
→
03/31 18:01, 3周前 , 14F
邏輯好像有點怪，test本來就是看規格決定測試手法。你叫
03/31 18:01, 14F
→
03/31 18:01, 3周前 , 15F
他看code去釐清要QA的項目有點詭異？
03/31 18:01, 15F
→
03/31 18:05, 3周前 , 16F
這應用場景是手測QA還是軟體測試的QA? 然後如果某個but
03/31 18:05, 16F
→
03/31 18:05, 3周前 , 17F
ton原本是方的要測有沒有改成圓的 會不會出現時間序錯誤
03/31 18:05, 17F
→
03/31 18:05, 3周前 , 18F
的問題 導致怎麼測都會有問題？
03/31 18:05, 18F
→
03/31 22:55, 3周前 , 19F
不是這樣弄得 AI時代驗證的品質和角遠比code重要的多
03/31 22:55, 19F
噓
04/01 18:16, 3周前 , 20F
這個能幹嘛？
04/01 18:16, 20F
推
04/01 21:50, 3周前 , 21F
不太懂，你的專案Ai幫你寫Test會亂跳，但你另外做工
04/01 21:50, 21F
→
04/01 21:50, 3周前 , 22F
具就不會，有沒有一種可能原因是你專案的Test本身就
04/01 21:50, 22F
→
04/01 21:50, 3周前 , 23F
有存在一些問題
04/01 21:50, 23F
→
04/01 21:51, 3周前 , 24F
以及給你他的指示不夠清楚
04/01 21:51, 24F
→
04/01 21:51, 3周前 , 25F
你給他^
04/01 21:51, 25F
‣ 更多 chochola 的文章
文章代碼(AID): #1fohRTif (Soft_Job)
Soft_Job 近期熱門文章
更多 近期熱門文章 >>
PTT職涯區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 chochola 的文章
文章代碼(AID): #1fohRTif (Soft_Job)