PTT職涯區 / Soft_Job (軟體人)

Re: [請益] 軟體失業是遲早的事吧

看板Soft_Job (軟體人)作者 (凱子爸)時間3周前 (2025/10/15 11:19), 2周前編輯推噓22(25推 3噓 51→)
留言79則, 15人參與, 2周前最新討論串14/17 (看更多)
推
10/15 09:36,
人類方也沒提數據啊，人類有SWE bench可以看分數？
10/15 09:36
→
10/15 09:36,
人類自己都沒有benchmark 卻可以覺得人類自己做得比ai好
10/15 09:36
→
10/15 09:36,
才奇怪吧
10/15 09:36
沒有要ㄉ一ㄤ誰的意思 就是這benchmark到底存不存在 小弟我相信 這一定是有論文的 找了一下 還真的有 https://arxiv.org/html/2501.16857v1 以下為AI翻譯 並由我這個人腦節錄： 1. 在本研究中，我們使用 GPT-4（OpenAI 於 2024 年 4 月前兩週提供的版本）作為代表 性 LLM，針對 LLM 與人類生成的 Python 程式碼，在各項效能指標上進行比較。 2. 該研究採用包含 72 項 Python 編碼任務的基準數據集，這些任務涵蓋了來自先前研究 [7]的各種軟體工程問題。一位具有軟體開發經驗的計算機專業大四學生（人類程式設計 師）為這 72 項編碼任務開發了程式碼，同時使用 GPT-4（即 2024 年 4 月可用版本） 生成程式碼樣本，以產生對等的 LLM 輸出。 3. 在編碼標準評估中，Pylint 和 Radon 分析顯示，雖然 LLM 生成與人工編寫的程式碼都 存在缺陷，但 LLM 更可能犯下可透過嚴格遵守編碼標準來避免的錯誤。儘管程度較輕， 但研究中的 LLM（以及人類）有時會忽略編碼風格和標準程序中的重要細節，這些細節對 於維護可讀性和程式碼品質至關重要。 4. 與人工生成的程式碼相比，LLM 通常會產生具有更高循環複雜度的程式碼。我們的結果表 明，LLM 傾向過度設計解決方案，這可能導致程式碼更難維護，且在軟體開發後期階段更 容易出現錯誤。 5. LLM 生成的程式碼在功能正確性測試中經常表現良好，證明了 LLMs 在自動化執行簡單且 定義明確的編碼任務上的實用性。相反地，在需要深厚領域專業知識或複雜問題解決能力 的任務中，人類程式設計師往往比 LLMs 表現更出色。 (編註：人類編寫的程式碼通過率為 54.9%，而 LLM 生成的程式碼通過率達 87.3%) 要說這篇論文缺點是什麼的話 就是他只有一個大四學生當作人類基準 所以樣本數非常不足 另外用的模型也是稍舊 歡迎質疑paper的人花錢花精力自己去做一次benchmark 學術界本來就是這樣 總之結論大概就是: 就該文獻的場景與數據來看 人類與LLM擅長的不同 優缺點不同 不過當手裡只有錘子時，在某些人看起來，所有東西都像是釘子 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 84.17.34.45 (日本) ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1760498398.A.055.html
推
10/15 12:02, 3周前 , 1F
推
10/15 12:02, 1F
推
10/15 12:10, 3周前 , 2F
推最後一句
10/15 12:10, 2F
推
10/15 13:44, 3周前 , 3F
10/15 13:44, 3F
→
10/15 13:45, 3周前 , 4F
swe是蠻有參考性的。但還是有各種作弊方式，像上面就是某
10/15 13:45, 4F
→
10/15 13:46, 3周前 , 5F
個漏洞，被claude，qwen跟其它llms利用來獲取更高分數。
10/15 13:46, 5F
推
10/15 13:48, 3周前 , 6F
但設計者說，分數其實不要互比，要自己比自己，互比參考
10/15 13:48, 6F
→
10/15 13:49, 3周前 , 7F
意義不大。因為....(原因太多，我懶的打了)
10/15 13:49, 7F
→
10/15 16:05, 3周前 , 8F
你是在反串搞笑嗎，這篇論文又不是 swe-bench verified
10/15 16:05, 8F
你有閱讀障礙嗎? 我可沒說這是SWE bench啊XD 他推文寫「人類自己都沒有benchmark」我就找一個人機對比的benchmark paper來舉例囉
→
10/15 16:29, 3周前 , 9F
大廠用swe-bench verified是因為，這些題目才是真實工作時
10/15 16:29, 9F
→
10/15 16:29, 3周前 , 10F
會遇到的情況。拿一篇品質更爛的論文，難以說明什麼新發現
10/15 16:29, 10F
→
10/15 16:29, 3周前 , 11F
。
10/15 16:29, 11F
benchmark的方式又不只一種 重點是你今天到底是要比對人與模型的差異 還是要比對模型與模型的差異 所以我不知道你拘泥於單一觀點想說明什麼 還是你也只會揮舞槌子而已 還有人與LLM比較benchmark的論文難寫 估計就是實驗難做&經費問題 用dataset去讓各模型跑分比較更容易些 你覺得論文爛 論文作者至少還有實驗精神 反而是某些人只會出一張嘴@@ ※ 編輯: SkankHunt42 (146.70.205.60 日本), 10/15/2025 17:11:45
推
10/15 17:29, 3周前 , 12F
XD
10/15 17:29, 12F
推
10/15 21:14, 2周前 , 13F
我體感覺得啦，本科剛畢業新人去做這個benchmark大概30
10/15 21:14, 13F
→
10/15 21:14, 2周前 , 14F
分左右
10/15 21:14, 14F
推
10/16 01:07, 2周前 , 15F
最後一句XD
10/16 01:07, 15F
噓
10/16 08:36, 2周前 , 16F
論文就是拿一個沒有參考價值不知名的題目，測一個大四學生
10/16 08:36, 16F
→
10/16 08:36, 2周前 , 17F
，連研討會都投不上。結果你把這種學生報告當成寶。
10/16 08:36, 17F
→
10/16 08:37, 2周前 , 18F
會引用這種爛論文的人也只是出張嘴而已。外行人。
10/16 08:37, 18F
→
10/16 08:40, 2周前 , 19F
第一句：沒有要ㄉ一ㄤ誰的意思，結果推文拼命ㄉ一ㄤ。果然
10/16 08:40, 19F
→
10/16 08:40, 2周前 , 20F
你手裡有錘子的你，看到誰都在捶。
10/16 08:40, 20F
→
10/16 08:41, 2周前 , 21F
拿出正常一點的論文，再來討論啦，外行人又愛ㄉ一ㄤ別人。
10/16 08:41, 21F
→
10/16 08:45, 2周前 , 22F
不知道原PO堅持發引用一篇，連研討會都沒上的低品質論文，
10/16 08:45, 22F
→
10/16 08:45, 2周前 , 23F
是要強調或能證明什麼？還是純粹故意引戰ㄉ一ㄤ人？
10/16 08:45, 23F
我比較好奇DrTech是在哪高就 一定很內行 小弟不才 公司就賣賣顯卡的上市公司而已 你待的公司一定很屌你職位一定很內行對吧 我覺得我上面已經說得很清楚了 為什麼這樣的論文難找 就是經費問題 大部分學生連填問券抽獎做論文 參與的人都興致缺缺了 首先你要找多少工程師？這些工程師要代表怎樣的群體？ 要付你多少錢你才願意抽空做題目只為了讓人發論文？ 題目是否具有公平性能準確涵蓋這些工程師的能力範圍又不失偏頗？ SWE-bench是gold standard沒錯 但目前就是沒有找到人類參與比較的數據 (甚至要怎麼比才有代表性都有問題) 我提這篇論文 是看過這篇論文覺得滿有趣的 至少是一個方法 也可能我爛 我找不到好的論文 當我們在討論有沒有benchmark可以比較人類與LLM解決工程問題時 我確實拿了一篇不怎樣的論文 雖然樣本數只有一 但至少是一個實驗、一個方向 不過我現在只看到一個巨嬰躺在地上打滾 這不是SWE-bench~ 這不是SWE-bench~ 哇~~~~~ 哇~~~~ ToT 然後轉頭又要別人找論文 奇怪 現在網路打臉人的方式已經不是自己找到更好、更具參考價值的論文或數據 而是一直叫人舉證 好像他是我指導教授還口委一樣 他作為質疑者唯一的工作就是在推文裡出一張嘴 這就是所謂的內行嗎
→
10/16 09:58, 2周前 , 24F
我聽到玻璃碎掉的聲音，不知道怎麼回事
10/16 09:58, 24F
推
10/16 10:12, 2周前 , 25F
我有點看不懂在吵什麼?感覺主題歪了
10/16 10:12, 25F
推
10/16 10:59, 2周前 , 26F
人類沒辦法copy而且方差太大 測benchmark就沒啥意義這樣
10/16 10:59, 26F
推
10/16 11:01, 2周前 , 27F
把可以複製並且表現都差不多的工具和不具備重現性的人類
10/16 11:01, 27F
→
10/16 11:02, 2周前 , 28F
用同一種評估方式就沒啥實用價值 俗稱做身體健康的
10/16 11:02, 28F
推
10/16 11:05, 2周前 , 29F
本質應該和試證明理科生已墜入情網差不多
10/16 11:05, 29F
→
10/16 11:05, 2周前 , 30F
一本正經講幹話 但是其實也沒那麼幹話那種感覺（
10/16 11:05, 30F
※ 編輯: SkankHunt42 (154.47.23.99 日本), 10/16/2025 12:32:55
推
10/16 12:56, 2周前 , 31F
原po找一個沒什麼參考價值的論文來說服別人，別人提出反
10/16 12:56, 31F
→
10/16 12:56, 2周前 , 32F
對意見也很合理吧
10/16 12:56, 32F
我是對y的推文「是否存在對人類的benchmark」做出回應 考慮到這是在討論LLM與人類性能的比較 所以我認為題目具體為 「是否存在於同時能同時評估LLM與人類解決工程問題的benchmark」 有沒有這樣的benchmark存在？ 答案是: 有 而該論文的題目來源是參考自: Y. Feng et al. (2023). ”Investigating Code Generation Performance of ChatGPT with Crowdsourcing Social Data,” in Proceedings of the IEEE 47th Annual Computers, Software, and Applications Conference (COMPSAC), Torino, Italy, pp. 876-885. 這是一篇被引用172次的的論文所用的dataset 72筆prompt的題目 dataset在這裡: https://yunhefeng.me/research/Compsac_ChatGPT_Python_Prompt_Code/ 老實講前一篇推文吵得那一串我根本沒打算說服哪一方 我原文也講了 人與LLM擅長的不同 在我看來這跟吵腳踏車跟機車哪個好差不多 那現在問題來了 這篇論文爛在哪？總要有個具體論述吧 除了我原文已經提到的人類樣本數只有一以外 我好像找不到其他任何具體的批判 是對實驗方法有具體的批判？ 還是對一篇被被引用172次的論文的dataset有具體的批判？ SWE-bench的題目數量有兩千多筆 lite版有300道 不拿full 你拿lite 你要找好幾個工程師去做300道題目 我只能講這如果有這樣的數據那還滿屌的 我也很想看 不要講300題 72道題目請板上各位年薪三百萬的工程師 大家要怎樣的條件才會用心寫完 抽150元點卡或兩百元711禮券好不好 就.... 腦袋能不能實際一點？ ※ 編輯: SkankHunt42 (146.70.205.140 日本), 10/16/2025 14:03:51
推
10/16 14:24, 2周前 , 33F
就研究沒啥問題 只是沒辦法應用而已
10/16 14:24, 33F
→
10/16 14:24, 2周前 , 34F
DrTech什麼時候會給你具體的批評了
10/16 14:24, 34F
我其實比較納悶 DrTech好歹是有博士學位的人 怎麼可能對這樣的測驗數據到底成本有多高一點概念都沒有 我原本就只是針對到底有沒有這樣的benchmark方法存在 提出存在的事實 結果好像被他誤解成我要參與他們無聊的筆戰說服另一方 奇怪 我原文到底是哪裡有選邊站@@ 我是期望本板少數的博士能夠PO出更優質的論文啦 這對DrTech應該不難 對吧 博士
推
10/16 16:58, 2周前 , 35F
推，我的論點也是差不多這樣，人類方提不出分數，目前唯
10/16 16:58, 35F
→
10/16 16:58, 2周前 , 36F
一的論文看起來又是AI勝，然後人類方一直糾結你分數只有
10/16 16:58, 36F
→
10/16 16:58, 2周前 , 37F
82沒到99不能用笑死
10/16 16:58, 37F
推
10/16 17:01, 2周前 , 38F
就跟圍棋一樣吧，搞不好Kaggle leetcode周賽已經偷偷有A
10/16 17:01, 38F
→
10/16 17:01, 2周前 , 39F
I在打了，之後再學圍棋辦一個大獎賽，公開挑戰leetcode
10/16 17:01, 39F
→
10/16 17:01, 2周前 , 40F
排名前十的人類，獎金一高自然有人參賽
10/16 17:01, 40F
推
10/16 17:14, 2周前 , 41F
那三百題給本科新人寫一天搞不好都沒辦法完成一題
10/16 17:14, 41F
→
10/16 17:16, 2周前 , 42F
以前沒AI時，難一點的功能或蟲我都要好幾天了，現在變成
10/16 17:16, 42F
→
10/16 17:16, 2周前 , 43F
五到十分鐘
10/16 17:16, 43F
※ 編輯: SkankHunt42 (149.22.87.3 日本), 10/16/2025 17:37:13
推
10/16 17:52, 2周前 , 44F
而且我後來看那個bench，看起來沒有人類介入，我的經驗
10/16 17:52, 44F
→
10/16 17:52, 2周前 , 45F
是，一邊看他改扣一邊跟他對話，有問題指出來他幾乎可以
10/16 17:52, 45F
→
10/16 17:52, 2周前 , 46F
馬上改好，甚至有時候只要跟他講遇到的問題，他自己會找
10/16 17:52, 46F
→
10/16 17:52, 2周前 , 47F
到原因
10/16 17:52, 47F
推
10/16 17:59, 2周前 , 48F
那個82分要是有人類介入對話，說不定可以更高
10/16 17:59, 48F
推
10/16 18:44, 2周前 , 49F
「我的論點也是差不多這樣」XDD
10/16 18:44, 49F
推
10/16 19:16, 2周前 , 50F
樓上你也可以提出你關於使用AI的感想或論點
10/16 19:16, 50F
推
10/16 21:00, 2周前 , 51F
推抽禮券都沒人要寫了+1 XD
10/16 21:00, 51F
推
10/17 03:06, 2周前 , 52F
不要激動，在這版po文沒被酸過的都不算老
10/17 03:06, 52F
→
10/17 08:38, 2周前 , 53F
原PO好愛ㄉ一ㄤ人喔。果然手裡拿著錘子的人，就是愛捶人。
10/17 08:38, 53F
→
10/17 08:40, 2周前 , 54F
內文與推文,，只看到原PO一堆人身攻擊，不讓別人發表不同
10/17 08:40, 54F
→
10/17 08:40, 2周前 , 55F
看法。沒看到AI到底能不能贏人類。
10/17 08:40, 55F
所以我真的懷疑你有閱...唉 算了算了 繼續ㄉㄧㄤ下去沒完沒了 整串下來我強調：人類與LLM各有優缺點 不管是我節錄的論文內容 還是我做的總結 都是我原文就有的內容 就事實跟目前的數據 我看到的事實是"有些地方AI贏人類 有些地方人類贏AI" 這個事實有很難接受嗎 你也不是不可能不知道吧 就"AI贏人類"這個問題的 怎樣算贏？是要全盤輾壓算贏嗎？ 還是你們單就通過率討論？那時間要不算進去評分的項目裡？ 就.... 你不覺得這個你這個題目很抽象嗎？
推
10/17 08:44, 2周前 , 56F
就事論事，我欣賞原PO有自己獨立想法，為自己論點持續討論
10/17 08:44, 56F
→
10/17 08:44, 2周前 , 57F
的態度，但一直人身攻擊可以省下來。原來賣顯卡公司收了這
10/17 08:44, 57F
→
10/17 08:44, 2周前 , 58F
種，到處人身攻擊的員工喔，笑死。
10/17 08:44, 58F
我可以幫你整理一下時間順序： 你批評我搞笑反串→我說你有閱讀障礙→你說我外行→我說你巨嬰 我覺得好像是你開第一槍的耶XD 我最開始的原文可是半個字都沒提到你 在你們吵架的推文串我也只有發表一句無關緊要的幹話 還是你在公司開會的時候 下屬發表意見不合你意你也馬上ㄉㄧㄤ: 你是在反串搞笑嗎 不過這很正常啦 你在公司不可能這樣酸下屬 我在公司也不會這樣嗆同事 我欣賞你業界十幾二十年的堅實經驗、外加學歷漂亮還是上市公司的主管，在本板也樂 於分享跟發表有價值的看法。但我覺得先開嗆的人好像要有接受被嗆的心理準備吧XD 我相信你應該不是那種自己動手還要求別人不能還手的流氓吧？ ※ 編輯: SkankHunt42 (155.2.216.14 日本), 10/17/2025 11:52:20
噓
10/17 13:34, 2周前 , 59F
原來買顯卡公司的員工那麼愛嗆人喔，你是不是流氓啊？
10/17 13:34, 59F
→
10/17 13:36, 2周前 , 60F
不專業的論文，本來就不用參考。參考就是外行人。外行人也
10/17 13:36, 60F
→
10/17 13:36, 2周前 , 61F
不是攻擊啊，是事實描述而已。巨嬰，流氓，這種非事實描述
10/17 13:36, 61F
→
10/17 13:36, 2周前 , 62F
的人身攻擊真的省省。
10/17 13:36, 62F
→
10/17 13:37, 2周前 , 63F
所以DrTech你可以回答一下，在你於本文中第一則推文
10/17 13:37, 63F
→
10/17 13:37, 2周前 , 64F
前，我有任何攻擊你的地方嗎？
10/17 13:37, 64F
噓
10/17 13:39, 2周前 , 65F
贏一個大四生=有些地方贏人類？全人類都算大四生喔。那麼
10/17 13:39, 65F
→
10/17 13:39, 2周前 , 66F
不專業的邏輯，真的是賣顯卡公司該有的水準嗎。
10/17 13:39, 66F
→
10/17 13:41, 2周前 , 67F
所以我一直問你輸贏到底怎麼算阿XD
10/17 13:41, 67F
→
10/17 13:42, 2周前 , 68F
那這樣講，生成一個leetcode medium題目程式碼的速度
10/17 13:42, 68F
→
10/17 13:42, 2周前 , 69F
人類可以贏LLM嗎？
10/17 13:42, 69F
→
10/17 13:42, 2周前 , 70F
你如果需要，我很樂意找數據給你
10/17 13:42, 70F
→
10/17 13:43, 2周前 , 71F
那我找到了你會承認LLM有些地方贏人類嗎？還是你要繼
10/17 13:43, 71F
→
10/17 13:43, 2周前 , 72F
續找其他漏洞？
10/17 13:43, 72F
→
10/17 13:47, 2周前 , 73F
還有澄清一下，我可沒說你是流氓，我寫的是我相信你
10/17 13:47, 73F
→
10/17 13:47, 2周前 , 74F
該不是。還是你覺得自己是那種只准自己動手不准別人
10/17 13:47, 74F
→
10/17 13:48, 2周前 , 75F
還手的人？
10/17 13:48, 75F
→
10/17 13:53, 2周前 , 76F
只會索求跟無理取鬧的人就是巨嬰，我好像也只是在做
10/17 13:53, 76F
→
10/17 13:53, 2周前 , 77F
事實陳述而已
10/17 13:53, 77F
推
10/17 15:36, 2周前 , 78F
幫推 軟工板就得貢貢人互錘才精彩
10/17 15:36, 78F
推
10/17 23:50, 2周前 , 79F
推最後一句
10/17 23:50, 79F
‣ 更多 SkankHunt42 的文章
文章代碼(AID): #1exnBU1L (Soft_Job)
討論串 (同標題文章)
完整討論串 (本文為第 14 之 17 篇)：
排序： 最新先 | 最舊先 | 留言數
在新視窗開啟完整討論串 (共17篇)
Soft_Job 近期熱門文章
更多 近期熱門文章 >>
PTT職涯區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 SkankHunt42 的文章
文章代碼(AID): #1exnBU1L (Soft_Job)