PTT職涯區 / Soft_Job (軟體人)

Re: [心得] token maximum

看板Soft_Job (軟體人)作者 (睡魔)時間3周前 (2026/03/01 18:05), 編輯推噓22(22推 0噓 55→)
留言77則, 28人參與, 2周前最新討論串2/4 (看更多)
※ 引述《erspicu (.)》之銘言： : 所以到底max應該設定多少比較適合? 借這個來抱怨一下. 正如我在之前稍微提過的, 我的公司已經全面轉用 AI, 而且為了 不讓外部的一些壞 coding 習慣污染 AI, 是用自己 code base train 的 AI model. (本公司不留能力不足的人, 而且一直都需要 code review 才可以 check-in 因此 code 的本身質素是沒問題的) 隨著超過2000位 dev同時使用 AI 來做 coding, 公司本身配置的資源 很快就開始不夠用了. 寫好了 prompt 提交時發現在排隊 350位以外 是常事. 公司很快 (也花了一個月左右) 便批准了買更多的 VM, 但同時 也要求我們用 prompt improvement coach wizard 「改進」我們的 prompt. 結果他都要求我直接告訴 AI 需要修改那個檔案. 這產生了兩個問題: 首先, 如果我看錯是那個檔案出問題的話, 不管怎麼改還是沒有效果. 然後, 如果我寫 prompt 還是先 trace code 去找那個檔案出問題的話, 比起 花時間寫 prompt, 自己改比較快 (還不用排隊) 最近我們也發現了 AI 寫的 code 在需要和第三方對接的部份常出現 忽略明明已經寫進了 rules.md 的限制, 因此需要回爐人手重做的事件. 說實在的, 用了 AI 後也沒發現省了多少時間. -- -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 109.152.20.160 (英國) ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1772359557.A.F40.html
推
03/01 19:34, 3周前 , 1F
恭喜你 發現爲什麼在這裡真的有開發經驗的工程師噴那些AI
03/01 19:34, 1F
→
03/01 19:34, 3周前 , 2F
吹噴那麼兇了 這就是現在AI開發現實 至於那些說未來會進
03/01 19:34, 2F
→
03/01 19:34, 3周前 , 3F
步的 可能連現在語言模型的基礎原理是什麼都不知道先吹再
03/01 19:34, 3F
→
03/01 19:34, 3周前 , 4F
說
03/01 19:34, 4F
→
03/01 19:36, 3周前 , 5F
？？
03/01 19:36, 5F
推
03/01 19:43, 3周前 , 6F
從AI開發得利最大的是那些自有資料中心的大公司
03/01 19:43, 6F
→
03/01 19:44, 3周前 , 7F
他們token多半是無限使用的,才能獲益如此巨大
03/01 19:44, 7F
推
03/01 21:47, 3周前 , 8F
但會不會就是因為本地模型，上下文容量與產token能力不足
03/01 21:47, 8F
→
03/01 21:47, 3周前 , 9F
，才只能讓他閱讀部份的代碼無法觀察全局導致你文中的情境
03/01 21:47, 9F
→
03/01 21:47, 3周前 , 10F
？當然本地化的保密需求是外部AI model永遠無法滿足的
03/01 21:47, 10F
推
03/01 22:18, 3周前 , 11F
我看下來這好像不是LLM的問題...
03/01 22:18, 11F
→
03/01 22:20, 3周前 , 12F
這個場景本身就已經只有頂尖Model的選擇了，本地自訓練的
03/01 22:20, 12F
→
03/01 22:20, 3周前 , 13F
就要先考慮推理能力落差，再來會2000個dev排隊這是治理問題
03/01 22:20, 13F
推
03/01 22:39, 3周前 , 14F
0>1 AI很神 1>100真的就還好 專案越大人越多就越還好
03/01 22:39, 14F
推
03/01 22:47, 3周前 , 15F
人家脈絡都說了，不就是不能用外面的嗎
03/01 22:47, 15F
→
03/01 22:47, 3周前 , 16F
而且LLM做事情無視規則真的蠻常遇到的
03/01 22:47, 16F
→
03/01 23:08, 3周前 , 17F
我知道情境不能用外面啊，但不是那幾個頂級的推理model就
03/01 23:08, 17F
→
03/01 23:08, 3周前 , 18F
不太適合拿來類比啊，能力真的有差
03/01 23:08, 18F
推
03/02 07:47, 3周前 , 19F
蛤?自己train的model...這才是問題吧
03/02 07:47, 19F
→
03/02 08:49, 3周前 , 20F
正常人用AI：AI比較快，比較好時才用AI。沒比較好，比較快
03/02 08:49, 20F
→
03/02 08:49, 3周前 , 21F
時，何必堅持用AI。這就跟早期沒LLM時很多企業AI專案失敗
03/02 08:49, 21F
→
03/02 08:49, 3周前 , 22F
的原因一樣，硬要什麼流程都用AI，結果沒比較好。
03/02 08:49, 22F
→
03/02 08:51, 3周前 , 23F
壞的coding習慣，要擋，何必訓練模型才能擋。硬體資源不足
03/02 08:51, 23F
→
03/02 08:51, 3周前 , 24F
，暫時解法，何必硬要從prompt解。比prompt調整更有效率的
03/02 08:51, 24F
→
03/02 08:51, 3周前 , 25F
方法還很多。
03/02 08:51, 25F
→
03/02 09:10, 3周前 , 26F
你跑到英國去工作了??
03/02 09:10, 26F
推
03/02 10:29, 3周前 , 27F
地端的 LLM 沒那麼厲害，巨頭的模型厲害有他的道理
03/02 10:29, 27F
推
03/02 10:58, 3周前 , 28F
公司資源問題 Trial & Error是建立工作留的必經之路
03/02 10:58, 28F
推
03/02 18:05, 3周前 , 29F
有沒有可能你們公司的code品質不高
03/02 18:05, 29F
→
03/02 20:24, 3周前 , 30F
用本地model來為雲端頂級model下結論嗎
03/02 20:24, 30F
推
03/03 00:51, 3周前 , 31F
地端model能力跟那幾家的能力差非常多 無論理解和
03/03 00:51, 31F
→
03/03 00:51, 3周前 , 32F
token量
03/03 00:51, 32F
→
03/03 04:18, 3周前 , 33F
自己train的AI的問題通常是資料量不夠，而不是資料品質
03/03 04:18, 33F
推
03/03 07:06, 3周前 , 34F
Model不夠強 以及機器不夠多 灑錢能有效解決
03/03 07:06, 34F
推
03/03 07:11, 3周前 , 35F
之前也有試過local model能力跟Claude落差挺大的 雖然也
03/03 07:11, 35F
→
03/03 07:11, 3周前 , 36F
跟我的agent orchestration寫的不夠好有關 但Claude就是
03/03 07:11, 36F
→
03/03 07:11, 3周前 , 37F
夠聰明到即使如此還是持續使用正確的工具
03/03 07:11, 37F
推
03/03 13:58, 2周前 , 38F
地端也沒關係 但是用自己CODE BASE TRAIN出來的肯定沒用
03/03 13:58, 38F
→
03/03 13:59, 2周前 , 39F
連湧現門檻都到不了 是能訓練出什麼
03/03 13:59, 39F
推
03/03 15:36, 2周前 , 40F
你們公司的全面AI好怪 真的好怪
03/03 15:36, 40F
推
03/03 18:53, 2周前 , 41F
來，我跟你說現在爭論AI的無限制迴圈：1.有人抱怨難用
03/03 18:53, 41F
→
03/03 18:54, 2周前 , 42F
=>你沒全信AI，只把它當顧問，你用網頁版沒套CLI，沒搞
03/03 18:54, 42F
→
03/03 18:55, 2周前 , 43F
agent=>2.你做了，但還是有些問題，效率不如預期 =>
03/03 18:55, 43F
→
03/03 18:55, 2周前 , 44F
你沒有完全信任他，你的組織沒有全面AI Coding =>於是
03/03 18:55, 44F
→
03/03 18:58, 2周前 , 45F
你們也做了，公司也全面推動，但有效能或表現問題=>
03/03 18:58, 45F
→
03/03 18:59, 2周前 , 46F
你機器買不夠多=>4. 你們也買了，但AI還是不能當人用=>
03/03 18:59, 46F
→
03/03 19:00, 2周前 , 47F
都是你們沒用大廠私有LLM的錯=>6.有些公司於是也切了
03/03 19:00, 47F
→
03/03 19:01, 2周前 , 48F
=>6.遇到token限制問題=>誰叫你們不買最大或無限制方案
03/03 19:01, 48F
→
03/03 19:02, 2周前 , 49F
講來講去都是在這幾個點無限跳針，千錯萬錯，錯的絕對
03/03 19:02, 49F
→
03/03 19:02, 2周前 , 50F
不是AI，也不是連原理都不很清楚就無條件「相信」AI
03/03 19:02, 50F
→
03/03 19:03, 2周前 , 51F
可以真的當基層工程師來用的資深同事或中高層主管
03/03 19:03, 51F
→
03/03 19:05, 2周前 , 52F
這就是這一兩年最瞎的事情。本來它就只是工具，因此
03/03 19:05, 52F
→
03/03 19:05, 2周前 , 53F
照理講就是給大家用，但提供一定彈性不要強制大家怎麼
03/03 19:05, 53F
→
03/03 19:06, 2周前 , 54F
做事，也不要毫無理由相信全交給AI必定沒問題，有問題
03/03 19:06, 54F
→
03/03 19:07, 2周前 , 55F
就一定是倒回去燒token算到對為止。有錯必是人錯，
03/03 19:07, 55F
→
03/03 19:08, 2周前 , 56F
有延宕必是人類在扯AI後腿……別搞這些就沒事了。
03/03 19:08, 56F
→
03/03 19:23, 2周前 , 57F
人家公司都是coding能力很高的 當然是ai扯後腿
03/03 19:23, 57F
推
03/03 21:33, 2周前 , 58F
AI又不會自己動自己佈署自己，那能不能用在對的場合達成對的
03/03 21:33, 58F
→
03/03 21:34, 2周前 , 59F
目的不就是人的問題？美國都在用AI開打WW3了你在那邊盲信AI
03/03 21:34, 59F
推
03/04 07:57, 2周前 , 60F
要不要先試試雲端大模型比較看看
03/04 07:57, 60F
→
03/04 09:08, 2周前 , 61F
地端模型有300B嗎？
03/04 09:08, 61F
推
03/04 14:11, 2周前 , 62F
"不讓外部的一些壞 coding 習慣污染 AI"這句話滿怪的
03/04 14:11, 62F
推
03/05 17:42, 2周前 , 63F
減少基層純碼農是大公司共識...
03/05 17:42, 63F
推
03/06 10:31, 2周前 , 64F
共識=找理由裁員罷了
03/06 10:31, 64F
→
03/08 14:20, 2周前 , 65F
看起來是你們train的模型太爛捏
03/08 14:20, 65F
→
03/08 14:22, 2周前 , 66F
還有機器太少
03/08 14:22, 66F
推
03/09 00:24, 2周前 , 67F
問題應該是出在你們自train的模型上
03/09 00:24, 67F
→
03/09 00:24, 2周前 , 68F
以現在來說比起自train 不如寫個有你們coding style的
03/09 00:24, 68F
→
03/09 00:25, 2周前 , 69F
skill 接入claude
03/09 00:25, 69F
→
03/09 00:26, 2周前 , 70F
聽起來你們公司有點跟不上現在AI workflow的進展
03/09 00:26, 70F
→
03/09 00:27, 2周前 , 71F
自train local llm大概是兩年前的meta
03/09 00:27, 71F
→
03/09 06:24, 2周前 , 72F
對. 我現在是在英國最大的軟體公司工作.
03/09 06:24, 72F
→
03/09 06:27, 2周前 , 73F
我公司在用的是Azure企業版的AI hosting方案. 用的
03/09 06:27, 73F
→
03/09 06:28, 2周前 , 74F
token數量已經是專門去談的海量了.但面對真實的應用
03/09 06:28, 74F
→
03/09 06:29, 2周前 , 75F
場景還是會很快燒完.
03/09 06:29, 75F
→
03/09 06:30, 2周前 , 76F
AI model本身沒問題, 但在還要想辦法控制token用量下
03/09 06:30, 76F
→
03/09 06:30, 2周前 , 77F
我感覺幫助有限.
03/09 06:30, 77F
‣ 更多 leicheong 的文章
文章代碼(AID): #1ff0-5z0 (Soft_Job)
討論串 (同標題文章)
完整討論串 (本文為第 2 之 4 篇)：
排序： 最新先 | 最舊先 | 留言數
7
13
[心得] token maximum
erspicu
1月前, 02/21
在新視窗開啟完整討論串 (共4篇)
Soft_Job 近期熱門文章
更多 近期熱門文章 >>
PTT職涯區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 leicheong 的文章
文章代碼(AID): #1ff0-5z0 (Soft_Job)