PTT職涯區 / Soft_Job (軟體人)

Re: [心得] token maximum

看板Soft_Job (軟體人)作者 (掃地僧)時間3周前 (2026/03/07 10:12), 3周前編輯推噓-1(1推 2噓 14→)
留言17則, 2人參與, 3周前最新討論串3/4 (看更多)
看了這兩串, 充滿了疑問.. 想討論一下這個主題： token (1) 每個LLM 都有自己的max. tokens 這是在training model時就要決定的 (2) max output tokens是讓agent在送給LLM 之前處理用的，避免超過LLM model的max. to (3) rules 沒被執行，有可能是context可能超過LLM model的max. tokens, agent 主動壓? 這樣不就解釋了兩串原po的問題？ 麻煩指正，若我的了解有誤。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.249.83.213 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1772849566.A.402.html
噓
03/07 10:24, 3周前 , 1F
03/07 10:24, 1F
噓
03/07 14:26, 3周前 , 2F
1. LLM什麼時後會停止回答，跟你設定多長的 max output to
03/07 14:26, 2F
→
03/07 14:26, 3周前 , 3F
ken無關。2.max output token不是寫在prompt裡面。
03/07 14:26, 3F
為了避免LLM不處理超過model的max tokens (聽說 LLM會傳回error，往返也是cost) 所以才要靠agent把關， 不是嗎？ Max output token是給agent用的 當有需要減少context, agent有個機制會壓縮整個context（prompt, history, rules, referenced files..) 再把壓縮後的context送往LLM
→
03/07 14:32, 3周前 , 4F
LLM要停止輸出，不看max output tokens，是看有沒有算出EO
03/07 14:32, 4F
→
03/07 14:32, 3周前 , 5F
S token。與你怎麼設定OS環境變數，是否放在prompt無關。
03/07 14:32, 5F
推
03/07 14:45, 3周前 , 6F
按錯，我不是要噓。
03/07 14:45, 6F
※ 編輯: pacino (111.249.83.213 臺灣), 03/07/2026 15:16:09
→
03/07 23:12, 3周前 , 7F
完全錯誤。首先，LLM本身不會回傳error或output error。丟
03/07 23:12, 7F
→
03/07 23:12, 3周前 , 8F
太長的文字序列或向量進去，向量長度不合，"應用層程式碼"
03/07 23:12, 8F
→
03/07 23:12, 3周前 , 9F
(例如pytorch)就報error了。
03/07 23:12, 9F
→
03/07 23:12, 3周前 , 10F
LLM根本沒處理，更不會回傳error,。
03/07 23:12, 10F
→
03/07 23:17, 3周前 , 11F
另外，Max output token，不是給agent看的。在預設的情況
03/07 23:17, 11F
→
03/07 23:17, 3周前 , 12F
，agent 做任何選擇，agent輸出什麼文字，根本不看Max out
03/07 23:17, 12F
→
03/07 23:17, 3周前 , 13F
put token設定多少。 max output tokens通常是設定在servi
03/07 23:17, 13F
→
03/07 23:17, 3周前 , 14F
ng service層(例如vllm)跟agent根本無關。
03/07 23:17, 14F
→
03/07 23:22, 3周前 , 15F
簡單話：控制LLM輸出的長度，永遠不是LLM在做。是應用層程
03/07 23:22, 15F
→
03/07 23:22, 3周前 , 16F
式碼在做。
03/07 23:22, 16F
→
03/08 00:48, 3周前 , 17F
agent或LLM不會把關長度的。
03/08 00:48, 17F
‣ 更多 pacino 的文章
文章代碼(AID): #1fgucUG2 (Soft_Job)
討論串 (同標題文章)
完整討論串 (本文為第 3 之 4 篇)：
排序： 最新先 | 最舊先 | 留言數
7
13
[心得] token maximum
erspicu
1月前, 02/21
在新視窗開啟完整討論串 (共4篇)
Soft_Job 近期熱門文章
更多 近期熱門文章 >>
PTT職涯區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 pacino 的文章
文章代碼(AID): #1fgucUG2 (Soft_Job)