Re: [心得] token maximum
看了這兩串, 充滿了疑問..
想討論一下這個主題: token
(1) 每個LLM 都有自己的max. tokens
這是在training model時就要決定的
(2) max output tokens是讓agent在送給LLM 之前處理用的,避免超過LLM model的max. tokens
(3) rules 沒被執行,有可能是context可能超過LLM model的max. tokens, agent 主動壓縮或刪除了某些context
這樣不就解釋了兩串原po的問題?
麻煩指正,若我的了解有誤。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.249.83.213 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1772849566.A.402.html
噓
03/07 10:24,
2小時前
, 1F
03/07 10:24, 1F
討論串 (同標題文章)
Soft_Job 近期熱門文章
PTT職涯區 即時熱門文章