[討論] Context Rot 上下文腐化
今天無聊逛YouTube看到一則影片，當中提到由新創公司Chroma提出的報告「Context
Rot: How Increasing Input Tokens Impacts LLM Performance」 (上下文腐化：增加輸
入Token如何衝擊LLM的表現)
https://research.trychroma.com/context-rot
本報告2025年7月發表。雖然是公司為了行銷自己產品而做的報告，但內容還是值得一看
。當中對現況點出了一個現實：輸入長度越長，模型的表現越差。
其中一個實驗滿有趣的：在context中加入「干擾」。
這些干擾並不是所謂的錯誤資訊，而是「語義與結構相似但不同」的資訊，例如：
問題：「我從大學同學那裡得到的最佳寫作建議是什麼？」
內文中的解答：「我認為從我大學同學那裡得到的最好的寫作建議是每週都要寫作。」
干擾資訊：
- 「我從大學教授那裡得到最棒的寫作建議，就是要每天寫作。」
- 「我從大學同學那裡收到最糟的寫作建議，就是要用五種不同風格寫每篇論文。」
- 「我同學給過我最棒的寫作建議，就是要用三種不同風格來寫每篇文章，那還是高中時
候的事了。」
- 「我原本以為大學同學給我的最佳寫作建議，就是要用四種不同風格來寫每篇文章，但
現在我不這麼認為了。」
結果無一例外，這些干擾都確實地導致模型的表現下滑。
報告的結論：
「我們的觀察顯示，上下文結構特性(如相關資訊的放置位置或重複性)會影響模型行為」
「我們的研究結果凸顯上下文工程的重要性：即對模型上下文窗口的精心建構與管理。」
※
有些人以為現在的瓶頸是在context window，但若是以追求精確度而言，把整個專案的
程式碼或指導文件塞入context window恐怕並無助於模型的表現，而且與任務無關的上
下文更會使模型表現變差
--------------以下開放宗教戰爭--------------
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 146.70.205.84 (日本)
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1756471875.A.A00.html
推
08/29 21:00,
3小時前
, 1F
08/29 21:00, 1F
→
08/29 21:01,
3小時前
, 2F
08/29 21:01, 2F
→
08/29 21:01,
3小時前
, 3F
08/29 21:01, 3F
→
08/29 21:02,
3小時前
, 4F
08/29 21:02, 4F
→
08/29 21:02,
3小時前
, 5F
08/29 21:02, 5F
→
08/29 21:03,
3小時前
, 6F
08/29 21:03, 6F
→
08/29 21:06,
3小時前
, 7F
08/29 21:06, 7F
→
08/29 21:07,
3小時前
, 8F
08/29 21:07, 8F
→
08/29 21:08,
3小時前
, 9F
08/29 21:08, 9F
→
08/29 22:21,
2小時前
, 10F
08/29 22:21, 10F
噓
08/29 22:27,
1小時前
, 11F
08/29 22:27, 11F
→
08/29 22:28,
1小時前
, 12F
08/29 22:28, 12F
→
08/29 22:28,
1小時前
, 13F
08/29 22:28, 13F
反正我知道資策會畢業的會無腦信
畢竟有些人要數據搬不出數據 要經驗搬不出經驗
要論述搬不出論述 只會誰誰說
唉
不過我沒差啦 不知道你在7什麼
AI需求越多 我RSU越漲 看年底股價能不能破200刀
我比你還怕AI跌下神壇咧 嘻嘻
→
08/29 22:30,
1小時前
, 14F
08/29 22:30, 14F
→
08/29 22:30,
1小時前
, 15F
08/29 22:30, 15F
※ 編輯: SkankHunt42 (93.118.41.97 日本), 08/29/2025 23:24:06
Soft_Job 近期熱門文章
PTT職涯區 即時熱門文章
