PTT職涯區 / Stock (股票)

Re: [請益] 為何記憶體可以隨便調漲毛利率那麼高

看板Stock (股票)作者 (降息の恐怖嘎鱷)時間1小時前 (2026/06/26 08:42), 53分鐘前編輯推噓41(42推 1噓 60→)
留言103則, 53人參與, 13分鐘前最新討論串3/3 (看更多)
※ 引述《Pixma258 (鄉民們!別爭了!!)》之銘言： : 乳題，為何記憶體可以瘋漲價成這樣 : 川狗一句話都不敢出來叫 : 但晶圓不行，漲價要漲的小心奕奕 : 川狗不時出來叫 : 如要論記憶體和晶圓，晶圓製造技術門檻更高 : 而且對AI基建晶圓重要性也絕對不會輸記憶體 : 有沒有記憶體可以隨便喊漲那麼高的毛利率 : 晶圓不行 : 股價更是晶圓瘋漲成這樣，晶圓卻被倒貨 : 實在看不懂，想請教一下大家 「HBM容量每GPU大概每年增長40%以上 這條需求曲線的陡峭程度，是DRAM供給端 14% 的晶圓產能增長， 乘以 9% 的密度提升，很難追上的 在硬體領域，因為解碼階段KV快取的極高頻寬 和極高記憶體容量的要求，也導致了HBM獨特的地位。即便是HBM漲價三五倍， 把錢花在HBM上帶來的邊際token產出提升，仍然比花在其他地方要划算的多。 其他幾個記憶體路線，SRAM，HBF，CXL，PIM， 目前都無法在HBM的主力賽道KV快取/解碼階段上正面競爭， 起碼未來5年甚至更長時間，不太可能找到替代路線」 https://x.com/fi56622380/status/2070029693810847988?s=20 //////////// 只要LLM還是當前自回歸生成(Autoregressive Generation)工程範式, 每生成1個token都需要搬運KV快取計算上文每一個token和下文的注意力(Attention) 那記憶體問題就是供給側無解的問題, 因為LLM對記憶體頻寬擴展的需求會是 token生成長度二次方增長. 將token生成長度1M token -> 10M token, 記憶體頻寬需要擴展100倍 這遠遠高於現實世界工廠建設和製程優化的速度. 要解決該問題, 唯一的方法是從算法根本上去解決. 我很久之前就認為文本Diffusion模型很可能是下一代新工程範式 從流形假設的觀點看Diffusion的生成更穩定, 從工程實踐去看其生成更有效率 文本Diffusion模型可以一次性讀取KV快取就透過GPU迭代生成大量token 目前工程實踐可以做到一次生成256 token以上, 這表示KV快取搬運減少256倍 而未來顯然會更長. 這會把當前的記憶體受限問題重新拉回到GPU, 算力受限問題上 關鍵的轉折點會落在什麼時候上下文長度已經長到這個效益無法忽視 文本生成模型, 隨著前陣子Google釋出開源DiffusionGemma, 使用起來差距 跟同參數量的AR模型已經在1~2個世代之內. 這表示文本Diffusion已經誇過研究階段 正式進入工程實踐和大規模部署可能. -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.73.134.246 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1782434524.A.DB0.html
推
06/26 08:43, 1小時前 , 1F
每個字都看得懂 組合起來就不懂 QQ
06/26 08:43, 1F
推
06/26 08:43, 1小時前 , 2F
推
06/26 08:43, 2F
→
06/26 08:43, 1小時前 , 3F
到底為何要用晶晶體打文章
06/26 08:43, 3F
→
06/26 08:44, 1小時前 , 4F
CXL應該是次方案分流
06/26 08:44, 4F
→
06/26 08:44, 1小時前 , 5F
回一樓
06/26 08:44, 5F
→
06/26 08:45, 1小時前 , 6F
換回GPU，台積電可以學美光宣布漲價10倍嗎？
06/26 08:45, 6F
推
06/26 08:47, 1小時前 , 7F
真的是隔行如隔山，完全看無...
06/26 08:47, 7F
推
06/26 08:47, 1小時前 , 8F
這文英文快比中文多了
06/26 08:47, 8F
→
06/26 08:48, 1小時前 , 9F
這個很不晶晶體了吧。頂多memory 改記憶體
06/26 08:48, 9F
推
06/26 08:48, 1小時前 , 10F
同一樓
06/26 08:48, 10F
推
06/26 08:48, 1小時前 , 11F
最大的問題是記憶體沒長進 不像邏輯
06/26 08:48, 11F
推
06/26 08:48, 1小時前 , 12F
你這些Sentence比較difficult many版友read不懂
06/26 08:48, 12F
改一下, 有些詞不用英文真的不知道要怎麼寫
→
06/26 08:49, 1小時前 , 13F
導致只能以量取勝
06/26 08:49, 13F
→
06/26 08:50, 1小時前 , 14F
這樣就晶晶體，要求太多了吧，專有名詞就很難用中
06/26 08:50, 14F
→
06/26 08:50, 1小時前 , 15F
文好好表達，台灣人習慣直接用英文名詞吧
06/26 08:50, 15F
→
06/26 08:51, 1小時前 , 16F
頻寬需求應該沒有二次增長吧
06/26 08:51, 16F
推
06/26 08:51, 1小時前 , 17F
我覺得文不錯 吐槽的自己等級不夠
06/26 08:51, 17F
推
06/26 08:54, 1小時前 , 18F
我看完了但我不記得看了什麼
06/26 08:54, 18F
→
06/26 08:54, 1小時前 , 19F
現在科技進展這麼快,預測未來5年發展太難
06/26 08:54, 19F
推
06/26 08:54, 1小時前 , 20F
我還以為走錯板 科普大神出現了嗎
06/26 08:54, 20F
推
06/26 08:55, 1小時前 , 21F
Diffusion 在 Speculative Decoding，現在就可以用
06/26 08:55, 21F
推
06/26 08:55, 1小時前 , 22F
光看近十年邏輯電晶體密度大概就贏幾十倍
06/26 08:55, 22F
→
06/26 08:56, 1小時前 , 23F
每次有新的 Diffusion Model ，我也很興奮。
06/26 08:56, 23F
→
06/26 08:57, 1小時前 , 24F
但就像原文說的，因為差了一點點，所以應用就侷限
06/26 08:57, 24F
→
06/26 08:57, 1小時前 , 25F
了
06/26 08:57, 25F
→
06/26 08:58, 1小時前 , 26F
記憶體之所以隨便調漲毛利，是因為記憶體可以隨便
06/26 08:58, 26F
→
06/26 08:58, 1小時前 , 27F
調漲毛利。
06/26 08:58, 27F
推
06/26 08:58, 1小時前 , 28F
基層邏輯沒改就是HBM效益海放任何其他方案，這麼強
06/26 08:58, 28F
推
06/26 09:01, 1小時前 , 29F
推推
06/26 09:01, 29F
噓
06/26 09:01, 1小時前 , 30F
講中文
06/26 09:01, 30F
推
06/26 09:03, 1小時前 , 31F
晶晶體在哪....第一線的技術文章本來就這樣
06/26 09:03, 31F
推
06/26 09:03, 1小時前 , 32F
看完了但好像又沒看
06/26 09:03, 32F
→
06/26 09:04, 1小時前 , 33F
覺得晶晶體的 八成也不是原PO想一起討論的族群
06/26 09:04, 33F
→
06/26 09:05, 1小時前 , 34F
第一手資訊通常是英文的 中譯詞很難精準表達
06/26 09:05, 34F
推
06/26 09:05, 1小時前 , 35F
KV cache搬運減少256倍 金融業會覺得記憶體要崩盤
06/26 09:05, 35F
→
06/26 09:05, 1小時前 , 36F
且未必有大家共識的中譯詞可用
06/26 09:05, 36F
→
06/26 09:07, 1小時前 , 37F
不習慣的就等二手資訊 但那時間就滯後了
06/26 09:07, 37F
→
06/26 09:08, 1小時前 , 38F
問就是數學
06/26 09:08, 38F
還有 26 則推文
還有 1 段內文
→
06/26 09:38, 57分鐘前 , 65F
汪汪汪汪汪汪 喵 汪汪汪汪
06/26 09:38, 65F
推
06/26 09:40, 55分鐘前 , 66F
記憶體是真的缺，但缺也代表算法革新的效益很高
06/26 09:40, 66F
→
06/26 09:40, 55分鐘前 , 67F
狗家等我記憶卡蛙賺完再來轉倉 那時應該更低了 嘻嘻
06/26 09:40, 67F
※ 編輯: maplefff (42.73.134.246 臺灣), 06/26/2026 09:41:57
→
06/26 09:41, 54分鐘前 , 68F
新算法到上路都要很久啊 看看SSM那號稱壓縮還是待解
06/26 09:41, 68F
→
06/26 09:42, 53分鐘前 , 69F
從有人把bert證明等效single text diffusion step
06/26 09:42, 69F
→
06/26 09:42, 53分鐘前 , 70F
到現在還是一堆 總之 汪汪汪汪汪 喵 汪汪
06/26 09:42, 70F
推
06/26 09:43, 52分鐘前 , 71F
謝謝
06/26 09:43, 71F
推
06/26 09:43, 52分鐘前 , 72F
推測，多次革新後導致堆記憶體加強AI表現趨緩才有解
06/26 09:43, 72F
→
06/26 09:43, 52分鐘前 , 73F
奇怪你們都不是狗派嗎@@黃金獵犬這樣可愛
06/26 09:43, 73F
→
06/26 09:43, 52分鐘前 , 74F
但真的還很久很久很久XDDD
06/26 09:43, 74F
→
06/26 09:44, 51分鐘前 , 75F
99 GOOG
06/26 09:44, 75F
推
06/26 09:45, 50分鐘前 , 76F
記憶體廠商當然是趁需求高坐地喊價大賺錢，但是現
06/26 09:45, 76F
→
06/26 09:45, 50分鐘前 , 77F
在Frontier models用錢堆參數推智能後，原本想笑著
06/26 09:45, 77F
→
06/26 09:45, 50分鐘前 , 78F
高價賣tokens給大量耗用算力的agentic AI換鈔票，
06/26 09:45, 78F
→
06/26 09:45, 50分鐘前 , 79F
但目前正被中國緊追在後的開放模型和充沛電能攔胡
06/26 09:45, 79F
→
06/26 09:45, 50分鐘前 , 80F
，特別是OpenAI的訂單可能在收入成長動能大轉向後
06/26 09:45, 80F
→
06/26 09:45, 50分鐘前 , 81F
有變化，目前還是多關注記憶體自以為可持續的抬價
06/26 09:45, 81F
→
06/26 09:45, 50分鐘前 , 82F
態度會如何受到現實反噬吧！
06/26 09:45, 82F
推
06/26 09:48, 47分鐘前 , 83F
高級文推
06/26 09:48, 83F
→
06/26 09:51, 44分鐘前 , 84F
汪汪汪汪 汪汪汪汪
06/26 09:51, 84F
推
06/26 09:52, 43分鐘前 , 85F
CPU/GPU house都有在想辦法想設計要節省記憶體，但
06/26 09:52, 85F
→
06/26 09:52, 43分鐘前 , 86F
記憶體越多效能越好的底層邏輯不變的情況下，記憶
06/26 09:52, 86F
→
06/26 09:52, 43分鐘前 , 87F
體管你算法多強照樣缺
06/26 09:52, 87F
推
06/26 09:53, 42分鐘前 , 88F
嗯嗯跟我想的一樣
06/26 09:53, 88F
→
06/26 09:55, 40分鐘前 , 89F
太便宜不夠尊貴
06/26 09:55, 89F
→
06/26 09:57, 38分鐘前 , 90F
就是炒作價格太高，毛利才嚇人
06/26 09:57, 90F
推
06/26 10:02, 33分鐘前 , 91F
好
06/26 10:02, 91F
推
06/26 10:08, 27分鐘前 , 92F
越多資料 越多記憶體 = 噴 這次不一樣
06/26 10:08, 92F
→
06/26 10:08, 27分鐘前 , 93F
就是武功再強 還是比手上的槍能多快
06/26 10:08, 93F
→
06/26 10:11, 24分鐘前 , 94F
節省記憶體 = 會被沒料新聞業跟金融業解讀成利空崩
06/26 10:11, 94F
推
06/26 10:17, 18分鐘前 , 95F
那篇tf的論文也是goog發的，所以技術深度我是相信
06/26 10:17, 95F
→
06/26 10:17, 18分鐘前 , 96F
，但他們技術領先這麼多，為什麼還是被oai和anthr
06/26 10:17, 96F
→
06/26 10:17, 18分鐘前 , 97F
opic打爛？
06/26 10:17, 97F
推
06/26 10:19, 16分鐘前 , 98F
你哪裡覺得被oai和anthropic打爛?網紅說的?新聞說?
06/26 10:19, 98F
→
06/26 10:20, 15分鐘前 , 99F
除了coding某方面輸anthropic,其他哪裡有輸了?
06/26 10:20, 99F
→
06/26 10:21, 14分鐘前 , 100F
anthropic之前算力不足,大家沒看到,oai有問題沒看到
06/26 10:21, 100F
→
06/26 10:21, 14分鐘前 , 101F
但是大家每天用放大鏡在看谷歌AI
06/26 10:21, 101F
→
06/26 10:21, 14分鐘前 , 102F
就跟安卓哀鳳比較一樣,有信仰的會檢討自己
06/26 10:21, 102F
→
06/26 10:22, 13分鐘前 , 103F
沒信仰的,就算沒問題也會質疑你
06/26 10:22, 103F
‣ 更多 maplefff 的文章
文章代碼(AID): #1gFShSsm (Stock)
Stock 近期熱門文章
更多 近期熱門文章 >>
PTT職涯區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 maplefff 的文章
文章代碼(AID): #1gFShSsm (Stock)