PTT職涯區 / Stock (股票)

[新聞] AI算力成本腰斬！AMD MI355X跑GLM 5.2

看板Stock (股票)作者 (銀白色的沉思)時間1小時前 (2026/07/07 08:30), 編輯推噓46(53推 7噓 33→)
留言93則, 78人參與, 7分鐘前最新討論串1/1
原文標題： AI算力成本腰斬！AMD MI355X跑GLM 5.2 成本僅輝達一半 原文連結： https://reurl.cc/3yrRj0 發布時間： 2026-07-07 04:44 記者署名： 鉅亨網新聞中心 原文內容： 隨著 AI 推理需求爆炸性增長，算力成本成為企業落地的最大痛點。近期，推理優化公司 Wafer 公布的一組數據引發了 AI 業界的高度關注：在AMD(AMD-US)MI355X 晶片上運行最新開源模型 GLM 5.2，不僅實現了高效能表現，其成本更僅為輝達 (NVDA-US) 旗艦 GPU B200 的一半。 這項結果顯示，AMD 正逐步縮小與輝達在 AI 推理市場的差距，也讓外界重 新審視 GPU 市場長期由 CUDA 生態建立的競爭優勢。 測試顯示，MI355X 在執行 GLM 5.2 時，單節點聚合吞吐量達每秒 2,626 個 token（ tok/s），單流吞吐量則達每秒 213 個 token。在效能方面，約可達到同級輝達旗艦 B200 約八成水準，但部署成本卻不到 B200 的一半。 消息公布後，立即引發開發者社群高度關注，相關討論也迅速登上 Hacker News 熱門排 行榜。 Wafer 表示，這次部署並非依靠特殊硬體，而是透過一系列軟體最佳化完成， 包括模型量化、推理引擎選擇，以及多項相容性修正與效能調校，讓 AMD GPU 能充分發揮 推理能力。 量化技術兼顧效能與精準度 在模型最佳化方面，Wafer 使用 AMD 官方 Quark 工具，將模型權重由 BF16 量化為 MXFP4，以降低運算資源需求。 根據測試結果，量化後模型在多項基準測試中的準確率僅有輕微變化，部分測試甚至較官 方量化版本更佳，代表壓縮模型後仍能維持相當程度的推理品質。 推理引擎方面，Wafer 比較了 vLLM、ATOM 與 sglang 三種方案後，最終選擇 sglang。 原因在於前兩者無法同時兼顧量化效益與長文本輸出品質，而 sglang 則能維持模型輸出 的穩定性，成為此次部署的主要推理平台。 修補細節 推理速度大幅提升 在完成模型量化後，Wafer 又針對推理流程持續優化。其中最大的挑戰來自 ROCm 平台對 投機解碼（Speculative Decoding）的支援不足。 團隊發現，共享專家層命名方式與 sglang 使用的命名規則不同，導致模型載入失敗，透 過修正命名後，單流吞吐量便大幅提升近三倍。 此外，另一項問題來自程式碼直接引用 CUDA 標頭檔，導致 ROCm 編譯失敗，Wafer 僅透 過加入編譯保護即可解決。之後再調整平行運算方式，以及手動指定適合 GLM 5.2 專家 層的 Kernel，最終將單節點聚合吞吐量提升至每秒 2,626 個 token。 測試採用接近實際生產環境的設定，包括 2 萬 token 輸入、1,000 token 輸出及 60% 快取命中率，首個 token 延遲控制在 2.22 秒內，整體成功率達 100%。 新創公司也能挑戰 GPU 巨頭 值得注意的是，完成這項成果的 Wafer 並非大型科技公司，而是一家僅獲得 400 萬美元 種子輪融資的新創企業，投資人包括 Fifty Years、Y Combinator、Liquid2，以及 Google 首席科學家 Jeff Dean、OpenAI 共同創辦人 Wojciech Zaremba 與 Dropbox 共 同創辦人 Arash Ferdowsi 等知名人士。 Wafer 將自身定位為利用 AI 優化 AI 基礎設施的公司，並表示此次 GLM 5.2 的部分 Kernel 調校、命名衝突排查與最佳化工作，都已大量導入 AI 輔助工程。 相較過去為了提升效能仍需自行開發客製化 Kernel，如今更多工作已轉向修補官方工具 鏈中的細節，代表 AMD 軟體生態正逐漸成熟。 AMD 軟體生態逐漸成熟 Wafer 指出，過去若每次模型發布都必須重新開發底層 Kernel，小型團隊幾乎無法跟上 市場節奏；如今官方工具鏈已能完成大部分工作，剩餘僅需修正相容性與最佳化細節，新 創公司便有機會快速完成部署，這也是 Wafer 能在模型發布後短時間內完成適配的重要 原因。 Wafer 認為，目前頂尖模型能否順利部署到 AMD 平台，愈來愈取決於官方軟體支援速度 ，而非硬體本身，CUDA 長期建立的軟體優勢正逐步受到挑戰。 事實上，SemiAnalysis 今年稍早針對 GLM-5 的測試也得到類似結果。報告指出，在互動 式推理場景下，AMD MI355X 每百萬 token 推理成本約為 0.22 美元，低於輝達 B200 的 0.30 美元，主要原因除了硬體整體擁有成本較低，也反映 AMD 軟體最佳化已有明顯進 展。 不過，目前 AMD 的優勢仍主要集中於單節點部署。在多節點、大規模分散式叢集以及跨 機專家並行等企業級應用方面，輝達仍保有明顯領先優勢。 若未來雲端業者能持續將 Wafer 的最佳化方式複製到更多開源模型，AI 推理成本仍有望 持續下降，也將進一步提升開源模型在市場上的競爭力。 心得/評論： 上次說花少少錢就能贏輝達的是不是deepseek? 不過最近AMD的股價走勢是蠻不錯的~相較於NVDA來說~ 如果能降低成本有助於AI普及化其實也不是壞事， 果然NVDA的地位還是需要靠宿敵才能撼動? 想到90年代~ATI(Radeon)與NVDA(GeForce)的大戰 各位老顯卡玩家怎麼看呢? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 163.17.149.199 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1783384228.A.19A.html
推
07/07 08:31, 1小時前 , 1F
不太相信 因為amd顯卡跟屎一樣
07/07 08:31, 1F
→
07/07 08:31, 1小時前 , 2F
坐等教主開示
07/07 08:31, 2F
→
07/07 08:32, 1小時前 , 3F
AMD YES
07/07 08:32, 3F
推
07/07 08:32, 1小時前 , 4F
最後nvidia贏了，nvidia產量大，軟體支援度高，ati
07/07 08:32, 4F
→
07/07 08:32, 1小時前 , 5F
最後還是敗北了
07/07 08:32, 5F
→
07/07 08:32, 1小時前 , 6F
賣鏟子的：你們打一架前先買我的貨
07/07 08:32, 6F
→
07/07 08:33, 1小時前 , 7F
我感覺他是拿FP4打FP16
07/07 08:33, 7F
推
07/07 08:33, 1小時前 , 8F
晶片是用GG的嗎
07/07 08:33, 8F
推
07/07 08:33, 1小時前 , 9F
演算法贏 但AMD顯卡跟輝達有得比嗎
07/07 08:33, 9F
推
07/07 08:34, 1小時前 , 10F
嗯 看不懂
07/07 08:34, 10F
→
07/07 08:34, 1小時前 , 11F
八成特定場景拿出來吹
07/07 08:34, 11F
推
07/07 08:34, 1小時前 , 12F
輝達也可以委託他優化
07/07 08:34, 12F
→
07/07 08:34, 1小時前 , 13F
FP4 ...
07/07 08:34, 13F
推
07/07 08:34, 1小時前 , 14F
丸
07/07 08:34, 14F
推
07/07 08:34, 1小時前 , 15F
結論就是AI is over 在吹啊
07/07 08:34, 15F
推
07/07 08:34, 1小時前 , 16F
鬼故事
07/07 08:34, 16F
推
07/07 08:35, 1小時前 , 17F
GPU本來就不是AI晶片的最佳解，ASIC才是AI特化晶片
07/07 08:35, 17F
→
07/07 08:35, 1小時前 , 18F
，但nvidia就靠著產量和支援拼出了王座
07/07 08:35, 18F
推
07/07 08:36, 1小時前 , 19F
擊落i皇之後下個是輝達嗎！？
07/07 08:36, 19F
→
07/07 08:36, 1小時前 , 20F
算力果然過剩
07/07 08:36, 20F
→
07/07 08:36, 1小時前 , 21F
推理大家馬都贏 不然哪有asic的事
07/07 08:36, 21F
推
07/07 08:36, 1小時前 , 22F
這樣AI要重新定價嗎 以前的半價搞定
07/07 08:36, 22F
→
07/07 08:37, 59分鐘前 , 23F
真假啦 別亂吹，這樣硬體股通通腰斬
07/07 08:37, 23F
推
07/07 08:37, 59分鐘前 , 24F
話題性滿滿,實感還沒有
07/07 08:37, 24F
推
07/07 08:37, 59分鐘前 , 25F
左打英特爾 右打輝達 amd yes
07/07 08:37, 25F
推
07/07 08:37, 59分鐘前 , 26F
相信黃董
07/07 08:37, 26F
推
07/07 08:38, 58分鐘前 , 27F
等真的不會限縮算力時再跟我說
07/07 08:38, 27F
推
07/07 08:39, 57分鐘前 , 28F
糙灰搭鬼故事來了
07/07 08:39, 28F
推
07/07 08:39, 57分鐘前 , 29F
等到你的產品會被走私再說
07/07 08:39, 29F
推
07/07 08:39, 57分鐘前 , 30F
就算真的硬體股為什麼要腰斬？
07/07 08:39, 30F
推
07/07 08:40, 56分鐘前 , 31F
科技業不進則退，老黃想吃下AI還是得研發出更適合A
07/07 08:40, 31F
→
07/07 08:40, 56分鐘前 , 32F
I的晶片，不能老是靠cuda老本
07/07 08:40, 32F
→
07/07 08:40, 56分鐘前 , 33F
長期來看推理成本本來就會越來越低
07/07 08:40, 33F
→
07/07 08:40, 56分鐘前 , 34F
這是指推論端吧?
07/07 08:40, 34F
推
07/07 08:41, 55分鐘前 , 35F
輝達完了 下去
07/07 08:41, 35F
推
07/07 08:42, 54分鐘前 , 36F
amd早就屌打nv了
07/07 08:42, 36F
推
07/07 08:42, 54分鐘前 , 37F
算力過剩 台股2萬 台積500
07/07 08:42, 37F
推
07/07 08:43, 53分鐘前 , 38F
引入標頭檔編譯失敗? 修正變數的命名才不會讓模型
07/07 08:43, 38F
→
07/07 08:43, 53分鐘前 , 39F
初始data載入失敗? 這是哪間的三流公司請工讀生
07/07 08:43, 39F
→
07/07 08:43, 53分鐘前 , 40F
來操作嗎?
07/07 08:43, 40F
推
07/07 08:44, 52分鐘前 , 41F
蒜粒過剩
07/07 08:44, 41F
推
07/07 08:45, 51分鐘前 , 42F
我不信
07/07 08:45, 42F
推
07/07 08:46, 50分鐘前 , 43F
怎麼會腰斬 當然是大家搶更多的貨阿
07/07 08:46, 43F
→
07/07 08:47, 49分鐘前 , 44F
聽起來就是老問題，沒有不一樣
07/07 08:47, 44F
→
07/07 08:47, 49分鐘前 , 45F
鬼故事喔
07/07 08:47, 45F
噓
07/07 08:48, 48分鐘前 , 46F
…2026了還在跟B200比？
07/07 08:48, 46F
噓
07/07 08:49, 47分鐘前 , 47F
天天上演鬼故事，不累嗎？
07/07 08:49, 47F
推
07/07 08:49, 47分鐘前 , 48F
要相信黃董 馬上就懂
07/07 08:49, 48F
推
07/07 08:49, 47分鐘前 , 49F
算力成本變低是好事
07/07 08:49, 49F
推
07/07 08:49, 47分鐘前 , 50F
樓下LDPC
07/07 08:49, 50F
推
07/07 08:51, 45分鐘前 , 51F
教主都不分析了
07/07 08:51, 51F
→
07/07 08:51, 45分鐘前 , 52F
之前看人說amd可能再鱉一發大的
07/07 08:51, 52F
推
07/07 08:51, 45分鐘前 , 53F
兩個都有量化？
07/07 08:51, 53F
推
07/07 08:54, 42分鐘前 , 54F
算力過剩 台積腰斬
07/07 08:54, 54F
推
07/07 08:54, 42分鐘前 , 55F
還早
07/07 08:54, 55F
推
07/07 08:55, 41分鐘前 , 56F
樓下彥州
07/07 08:55, 56F
推
07/07 08:57, 39分鐘前 , 57F
不信 N卡就是比A卡好
07/07 08:57, 57F
推
07/07 08:57, 39分鐘前 , 58F
力成表示
07/07 08:57, 58F
→
07/07 09:00, 36分鐘前 , 59F
大家成本低起來不是更好嗎 對AI來說是好事
07/07 09:00, 59F
→
07/07 09:00, 36分鐘前 , 60F
有競爭是好事
07/07 09:00, 60F
→
07/07 09:00, 36分鐘前 , 61F
之前怕賺不到錢 現在成本驟降不是更好 爽賺
07/07 09:00, 61F
推
07/07 09:01, 35分鐘前 , 62F
企業私有數據不上雲 AMD好用又便宜
07/07 09:01, 62F
推
07/07 09:02, 34分鐘前 , 63F
如果包含output的token的成本壓在1M 0.2真的是吸引
07/07 09:02, 63F
→
07/07 09:02, 34分鐘前 , 64F
人 但SA沒講的話就是呼嚨人的ㄏㄏ
07/07 09:02, 64F
→
07/07 09:02, 34分鐘前 , 65F
要崩了
07/07 09:02, 65F
推
07/07 09:03, 33分鐘前 , 66F
天~崩~地~裂
07/07 09:03, 66F
→
07/07 09:03, 33分鐘前 , 67F
AI is over
07/07 09:03, 67F
噓
07/07 09:03, 33分鐘前 , 68F
現在說什麼新創公司做了三小都是騙投資用的
07/07 09:03, 68F
→
07/07 09:03, 33分鐘前 , 69F
真的被踢爆的時候才說是有嚴苛限制條件
07/07 09:03, 69F
推
07/07 09:04, 32分鐘前 , 70F
操輝達了嗎
07/07 09:04, 70F
→
07/07 09:04, 32分鐘前 , 71F
開始囉～
07/07 09:04, 71F
推
07/07 09:06, 30分鐘前 , 72F
專業掉驅動你行你上
07/07 09:06, 72F
推
07/07 09:07, 29分鐘前 , 73F
出貨文？
07/07 09:07, 73F
推
07/07 09:07, 29分鐘前 , 74F
鬼!
07/07 09:07, 74F
推
07/07 09:08, 28分鐘前 , 75F
還在顯卡...
07/07 09:08, 75F
推
07/07 09:08, 28分鐘前 , 76F
NVIDIA 於 2024 年 3 月正式發表基於 Blackwell 架
07/07 09:08, 76F
→
07/07 09:08, 28分鐘前 , 77F
構的 B200 GPU，並於該年底正式上市
07/07 09:08, 77F
噓
07/07 09:08, 28分鐘前 , 78F
驅動現在有Ai都還沒修好 問題一大坨
07/07 09:08, 78F
推
07/07 09:09, 27分鐘前 , 79F
Linux上不會掉啦
07/07 09:09, 79F
噓
07/07 09:10, 26分鐘前 , 80F
NV就老AI死錢
07/07 09:10, 80F
→
07/07 09:10, 26分鐘前 , 81F
單卡效能就算了吧
07/07 09:10, 81F
推
07/07 09:12, 24分鐘前 , 82F
AMD 彎道超車
07/07 09:12, 82F
推
07/07 09:12, 24分鐘前 , 83F
amdeepseek
07/07 09:12, 83F
推
07/07 09:13, 23分鐘前 , 84F
跟以前一樣，amd的卡在兩年後準備接近老黃，但新卡
07/07 09:13, 84F
→
07/07 09:13, 23分鐘前 , 85F
又要出惹
07/07 09:13, 85F
推
07/07 09:13, 23分鐘前 , 86F
真的假的 僅靠軟體就能優化
07/07 09:13, 86F
噓
07/07 09:15, 21分鐘前 , 87F
這騙點閱率喔......
07/07 09:15, 87F
噓
07/07 09:16, 20分鐘前 , 88F
B200 現在是Rubin比B200快5倍以上
07/07 09:16, 88F
推
07/07 09:23, 13分鐘前 , 89F
開崩！！！
07/07 09:23, 89F
推
07/07 09:25, 11分鐘前 , 90F
本是台南生，香煎何太急？
07/07 09:25, 90F
→
07/07 09:26, 10分鐘前 , 91F
崩了
07/07 09:26, 91F
→
07/07 09:29, 7分鐘前 , 92F
完了
07/07 09:29, 92F
→
07/07 09:29, 7分鐘前 , 93F
不支援cuda沒用吧
07/07 09:29, 93F
‣ 更多 thinksilver 的文章
文章代碼(AID): #1gJ4Ya6Q (Stock)
Stock 近期熱門文章
更多 近期熱門文章 >>
PTT職涯區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 thinksilver 的文章
文章代碼(AID): #1gJ4Ya6Q (Stock)