PTT職涯區 / Stock (股票)

Re: [新聞] AI算力成本腰斬！AMD MI355X跑GLM 5.2

看板Stock (股票)作者 (比古A十郎)時間1小時前 (2026/07/07 13:49), 編輯推噓56(60推 4噓 19→)
留言83則, 71人參與, 6分鐘前最新討論串2/2 (看更多)
※ 引述《thinksilver (銀白色的沉思)》之銘言： : 原文標題： : AI算力成本腰斬！AMD MI355X跑GLM 5.2 成本僅輝達一半 : 原文連結： : https://reurl.cc/3yrRj0 : 發布時間： : 2026-07-07 04:44 : 記者署名： : 鉅亨網新聞中心 : 原文內容： : 隨著 AI 推理需求爆炸性增長，算力成本成為企業落地的最大痛點。近期，推理優化公司 : Wafer 公布的一組數據引發了 AI 業界的高度關注：在AMD(AMD-US)MI355X : 晶片上運行最新開源模型 GLM 5.2，不僅實現了高效能表現，其成本更僅為輝達 : (NVDA-US) 旗艦 GPU B200 的一半。 : 這項結果顯示，AMD 正逐步縮小與輝達在 AI 推理市場的差距，也讓外界重 : 新審視 GPU 市場長期由 CUDA 生態建立的競爭優勢。 : 測試顯示，MI355X 在執行 GLM 5.2 時，單節點聚合吞吐量達每秒 2,626 個 token（ : tok/s），單流吞吐量則達每秒 213 個 token。在效能方面，約可達到同級輝達旗艦 : B200 約八成水準，但部署成本卻不到 B200 的一半。 : 消息公布後，立即引發開發者社群高度關注，相關討論也迅速登上 Hacker News 熱門排 : 行榜。 : Wafer 表示，這次部署並非依靠特殊硬體，而是透過一系列軟體最佳化完成， : 包括模型量化、推理引擎選擇，以及多項相容性修正與效能調校，讓 AMD GPU 能充分發揮 : 推理能力。 : 量化技術兼顧效能與精準度 : 在模型最佳化方面，Wafer 使用 AMD 官方 Quark 工具，將模型權重由 BF16 量化為 : MXFP4，以降低運算資源需求。 : 根據測試結果，量化後模型在多項基準測試中的準確率僅有輕微變化，部分測試甚至較官 : 方量化版本更佳，代表壓縮模型後仍能維持相當程度的推理品質。 : 推理引擎方面，Wafer 比較了 vLLM、ATOM 與 sglang 三種方案後，最終選擇 sglang。 : 原因在於前兩者無法同時兼顧量化效益與長文本輸出品質，而 sglang 則能維持模型輸出 : 的穩定性，成為此次部署的主要推理平台。 : 修補細節 推理速度大幅提升 : 在完成模型量化後，Wafer 又針對推理流程持續優化。其中最大的挑戰來自 ROCm 平台對 : 投機解碼（Speculative Decoding）的支援不足。 : 團隊發現，共享專家層命名方式與 sglang 使用的命名規則不同，導致模型載入失敗，透 : 過修正命名後，單流吞吐量便大幅提升近三倍。 : 此外，另一項問題來自程式碼直接引用 CUDA 標頭檔，導致 ROCm 編譯失敗，Wafer 僅透 : 過加入編譯保護即可解決。之後再調整平行運算方式，以及手動指定適合 GLM 5.2 專家 : 層的 Kernel，最終將單節點聚合吞吐量提升至每秒 2,626 個 token。 : 測試採用接近實際生產環境的設定，包括 2 萬 token 輸入、1,000 token 輸出及 60% : 快取命中率，首個 token 延遲控制在 2.22 秒內，整體成功率達 100%。 : 新創公司也能挑戰 GPU 巨頭 : 值得注意的是，完成這項成果的 Wafer 並非大型科技公司，而是一家僅獲得 400 萬美元 : 種子輪融資的新創企業，投資人包括 Fifty Years、Y Combinator、Liquid2，以及 : Google 首席科學家 Jeff Dean、OpenAI 共同創辦人 Wojciech Zaremba 與 Dropbox 共 : 同創辦人 Arash Ferdowsi 等知名人士。 : Wafer 將自身定位為利用 AI 優化 AI 基礎設施的公司，並表示此次 GLM 5.2 的部分 : Kernel 調校、命名衝突排查與最佳化工作，都已大量導入 AI 輔助工程。 : 相較過去為了提升效能仍需自行開發客製化 Kernel，如今更多工作已轉向修補官方工具 : 鏈中的細節，代表 AMD 軟體生態正逐漸成熟。 : AMD 軟體生態逐漸成熟 : Wafer 指出，過去若每次模型發布都必須重新開發底層 Kernel，小型團隊幾乎無法跟上 : 市場節奏；如今官方工具鏈已能完成大部分工作，剩餘僅需修正相容性與最佳化細節，新 : 創公司便有機會快速完成部署，這也是 Wafer 能在模型發布後短時間內完成適配的重要 : 原因。 : Wafer 認為，目前頂尖模型能否順利部署到 AMD 平台，愈來愈取決於官方軟體支援速度 : ，而非硬體本身，CUDA 長期建立的軟體優勢正逐步受到挑戰。 : 事實上，SemiAnalysis 今年稍早針對 GLM-5 的測試也得到類似結果。報告指出，在互動 : 式推理場景下，AMD MI355X 每百萬 token 推理成本約為 0.22 美元，低於輝達 B200 的 : 0.30 美元，主要原因除了硬體整體擁有成本較低，也反映 AMD 軟體最佳化已有明顯進 : 展。 : 不過，目前 AMD 的優勢仍主要集中於單節點部署。在多節點、大規模分散式叢集以及跨 : 機專家並行等企業級應用方面，輝達仍保有明顯領先優勢。 : 若未來雲端業者能持續將 Wafer 的最佳化方式複製到更多開源模型，AI 推理成本仍有望 : 持續下降，也將進一步提升開源模型在市場上的競爭力。 : 心得/評論： : 上次說花少少錢就能贏輝達的是不是deepseek? : 不過最近AMD的股價走勢是蠻不錯的~相較於NVDA來說~ : 如果能降低成本有助於AI普及化其實也不是壞事， : 果然NVDA的地位還是需要靠宿敵才能撼動? : 想到90年代~ATI(Radeon)與NVDA(GeForce)的大戰 : 各位老顯卡玩家怎麼看呢? 先說簡單結論 任何吹MI3**的都可以忽略 蘇媽MI3**系列關鍵問題很簡單 networking一坨 阿不過也不能說蘇媽的錯 因為當初MI3**系列就只是給超級電腦用的 2023緊急被軟軟找去魔改出MI300X這種東西 這問題導致MI3**系列大概只有8顆一組的tray還算符合成本效益 要跑更大的模型就完惹 沒未來性 所以大家興趣缺缺 MI355X也只是把運算跟記憶體這部分加強而已 networking結構沒辦法動 真要抓蘇媽吹牛波 扣掉cpu的話 就要看mi400系列怎樣 現在回去談mi3**都沒意義惹 過兩葛禮拜4會有一葛蘇媽的ai產品吹牛大會喇 我自己的港絕捏 蘇媽的新東西 大家都是邊測邊罵 底類底類再抵類 不過老黃逼系列也好不到哪去 後面應該更慘 反正老黃股價都漲不動惹 逼康也是 現在gpu/tpu這種就是找挑戰者吹而已 然後mi4**放量恐怕也年底明年初的事惹 要去檢視這吹牛到底484吹過頭都hen久以後惹 吹gpu這部分就錦上添花而已 cpu缺貨4倒是沒解 反正過去這半年多能噴的股票 要馬炒缺貨要馬吹牛 或兼而有之&各種變體 所以 尼董der -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 71.198.170.65 (美國) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1783403394.A.C63.html
→
07/07 13:51, 1小時前 , 1F
直接說會不會漲好不好
07/07 13:51, 1F
推
07/07 13:51, 1小時前 , 2F
翻譯：塊陶啊？
07/07 13:51, 2F
推
07/07 13:52, 1小時前 , 3F
收到暗號 ALLIN 2330 AMD
07/07 13:52, 3F
推
07/07 13:52, 1小時前 , 4F
朝聖
07/07 13:52, 4F
→
07/07 13:52, 1小時前 , 5F
本夢比無限阿
07/07 13:52, 5F
推
07/07 13:52, 1小時前 , 6F
歐印AMD
07/07 13:52, 6F
推
07/07 13:52, 1小時前 , 7F
不懂
07/07 13:52, 7F
推
07/07 13:53, 1小時前 , 8F
OK 歐印AMD
07/07 13:53, 8F
推
07/07 13:53, 1小時前 , 9F
所以要快跑嗎
07/07 13:53, 9F
噓
07/07 13:53, 1小時前 , 10F
99美光
07/07 13:53, 10F
推
07/07 13:53, 1小時前 , 11F
每家都廢物那結論可以說一下嗎？
07/07 13:53, 11F
推
07/07 13:53, 1小時前 , 12F
教主要逃命了嗎
07/07 13:53, 12F
推
07/07 13:53, 1小時前 , 13F
不懂 >''<
07/07 13:53, 13F
推
07/07 13:54, 1小時前 , 14F
收到打收到!
07/07 13:54, 14F
噓
07/07 13:54, 1小時前 , 15F
沒9惹 現在就是要打貪狗 先打三個月
07/07 13:54, 15F
推
07/07 13:54, 1小時前 , 16F
彥州報牌了 2330
07/07 13:54, 16F
推
07/07 13:54, 1小時前 , 17F
就繼續吹
07/07 13:54, 17F
推
07/07 13:54, 1小時前 , 18F
99美光
07/07 13:54, 18F
→
07/07 13:55, 1小時前 , 19F
不懂
07/07 13:55, 19F
推
07/07 13:55, 1小時前 , 20F
懂什麼啦!!! 求翻譯
07/07 13:55, 20F
推
07/07 13:55, 1小時前 , 21F
謝謝光頭阿北報明牌
07/07 13:55, 21F
推
07/07 13:55, 1小時前 , 22F
吹無可吹就是要跑ㄌ....
07/07 13:55, 22F
推
07/07 13:56, 59分鐘前 , 23F
燕州開團大家一起寫生
07/07 13:56, 23F
→
07/07 13:58, 57分鐘前 , 24F
超級長空 費半兩千多再買 上面都不要 拿美元定存穩
07/07 13:58, 24F
推
07/07 13:58, 57分鐘前 , 25F
求翻譯
07/07 13:58, 25F
推
07/07 13:58, 57分鐘前 , 26F
大家都炒一樣的題材的時候，就該見好就收了
07/07 13:58, 26F
推
07/07 13:59, 56分鐘前 , 27F
所以彥州賣掉AMD了沒?
07/07 13:59, 27F
推
07/07 13:59, 56分鐘前 , 28F
類似三星每次吹先進製程良率有多高
07/07 13:59, 28F
推
07/07 13:59, 56分鐘前 , 29F
所以結論 按摩店沒fu糗 要崩了？
07/07 13:59, 29F
噓
07/07 14:00, 55分鐘前 , 30F
懂惹
07/07 14:00, 30F
→
07/07 14:00, 55分鐘前 , 31F
與其說沒FU糗不如說現在吹牛吹的PE都比之前的光還誇
07/07 14:00, 31F
→
07/07 14:00, 55分鐘前 , 32F
張了
07/07 14:00, 32F
推
07/07 14:00, 55分鐘前 , 33F
記憶體大缺貨 懂了
07/07 14:00, 33F
→
07/07 14:01, 54分鐘前 , 34F
相比IBM吹模擬狀況中效能多強還是 AMD還是比較純樸
07/07 14:01, 34F
→
07/07 14:01, 54分鐘前 , 35F
就算拿FPE來說也是炸裂等級
07/07 14:01, 35F
→
07/07 14:01, 54分鐘前 , 36F
這個是有含金量的內線
07/07 14:01, 36F
→
07/07 14:03, 52分鐘前 , 37F
召喚成功
07/07 14:03, 37F
推
07/07 14:03, 52分鐘前 , 38F
教主 救命
07/07 14:03, 38F
推
07/07 14:03, 52分鐘前 , 39F
連教主都看空了 這盤很穩
07/07 14:03, 39F
推
07/07 14:03, 52分鐘前 , 40F
要出貨了嗎
07/07 14:03, 40F
推
07/07 14:04, 51分鐘前 , 41F
看到了 按\可開燈 藏在下面空白裡
07/07 14:04, 41F
推
07/07 14:04, 51分鐘前 , 42F
cpu缺貨沒解，歐硬2330
07/07 14:04, 42F
推
07/07 14:04, 51分鐘前 , 43F
蒙R波，吹牛波
07/07 14:04, 43F
推
07/07 14:05, 50分鐘前 , 44F
45 35 25 買對 下大 抱緊
07/07 14:05, 44F
推
07/07 14:06, 49分鐘前 , 45F
幹，我也是邊罵邊做..
07/07 14:06, 45F
→
07/07 14:06, 49分鐘前 , 46F
還能吹
07/07 14:06, 46F
推
07/07 14:09, 46分鐘前 , 47F
教主就是說 有部分是吹牛大賽
07/07 14:09, 47F
推
07/07 14:09, 46分鐘前 , 48F
07/07 14:09, 48F
噓
07/07 14:09, 46分鐘前 , 49F
我不懂啊 所以快逃鴨嗎
07/07 14:09, 49F
推
07/07 14:13, 42分鐘前 , 50F
07/07 14:13, 50F
推
07/07 14:13, 42分鐘前 , 51F
歐硬amd 收到惹
07/07 14:13, 51F
推
07/07 14:17, 38分鐘前 , 52F
99逼康
07/07 14:17, 52F
→
07/07 14:17, 38分鐘前 , 53F
彥州99記憶卡蛙995
07/07 14:17, 53F
推
07/07 14:18, 37分鐘前 , 54F
教主記憶體還能再起風嗎
07/07 14:18, 54F
推
07/07 14:22, 33分鐘前 , 55F
99蘇媽
07/07 14:22, 55F
推
07/07 14:22, 33分鐘前 , 56F
不懂 那是會漲還是不會漲
07/07 14:22, 56F
推
07/07 14:22, 33分鐘前 , 57F
還有幾集可以逃
07/07 14:22, 57F
推
07/07 14:23, 32分鐘前 , 58F
塊
07/07 14:23, 58F
推
07/07 14:27, 28分鐘前 , 59F
丸子
07/07 14:27, 59F
推
07/07 14:27, 28分鐘前 , 60F
先吹zen6..幹翻intel/nv
07/07 14:27, 60F
→
07/07 14:29, 26分鐘前 , 61F
謠傳zen6可能到7GHz....
07/07 14:29, 61F
推
07/07 14:32, 23分鐘前 , 62F
AMD應該會吹到600 讓阿祖爽一下
07/07 14:32, 62F
推
07/07 14:33, 22分鐘前 , 63F
好
07/07 14:33, 63F
推
07/07 14:34, 21分鐘前 , 64F
股價已經漲了幾百倍
07/07 14:34, 64F
推
07/07 14:34, 21分鐘前 , 65F
記得開燈，有便當狗連結，謝謝分享
07/07 14:34, 65F
推
07/07 14:35, 20分鐘前 , 66F
吹牛大賽
07/07 14:35, 66F
→
07/07 14:35, 20分鐘前 , 67F
She大直接破梗
07/07 14:35, 67F
→
07/07 14:38, 17分鐘前 , 68F
要抱還是要賣講一講
07/07 14:38, 68F
推
07/07 14:38, 17分鐘前 , 69F
all硬蘇媽
07/07 14:38, 69F
推
07/07 14:38, 17分鐘前 , 70F
看起來偏負面，該減碼了
07/07 14:38, 70F
→
07/07 14:40, 15分鐘前 , 71F
一坨黃金
07/07 14:40, 71F
推
07/07 14:41, 14分鐘前 , 72F
七巨頭大盤商還是繼續送錢到2027 免驚
07/07 14:41, 72F
→
07/07 14:42, 13分鐘前 , 73F
之前就有人比N家及Apple 還有AMD橫向一比，全部都效
07/07 14:42, 73F
→
07/07 14:42, 13分鐘前 , 74F
能都墊底的就只有AMD,可以去找看看，回覆有人寫N家
07/07 14:42, 74F
→
07/07 14:42, 13分鐘前 , 75F
負責訓練，Apple 負責推論，AMD負責挨揍
07/07 14:42, 75F
推
07/07 14:43, 12分鐘前 , 76F
幫翻譯一下
07/07 14:43, 76F
推
07/07 14:44, 11分鐘前 , 77F
整個文下來 我臺灣葛語更重了 明牌是2330鏟子
07/07 14:44, 77F
推
07/07 14:45, 10分鐘前 , 78F
謝謝
07/07 14:45, 78F
推
07/07 14:46, 9分鐘前 , 79F
現在就堆料
07/07 14:46, 79F
推
07/07 14:47, 8分鐘前 , 80F
教主，到底誰可以跑本地大模型？
07/07 14:47, 80F
推
07/07 14:47, 8分鐘前 , 81F
這篇好翻譯
07/07 14:47, 81F
推
07/07 14:48, 7分鐘前 , 82F
最近傳聞，NV的超容易過熱，怎辦
07/07 14:48, 82F
推
07/07 14:49, 6分鐘前 , 83F
我的amd 成本195還能抱嗎？教主救救我
07/07 14:49, 83F
‣ 更多 a000000000 的文章
文章代碼(AID): #1gJ9E2nZ (Stock)
Stock 近期熱門文章
更多 近期熱門文章 >>
PTT職涯區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 a000000000 的文章
文章代碼(AID): #1gJ9E2nZ (Stock)