PTT職涯區 / Stock (股票)

[情報] MI300X vs H100 vs H200測試&分析 - semi

看板Stock (股票)作者 (壞爸爸)時間14小時前 (2024/12/24 10:05), 14小時前編輯推噓36(41推 5噓 37→)
留言83則, 50人參與, 3小時前最新討論串1/1
標題： MI300X vs H100 vs H200 Benchmark Part 1: Training – CUDA Moat Still Alive 網址： https://reurl.cc/oVyd9v 內文： 此篇為semianalysis 測試5個月比較 MI300X H100 H200實際使用的效能以及使用上的現況 下面放上作者的發現總結，詳細請看文章 1. 在紙上比較 FLOP/s 和 HBM 頻寬/容量類似於僅透過檢查百萬像素數來比較相機。判斷? 2. Nvidia 的開箱即用效能和體驗令人驚嘆，我們在基準測試期間沒有遇到任何 Nvidia 特 3. AMD 的開箱即用體驗非常難以使用，需要相當大的耐心和努力才能達到可用狀態。 在我們的大多數基準測試中，AMD PyTorch 的公共 AMD 穩定版本仍然存在問題，我們需要解決方法。 4 如果沒有多個 AMD 工程師團隊對我們遇到的 AMD 軟體錯誤進行分類和修復的支持，AMD 的結果將遠低於 Nvidia。 5 . 我們與 Sustainable Metal Cloud 合作在 256 H100 上運行非官方 MLPerf Training GPT-3 175B，以測試不同 VBoost 設定的效果 6. 對於 AMD 來說，公開穩定發布的軟體的真實世界性能與其紙面銷售的 TFLOP/s 相差甚遠。 Nvidia 的現實世界表現也低於其行銷 TFLOP/s，但相差不大。 7. 與 H100/H200 相比，MI300X 的總擁有成本 (TCO) 較低，但在 AMD 軟體的公共穩定版本上，MI300X 的每 TCO 訓練效能較差。如果使用 AMD 軟體的客製化開發版本，情況就會改變。 8. 訓練效能較弱，MI300X的矩陣乘法微基準測試表明，AMD公開發布的軟體在單節點訓練吞吐量上仍落後於Nvidia的H100和H200。 9. MI300X 的效能受到 AMD 軟體的阻礙。 BF16開發分支上的AMD MI300X軟體具有更好的效能 ，但尚未合併到AMD內部儲存庫的主要分支中。當它合併到主分支和 PyTorch 穩定版本時，Nvidia Blackwell 將已經可供所有人使用。 10. AMD 的訓練表現也受到阻礙，因為 MI300X 無法提供強大的橫向擴展效能。這是由於與Nvidia 對其Nvidia 集體通訊庫(NCCL)、InfiniBand/Spectrum-X 網路結構和交換器的強大整合相比，其ROCm 計算通訊庫(RCCL) 較弱，且AMD 與網路和交換硬體的垂直集成程度較低。 11. 許多 AMD AI 庫都是 NVIDIA AI 庫的分支，導致結果不佳和相容性問題。 12. AMD 客戶傾向於僅使用手動製作的核心進行推理，這意味著它們在非常狹窄的明確定義的用例之外的效能很差，並且不存在快速轉移工作負載的靈活性。 ----- Sent from JPTT on my Google Pixel 7 Pro. -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.12.147.134 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1735005906.A.14B.html
→
12/24 10:11, 14小時前 , 1F
連H100都打不贏，好慘ㄛ
12/24 10:11, 1F
推
12/24 10:12, 14小時前 , 2F
卒業
12/24 10:12, 2F
推
12/24 10:12, 14小時前 , 3F
NV底層蹲了10年 其他人要幾年內追上也不容易
12/24 10:12, 3F
推
12/24 10:13, 14小時前 , 4F
所以obov 早就把AMD 蛋雕
12/24 10:13, 4F
推
12/24 10:13, 14小時前 , 5F
AMD是不是要在沙崙建研發中心? 難怪卒業預定
12/24 10:13, 5F
噓
12/24 10:13, 14小時前 , 6F
難怪教主跳車了
12/24 10:13, 6F
推
12/24 10:13, 14小時前 , 7F
H100都已經過時產品還...
12/24 10:13, 7F
→
12/24 10:14, 14小時前 , 8F
難怪aws 裡面的人說沒人要用AMD GPU是真的
12/24 10:14, 8F
推
12/24 10:14, 14小時前 , 9F
簡單來說 AMD卒業
12/24 10:14, 9F
→
12/24 10:15, 14小時前 , 10F
AMD今年還是負報酬
12/24 10:15, 10F
推
12/24 10:16, 14小時前 , 11F
AMD就垃圾沒人要阿，整年還是跌的不是沒原因
12/24 10:16, 11F
→
12/24 10:16, 14小時前 , 12F
amd軟體太差了，沒想到遊戲顯卡的nv driver值5000也
12/24 10:16, 12F
→
12/24 10:16, 14小時前 , 13F
能套在AI上
12/24 10:16, 13F
噓
12/24 10:17, 14小時前 , 14F
教主殞落
12/24 10:17, 14F
※ 編輯: baddaddy (101.12.147.134 臺灣), 12/24/2024 10:18:00
→
12/24 10:18, 14小時前 , 15F
GPU和AI沒一個能打
12/24 10:18, 15F
→
12/24 10:19, 14小時前 , 16F
一個是已經有長遠計畫 一個只是模仿追尾 是要怎麼比
12/24 10:19, 16F
推
12/24 10:19, 14小時前 , 17F
難怪AMD跌這麼慘...AI上面被海放!
12/24 10:19, 17F
推
12/24 10:22, 14小時前 , 18F
真 遙遙領先
12/24 10:22, 18F
推
12/24 10:25, 14小時前 , 19F
NV軟體值5000!驅動就看的出來了XD
12/24 10:25, 19F
推
12/24 10:25, 14小時前 , 20F
Obov應該年初或Q1就把AMD 倒給小兒了
12/24 10:25, 20F
→
12/24 10:26, 14小時前 , 21F
12/24 10:26, 21F
→
12/24 10:26, 14小時前 , 22F
整合度相容度高，NV體驗完勝
12/24 10:26, 22F
噓
12/24 10:27, 14小時前 , 23F
這是什麼AI轉錄之後自動翻譯的文章嗎？
12/24 10:27, 23F
→
12/24 10:27, 14小時前 , 24F
品質很差
12/24 10:27, 24F
→
12/24 10:27, 14小時前 , 25F
Obov仍大賺，只漏掉tsla
12/24 10:27, 25F
推
12/24 10:28, 14小時前 , 26F
AMD還是乖乖做PC CPU X3D和遊戲機SOC就好CC
12/24 10:28, 26F
推
12/24 10:28, 14小時前 , 27F
驅動值五千QQ
12/24 10:28, 27F
推
12/24 10:28, 14小時前 , 28F
陳先生你的科技水平太落後了
12/24 10:28, 28F
噓
12/24 10:31, 14小時前 , 29F
AMD電子垃圾 生產出來浪費電的
12/24 10:31, 29F
推
12/24 10:38, 14小時前 , 30F
這驅動現在大概值500b
12/24 10:38, 30F
推
12/24 10:38, 14小時前 , 31F
nv顯卡的驅動價格已經是過去式了XD
12/24 10:38, 31F
→
12/24 10:40, 14小時前 , 32F
AMD看起來路還很長遠，看來都反映在股價上了
12/24 10:40, 32F
推
12/24 10:41, 14小時前 , 33F
卒業
12/24 10:41, 33F
推
12/24 10:42, 14小時前 , 34F
還好amd賣在190 嘻嘻
12/24 10:42, 34F
推
12/24 10:42, 14小時前 , 35F
有第一買為什麼要買第二 NV 台G 無限資金買就對了
12/24 10:42, 35F
推
12/24 10:43, 14小時前 , 36F
難怪AMD瘋狂烙賽
12/24 10:43, 36F
推
12/24 10:45, 14小時前 , 37F
cuda豈是說繞就繞得過去的技術
12/24 10:45, 37F
推
12/24 10:49, 14小時前 , 38F
不意外阿 ppt吹得多屌 實際就多烙賽
12/24 10:49, 38F
→
12/24 10:49, 14小時前 , 39F
跟h100比報價有差？而且差滿多的？
12/24 10:49, 39F
推
12/24 10:49, 14小時前 , 40F
AMD的cpu不是一堆人在搶？
12/24 10:49, 40F
→
12/24 10:49, 14小時前 , 41F
amd還是回去顧好cpu就好吧 市佔都還沒贏過intel
12/24 10:49, 41F
→
12/24 10:50, 14小時前 , 42F
星空大師終究還是趕來戰場惹
12/24 10:50, 42F
→
12/24 10:50, 14小時前 , 43F
就想開這麼多條線 還打成這個樣子 花一堆錢在AI上
12/24 10:50, 43F
→
12/24 10:50, 14小時前 , 44F
結果出這什麼垃圾
12/24 10:50, 44F
推
12/24 10:52, 14小時前 , 45F
目前AMD強的是CPU 誰在吹AI跟GPU? 竹竿裝菜刀
12/24 10:52, 45F
推
12/24 10:52, 14小時前 , 46F
不要最後把大半的錢砸在AI上 結果CPU也被打趴
12/24 10:52, 46F
→
12/24 10:53, 14小時前 , 47F
畢竟CPU那邊也沒有說領先多少 一代可能被追上
12/24 10:53, 47F
→
12/24 10:54, 14小時前 , 48F
AMD的AI跟GPU 只是希望就算落後 也不要差太多而已
12/24 10:54, 48F
推
12/24 10:55, 14小時前 , 49F
星空大在幫呆兒自介歐
12/24 10:55, 49F
推
12/24 10:56, 14小時前 , 50F
NVDL繼續抱！
12/24 10:56, 50F
→
12/24 10:58, 14小時前 , 51F
牙膏給GG代工 CUP很快就可以超越AMD了拉
12/24 10:58, 51F
推
12/24 11:00, 13小時前 , 52F
對呀 這代intel桌機也才第一代用台積電製程
12/24 11:00, 52F
→
12/24 11:01, 13小時前 , 53F
當初AMD剛跟台積電合作時也一堆問題 下一代不就
12/24 11:01, 53F
→
12/24 11:01, 13小時前 , 54F
爆發
12/24 11:01, 54F
噓
12/24 11:02, 13小時前 , 55F
連h100都打不贏快島一島
12/24 11:02, 55F
→
12/24 11:03, 13小時前 , 56F
而且intel這一代架構還是用舊的 就MTL的改進版
12/24 11:03, 56F
推
12/24 11:03, 13小時前 , 57F
驅動值5000梗又能用了嗎
12/24 11:03, 57F
推
12/24 11:03, 13小時前 , 58F
主要是架構問題，CDNA3不太適合AI運算，等MI350才能
12/24 11:03, 58F
→
12/24 11:03, 13小時前 , 59F
下一代完全新架構 amd只要不跟著大改進就會被打趴
12/24 11:03, 59F
→
12/24 11:03, 13小時前 , 60F
改善
12/24 11:03, 60F
→
12/24 11:03, 13小時前 , 61F
產能拿來做9800X3D比較實在啦
12/24 11:03, 61F
→
12/24 11:04, 13小時前 , 62F
而且到時intel還有自家18A製程 選擇更為彈性
12/24 11:04, 62F
推
12/24 11:05, 13小時前 , 63F
連CP值都輸 可悲啊 現在各家ASIC都搞起來了
12/24 11:05, 63F
→
12/24 11:05, 13小時前 , 64F
AMD還能搶得到什麼？？
12/24 11:05, 64F
推
12/24 11:08, 13小時前 , 65F
好險沒接AMD
12/24 11:08, 65F
推
12/24 11:13, 13小時前 , 66F
難怪AMD崩崩
12/24 11:13, 66F
→
12/24 11:18, 13小時前 , 67F
amd就每個市場都想分一杯羹阿 硬湊進來被打爛
12/24 11:18, 67F
→
12/24 11:18, 13小時前 , 68F
真不知砸一堆錢搞這幹嘛
12/24 11:18, 68F
→
12/24 11:30, 13小時前 , 69F
99AMD 卒業預定
12/24 11:30, 69F
推
12/24 11:33, 13小時前 , 70F
教主已經轉倉*黃BG*了,已經逍遙去卒業寫生了
12/24 11:33, 70F
推
12/24 11:36, 13小時前 , 71F
難怪a90灰心到連Ptt都不上了
12/24 11:36, 71F
→
12/24 11:38, 13小時前 , 72F
卒
12/24 11:38, 72F
→
12/24 11:46, 13小時前 , 73F
a90已經去退休環遊世界惹八，身家都十位數惹，連蘋
12/24 11:46, 73F
→
12/24 11:46, 13小時前 , 74F
果工作都辭惹
12/24 11:46, 74F
推
12/24 11:53, 13小時前 , 75F
簡單總結 NV屌虐
12/24 11:53, 75F
推
12/24 11:55, 13小時前 , 76F
99amd
12/24 11:55, 76F
推
12/24 12:12, 12小時前 , 77F
MI300很差是早已知了 看MI450有無機會分食Nvidia
12/24 12:12, 77F
推
12/24 12:15, 12小時前 , 78F
amd又不能跑ai模型 買來裝飾的喔
12/24 12:15, 78F
→
12/24 12:52, 12小時前 , 79F
這時間a90大概放假回台灣啦 回台灣的時候幾乎都不
12/24 12:52, 79F
→
12/24 12:52, 12小時前 , 80F
上線的
12/24 12:52, 80F
推
12/24 13:49, 11小時前 , 81F
amd未來價值不在gpu上
12/24 13:49, 81F
→
12/24 18:29, 6小時前 , 82F
可是上個被A90說卒業預定的公司.......
12/24 18:29, 82F
推
12/24 21:12, 3小時前 , 83F
AMD沒有Elon Musk
12/24 21:12, 83F
‣ 更多 baddaddy 的文章
文章代碼(AID): #1dQXRI5B (Stock)
Stock 近期熱門文章
更多 近期熱門文章 >>
PTT職涯區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 baddaddy 的文章
文章代碼(AID): #1dQXRI5B (Stock)