[新聞]投資輝達 AI 晶片 1 美元賺 7 美元，實現黃仁勳買越多省越多口號

看板Tech_Job (科技人)作者pl132 (pl132)時間3月前 (2024/07/11 22:15)推噓7(10推 3噓 6→)

留言19則, 14人參與討論串1/1

投資輝達 AI 晶片 1 美元賺 7 美元，實現黃仁勳買越多省越多口號 https://tinyurl.com/22z4n5qm GPU 大廠輝達（Nvidia）超大規模和 HPC 業務副總裁兼總經理 Ian Buck，日前公開活動時表示，客戶投資數十億美元購買新輝達硬體，以跟上 AI 大模型需求，提高收入和生產力。從投資效益說，硬體用在 AI 大語言模型訓練，投資 1 美元回收 5 美元，如果用在大模型推理，投資 1 美元更回收 7 美元。 Buck 表示，建設大型資料中心企業特別受惠，四至五年使用壽命內獲豐厚回報。模型訓練方面，雲端運算商購買 GPU 每花 1 美元，四年內提供算力能收回 5 美元，推理用更有利可圖，每花 1 美元能有 7 美元回報，且這數字還會增長。黃仁勳也說過類似的話，Buck 解釋原因。借助 CUDA 演算法創新，輝達將 H100 的 LLM 執行速度提升三倍，將 Llama 3 等模型成本降低三分之一。H200 推理性能較 H100 翻倍，對生產有巨大價值。 Buck 舉例，700 億參數的 Llama 3 單台 HGX H200 伺服器每秒輸出 24,000 個 Token，支援超過 2,400 名用戶，照定價看，託管 Llama 3 的供應商每花 1 美元買輝達 HGX H200 伺服器，四年內從 Llama 3 token 計費賺到 7 美元。 Llama、Mistral 或 Gemma 等 AI 推理模型不斷發展，輝達將開放性 AI 模型導入 NVIDIA 推理微服務 (NIM) 架構，最佳化 Blackwell 架構 GPU 推理執行度。GPU 支援 FP4 和 FP6 類型數據，低強度 AI 負載能提高能效。輝達資料顯示，與 Hopper 架構相較，Blackwell 架構訓練速度比 H100 快四倍，推斷速度快 30 倍，能即時運行兆級參數大語言模型生成式 AI，降低成本和能耗 4%。這呼應黃仁勳喊過多次的「買越多，省越多」口號，但不能忽視，輝達 GPU 價格也快速上漲。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.177.0.241 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1720707355.A.26A.html

推

ghchen1978

07/11 22:48, 3月前 , 1^F

07/11 22:48, 1^F

→

f12sd2e2aa

07/11 23:26, 3月前 , 2^F

07/11 23:26, 2^F

推

a29831287

07/12 00:51, 3月前 , 3^F

07/12 00:51, 3^F