Re: [請益] 算力需求到底是缺還是快飽和了？

看板Stock (股票)作者LDPC (Channel Coding)時間1小時前 (2026/07/03 07:59)推噓15(15推 0噓 25→)

留言40則, 18人參與討論串10/13 (看更多)

QQ先 disclaimer 一下。剛剛把自己寫的廢文丟給 GPT 校稿，以下是校稿後的版本。這篇講得蠻好的。針對inference寫點補充 inference 並不代表 NVIDIA 就會失去優勢，我反而認為它目前仍然是最大的受益者，至少短中期如此。原因有幾個：第一， CUDA 生態系的護城河，比很多人想像的大得多。現在幾乎所有主流 inference optimization，都是先支援 CUDA。例如： vLLM SGLang TensorRT-LLM FlashAttention DeepEP NCCL CUTLASS 這些幾乎都是圍繞 CUDA 生態發展。尤其 vLLM，目前 GitHub 已經超過 6 萬顆 Stars，是目前 LLM inference 最主流的 serving framework。 SGLang 近一年成長也非常快， GitHub 也已經累積萬級以上 Stars。兩者最成熟、效能最好的 backend，都仍然是 NVIDIA GPU。 AMD ROCm、 Google TPU、 Intel Gaudi 並不是不能跑，而是整個開源社群、最佳化工具、除錯經驗、以及第三方套件，都還遠遠比不上 CUDA。真正做 production inference 的團隊，會知道 migration 的成本，其實非常高。現在所有垂直AI 應用層都是用上面框架去優化老黃GPU搭配自家模型第二，大規模 Data Center 的系統能力，目前 NVIDIA 仍然領先。單張 GPU 已經不是重點。真正困難的是：幾百到幾千張 GPU 的互連 NVLink / NVSwitch Collective Communication（NCCL）機櫃散熱 Power Delivery Burn-in、Pressure Test 長時間穩定運行這些不是只賣晶片，而是整個 AI Factory。目前真正能把數千張 GPU 做到高利用率、穩定運作，並提供完整軟硬體解決方案的， NVIDIA 仍然是最成熟的玩家。所以我比較同意的是： Training 的黃金年代可能正在結束，但 Inference 的黃金年代，才剛開始。只是 NVIDIA 的優勢，已經不是只有 CUDA，而是整個 software + networking + systems + datacenter integration 的完整生態。至於記憶體，我也認同需求還會繼續增加。只是如果未來 Frontier Lab 不再用「軍備競賽」的方式瘋狂搶產能，而是由擁有大量 RPO （Remaining Performance Obligations）的 CSP（Cloud Service Provider）依照實際需求採購，那麼 HBM 的供需仍然會很強，但過去那種因為恐慌而產生的溢價，確實有可能逐漸收斂。反而像台積電，我認為受影響相對較小。不管是 pre-training、 post-training，還是 inference，大部分高階 AI Accelerator 最終還是要依賴先進製程。 AI 算力需求即使從 training 轉向 inference，本質上仍然離不開台積電。因此如果市場因情緒一起修正，台積電反而可能是受錯殺程度較高的一方。 ※ 引述《breathair (拆了？簡單了)》之銘言： : ※ 引述《soga0806 (巴歐薩給路嘎)》之銘言： : : 如題 : : 七巨頭不是狂支出砸基建嗎 : : 怎麼不到一個月 : : Meta跳出來說算力過剩 : : 還可以租給別人了 : : 真的假的啊？ : : 鏟子股天花板快到極限了嗎 : : ---- : : Sent from BePTT on my iPhone 11 : 我覺得對一半 : 1. Meta 不是CSP，但他AI採購了CSP規模的資本開支 : 原因無他，想要自己訓練模型 : 把關鍵（智力）握在自己手上 : 2.AI的訓練算力需求見頂，過剩下滑 : 越來越多人將發現 : 模型不是堆算力就好 : 你不會訓練模型，再多算力就是搞不起來 : 訓練市場將迎來史詩級崩盤 : CapEx 將縮小至只有CSP業者為了滿足RPO才會瘋狂每年大幅成長 : 奇怪xAI不是演過一輪了，怎麼這次Meta動靜這麼大？ : 3. 訓練市場退燒，推理市場剛剛開始 : 生死級別的軍備競賽結束了 : 你7巨頭誰也別擔心被那家顛覆 : 頂級AI模型目前掌握在OA兩家 : 需要牛奶，買牛奶（token)就好 : 不需要買一頭牛 : 以此推演 : NVDA受傷最重 : CUDA的優勢在訓練。一轉移到推理市場，那可是百家爭鳴 : 記憶體次之 : 推理同樣強需求的記憶體 : 問題在此次競價式的漲價模式 : 需要溢價搶產能的玩家退到手握RPO的CSP，誰需求多，誰需求少都容易掐指一算 : 只要不是軍備競賽式的搶 : 這部分的溢價會被影響到 : 而這部分的溢價可能已經被反應了 : 要回吐了 : 台積電機會不影響 : 訓練到推理。離不開台積電 : 應該屬於錯殺成分最大 : 有子彈的我覺得是好時機 : ----- : Sent from JPTT on my iPhone -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 98.37.67.135 (美國) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1783036797.A.4D1.html ※ 編輯: LDPC (98.37.67.135 美國), 07/03/2026 08:02:34

推

chenzu740125

07/03 08:03, 1小時前 , 1^F

07/03 08:03, 1^F

推

ben121196

07/03 08:07, 1小時前 , 2^F

07/03 08:07, 2^F

推

s555666

07/03 08:09, 1小時前 , 3^F

07/03 08:09, 3^F

→

maplefff

07/03 08:16, 1小時前 , 4^F

07/03 08:16, 4^F

→

maplefff

07/03 08:16, 1小時前 , 5^F

07/03 08:16, 5^F

推

bj45566

07/03 08:17, 1小時前 , 6^F

07/03 08:17, 6^F

→

maplefff

07/03 08:17, 1小時前 , 7^F

07/03 08:17, 7^F

推

jim543000

07/03 08:19, 58分鐘前 , 8^F

07/03 08:19, 8^F

→

jim543000

07/03 08:19, 58分鐘前 , 9^F

07/03 08:19, 9^F

推

yu1155

07/03 08:21, 56分鐘前 , 10^F

07/03 08:21, 10^F

→

ashs92223

07/03 08:22, 55分鐘前 , 11^F

07/03 08:22, 11^F

prompt沒下好說要照批踢踢格式排版.... 是誰污染了gpt QQ ※ 編輯: LDPC (98.37.67.135 美國), 07/03/2026 08:25:46

→

yunf

07/03 08:37, 40分鐘前 , 12^F

07/03 08:37, 12^F

推

deangood01

07/03 08:38, 39分鐘前 , 13^F

07/03 08:38, 13^F

→

ActionII

07/03 08:38, 39分鐘前 , 14^F

07/03 08:38, 14^F

→

deangood01

07/03 08:39, 38分鐘前 , 15^F

07/03 08:39, 15^F

→

deangood01

07/03 08:39, 38分鐘前 , 16^F

07/03 08:39, 16^F

We train and run Claude on a range of AI hardware— AWS Trainium, Google TPUs, and NVIDIA GPUs. 上面是人類學的官方啊人類學也有用到Nvidia GPU 再加上垂直AI全部都用老黃啊醫療法律會計電影狗家雲端利潤狂上漲就是這些垂直AI跟他租Nvidia GPU/Corewave財報也是狂上漲啊我每天都在跟vllm打架啊 OpenAI 在今年的基礎設施規劃中提到，將新增 3GW 專用 inference capacity，建立在 NVIDIA Vera Rubin 比方說Harvey 這家AI就是搞律師AI 造成美國初階律師大量失業 https://reurl.cc/X2OQ1D 他就是用Nvidia 去蓋Agent環境

推

squelch

07/03 08:39, 38分鐘前 , 17^F

07/03 08:39, 17^F

→

squelch

07/03 08:39, 38分鐘前 , 18^F

07/03 08:39, 18^F

推

jim543000

07/03 08:42, 35分鐘前 , 19^F

07/03 08:42, 19^F