Re: [請益] 算力需求到底是缺還是快飽和了？

看板Stock (股票)作者waitrop (嘴砲無雙)時間1小時前 (2026/07/03 05:00)推噓9(9推 0噓 14→)

留言23則, 12人參與討論串7/7 (看更多)

※ 引述《maplefff (降息の恐怖嘎鱷)》之銘言： : ※ 引述《soga0806 (巴歐薩給路嘎)》之銘言： : : 如題 : : 七巨頭不是狂支出砸基建嗎 : : 怎麼不到一個月 : : Meta跳出來說算力過剩 : : 還可以租給別人了 : : 真的假的啊？ : : 鏟子股天花板快到極限了嗎 : : ---- : : Sent from BePTT on my iPhone 11 : 這要從兩個層面去分析當前現況: 模型層和雲基礎設施層 : 如果只評估最能盈利的toB coding方向, 目前主要LLM提供商能力大致如下 : Anthropic > OpenAI >>>> Gemini >= 中國模型 > grok, meta, others : 模型層營收開始出現顯著分化, 開始往兩超集中, 並且愈來愈集中的態勢 : 模型商品化, 白菜化的敘事落空, 市場看法逐漸轉向並不是花大錢, 疊加算力 : 就能得到前沿模型能力. 前沿LLM供應商保有足夠多的隱秘知識, 並逐漸壟斷市場 : 這表示Anthropic, Open AI 營收增速高100%, 毛利率60%~高70%可能是可持續的 : 能見度至少有半年, 並可能延長到1~2年以上 : 模型層的高毛利使得模型供應商有能力支付高溢價購買算力 : 所以高毛利會逐漸傳導到雲基礎設施供應商, 大幅改善4大CSP業者的現金流 : 並繼續推動AI基礎設施的擴充 : 這裡有幾個消息或資訊可以應證該推論 : 1. AWS 7/1開始對EC2 ML服務直接漲價20%: : 這是既26年1月調漲15%, 最新一輪的漲價; 並且漲幅比之前更大, 年內累積漲幅達38%. : H100(P5)報價: : 1月前: ~$3.8/hr 1~6月:~$4.3/hr 7月: ~$5.2/hr : H200(P5e)報價： : 1月前: ~$4.3/hr 1~6月:~$5.0/hr 7月: ~$6.0/hr : B200(P6-B200)報價： : 1月前: NA 1~6月:~$10.3/hr 7月: ~$12.4/hr : 2. Vast.ai上的價格: : Vast.ai是目前市場上最大的P2P GPU租賃平台, 其代表的意義是GPU租賃地板價 : 因為市場肯定是從: 四大CSP -> NeoCloud -> Vast.ai等另類平台 : 這樣的順序去依序尋找算力，上一層價格太貴才會往下找, 所以價格對需求外溢 : 的敏感度會非常高. : Vast.ai另外一個好處是價格是即時撮合出來並留有歷史季度 : https://vast.ai/pricing/gpu/B200 : 可以看到價格從1月開始逐步緩漲, 到5月矽谷開始Tokenmaxing狂潮, : 價格中價暴漲將近100%, 然後逐漸回歸理性, 但年內依然累積60%左右漲幅 : 最後結論一下：總得來講LLM市場競爭正在逐漸去泡沫, 淘汰實力較弱的參與者 : 並轉向合理的寡頭壟斷, 這使得LLM行業能保持合理毛利率, 並逐漸擴散到整體相關行業 : 在模型層失利的廠商, 透過轉化現有GPU去基礎設施層改善現金流和資產價值 : 是理性的雙贏選擇, 推論其為泡沫破裂的早期徵兆是嚴重滑坡 : CSP, NV股價有被低估, 記憶體股價低得誇張, 可以攤平購買先說結論, 算力還是很缺, 記憶體, 尤其是DRAM, 還是很缺詳細原因, 我在幾個星期前有解釋過 https://www.ptt.cc/bbs/Stock/M.1782458086.A.529.html 撇開不能說, 以及家醜不能外揚的部分, 可惜這部分才是最精彩的地方, 我說的都是我在業界現在正在看到的情況從去年下半年開始, 尤其Gemini 追上 OpenAI Claude 之後, LLM 訓練部分已經不是瓶頸, 因為各家大模型現在訓練出來都差不多聰明, 沒有到差距很大, 如果你有感覺差距很大, 那是信仰的問題, 當然Claude 在 coding 這塊是真的強也真的好用, 這些就不多說, 會引戰反正去年下半年之後, 主戰場就轉移到推理inference 上面, 也就是AI API token 等應用層面上, 而inference 推理市場是訓練市場的百倍千倍以上, 所以怎麼可能會算力過剩, 推理應用市場所需要的算力遠遠不足, 你看Gemini 現在的表現就知道推理的算力還是不足 Meta 跟 xai 算力出租代表的是他們退出AI訓練競爭, 也就是退出AI 模型競爭, 轉型成為資料中心的包租公, 你就想成像是類似ORCL Corewave等公司的形式, 不開發模型, 單純出租算力這不表示算力過剩, 只是表示他們退出AI模型競爭, 現在算力都用在推理inference, 用在每一筆AI API token, 也就是真正能生出錢的地方, 只要token 還有需求, 算力就會有需求除了谷歌之外, 模型商跟CSP廠是各自有自己的算盤, 以CSP廠的角度, 包含Meta xai+cursor等, 他們的商業想法是, 如果以後每一個模型都差不多一樣聰明, 那麼真正有議價權跟控制權的是掌握算力的一方, 也就是CSP廠, cursor 套皮可以隨意轉換任何模型, CSP廠跟meta 等算力出租公司, 可以壓低模型價格可以用自己的算力去議價在模型商的想法是相反, 如果模型商能出一個遙遙領先最聰明的模型, 甚至是AGI, 那麼有議價權跟控制權的是這個唯一的AGI 模型, 他們可以隨意轉換CSP廠壓低算力價格, 最好的例子就是OpenAI 怎麼去凹微軟跟ORCL的算力所以這很難說誰會勝出, 你覺得以後會有唯一的AGI真神模型, 還是以後所有的模型都差不一樣聰明的爛大街模型, 我沒有答案就是了 Anyway, 扯遠了, 反正訓練模型只剩三家在玩, 但是inference 推理市場是百家爭鳴, 賣token 的是算力遠遠不足, 而其中, DRAM 對inference 的需求會遠高於HBM, ASIC 對inference 的需求會遠高於GPU, 這道理就是量大管飽, API token 要的就是量大管飽, 速度差一點沒關係或者我們用生活上的例子來說明, 台北到高雄, 你可以選擇坐飛機, 坐高鐵, 坐台鐵, 開法拉利, 開Toyota, 甚至可以選擇坐統聯, 或是騎腳踏車一日雙城, 這跟你的乘客量還有票價有很大的相關性, inference 推理的API token 要的就是量大管飽, 每個token 的單價要壓到最低, 吞吐量要最大, 所以訓練是開法拉利, 推理是坐公車, 訓練是坐飛機, 推理是搭公車 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 76.103.225.6 (美國) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1783026002.A.B3B.html

推

davie11333

07/03 05:04, 1小時前 , 1^F

07/03 05:04, 1^F

推

a635088

07/03 05:15, 59分鐘前 , 2^F

07/03 05:15, 2^F

→

a635088

07/03 05:15, 59分鐘前 , 3^F

07/03 05:15, 3^F