PTT職涯區 / Stock (股票)

[心得] 資料中心投資方向

看板Stock (股票)作者 (Channel Coding)時間1周前 (2025/02/17 14:43), 1周前編輯推噓58(60推 2噓 24→)
留言86則, 65人參與, 1周前最新討論串1/1
"遇到任何不能解決的事情 就用C4炸彈" <謠言終結者> 在AI界這邊也是 "遇到任何無法解決的事情 就用算力出奇蹟" < @v@b AI社群> (在下方任何段落 只要看到這** 就跳回來這默念這句話) #算法 從算法這邊看 這陣子不論是DeepSeek也好 甚至去年之前的SSM算法 (比Transformer更具有壓縮資料性) 都會塑造出算力需求是否不在重要? 又或者MoE架構(早期MoE 大模型可追朔到法國的Mistral) 在推論端都可以使用更少的 模型容量(activatino parameters) 去達到Dense 大模型效能 是否意味我們不在需要 高算力? 再拋棄算力無用論 先看往過去幾個歷史發展 #數據 從數據這邊看 在更早之前 微軟提出"Textbook is all you need" 證明數據高品質可以讓 小模型3B可以接近數十B模型效能 從早期開始野生數據 到去精煉數據 都證明數據的品質決定模型的效能 那是否數據高品質 就可以減低算力需求? 然而在講數據品質前 得先回到 數據這邊的發展史 ### (賺p幣 你可以跳過 沒股點) 這世界充滿大量無標籤野生數據 而無標籤的數據通常都是野生數據 並充滿噪聲干擾 而有標籤的數據通常都昂貴 如何利用大量野生數據和少量標籤數據 就變成這幾年的AI算法發展史 這幾年模式 通常都是第一階段先用野生數據去做預訓練 概念有點像文字接龍一樣 或者挖空部分野生數據 叫模型去猜數據被消去的部分長怎樣 又或者用多模態野生數據作預訓練時 去比較 哪兩個多模態屬於同類型 哪兩種多模態數據是不同類型 等等 這樣訓練完模型 通常就做Foundation Model 就想成初始模型 這類模型就是能從野生數據 學到分類 和預測野生數據該長怎樣 但做不了任何事情 他就是只能做分類 沒了 此時為了讓模型做更多複雜的事情 在第二階段訓練 開始運用了高品質標籤數據 這些高品質標籤數據 通常都是一個特地場景 你希望模型能處理的事情 可能是文字翻譯 可能是物體檢測 可能是資訊搜尋和回答問題 透過數據和給的標籤答案 模型學會到了 到此為止 模型還是缺乏所謂智能 無法舉一反三 然後OpenAI介紹出RLHF 畢竟OpenAI 在這領域有PPO設計 這第三階段就是所謂的透過人類給任務和人類的認知 機器去學 這階段也可視為是一種需要答案/標籤的數據反饋 透過RLHF後 模型此時展現了有擴佔性和泛化等充滿前景的驚人效果 但如何更好地提高模型效能? 時間線回到了2022~2023 OpenAI發現 透過模型參數變大 數據變大 此時模型的思考能力出現了湧現效果 模型大小會決定數據大小 數據大小和模型大小 決定算力需求(** @v@b 默念上面) 具體公式看這 https://blog.csdn.net/taoqick/article/details/132009733 (註:DeepSeekV3 訓練成本減少是透過float8和 模型參數減少MoE架構) 接者到了2023 GPT等大模型產生後 許多AI社群開始用GPT等來造高品質的標籤數據 像是LLaVA 造出300k 多模態數據 讓TextLLM轉變為多模態能看到影像的LLM 此時 合成數據概念出現了 (又或者稱為distilled synthetic dataset) 就是透過設計任務 比方說給GPT看野生數據 像是圖片或影像 叫GPT找出有車子圖片 並且標注 還記得上面微軟給過高品質數據 能讓小模型打贏大模型嗎? 於是各種用GPT去合成高品質數據文章紛紛出現 接者要來講到Chain-of-thought這概念 在各種第一代LLM出現後 一幫人在開始研究 再不牽涉到重新去調教模型(Training)情況下 如何讓模型變更聰明點? 這時候思考練概念出現 核心概念就是 把一個問題拆成子問題 讓模型更好回答 比方說 你講一句中文 然後叫你家LLM翻成英文 他很可能有時候會翻不好 因為你給的指令是要求LLM一次性的 (一步到位) 答出問題 如果用COT (Chain-of-thought) 此時你可以下指令說 先把我說的中文轉成中文文字 第二步再把中文文字轉成英文文字 這時候模型翻譯能力品質就大幅上升 在設計拆解任務時 你也可以用比較法 比方說 你如果問LLM 我去台北最快的方式是何種？ LLM可能會說 跳入蟲洞就可以瞬間到台北這種幻覺回答 又或者根本打不出 而在設計COT 你可以第一步問LLM 去一個地點有哪些方法 然後第二步說 根據每個方法 估出從我現在地點到台北時間 第三步說 從裡面挑出最快的方式 然後模型就能正確回答 到此為止 似乎覺得你家模型可以無成本變得很聰明了 對吧!!!然後在模型效能裡面 有一個隱藏成本 叫做Infenrece Time/Latency 就是你花多少時間得到你要答案 透過拆解問題 你需要等待時間變長了 但很多場景 你希望模型快速給你答案 但你又希望答案是充滿智能的回答 那該怎樣辦?? (** 默念上句 @v@b) 而算力大小 可以決定Latency 通常我們用Tokens/sec來衡量這指標 然後為何提到COT?因為OpenAI在去年開始把CoT融入訓練一環 改進了RLHF更好的效果 拓展模型思考(reasoning)能力 現在AI界開始反思一個問題 我們能不能不需要用大量人力去做 第三步RLHF 但透過巧妙設計RL和用第一代母模型(e.g. ChatGPT)來合成有思考性質 的數據? 尤其是在第一階段的野生數據 現實中我們已經用完了 現在需要更多的 標籤數據來增加模型的效能 這個論點就是Deepseek R1想驗證的 但這牽涉到好幾個問題 沒有第一代人類反饋LLM是無法做出來的 同時這個LLM還得是多模態能具有思考鏈CoT 才能合成良好的思考數據(Reasoning Sythentic Dataset) 有了這玩意 你就可以開始讓模型去教模型 然後無窮迴圈進化 因此你也看到李飛飛那篇是拿(gemini-2.0-flash-thinking )具有思考的來設計COT https://arxiv.org/abs/2501.19393 合成數據 這篇只使用SFT 也就是上面第二階段 來訓練模型 證明數據品質和思考重要 所以某老兄拿這篇diss 還說打不贏deepseek-r1 就是一個岳飛打張飛 因為r1有用第三步RF 這篇只是要開源合成數據 用SFT 展示合成數據品質 還瘋狂diss這篇亂定義distill概念 從上上週開始 整個AI界都開始嘗試研究 如何用合成數據來教導模型智慧 也就是 如何更適當的設計RL 來讓模型教模型 就是走向alphago-zero概念 但沒有上述這些 歷史巨人肩膀 我們是無法走到這 ###賺p幣結束回到股點 #算力 AI在落地端 通常是用Inference效能來決定 裡面有兩個重點 一個是速度已經提過 一個就是能支撐多少用戶 而B200就是這兩者的最漂亮的作品 參考下圖 https://ibb.co/F4mXCnLd 通常算力越多 能支撐的客戶請求queries就越多 速度也就越快 (** @v@b) 參照 #1crWnRFw 第二個連結 評價GB200 用戶請求效能 而在訓練端 Scaling Law 預測了模型大小和數據以及效能的一個線性關係 就算算法上或者數據上改進 也都只是讓Scaling Law 那條斜線更加傾斜 但模型大小仍然會決定智能 因此也意味算力需求是一個線性向上 (** @v@b) ### 股點重點 ### 在講數據中心之前 先回到AI的一個基本方向 AI就是由三個因素疊加起來 算法 資料 算力 就像三原色一樣 缺一不可 算法跟資料算是每個國家都可以自己掌握 唯獨算力是牽涉到基礎大建設 是需要金錢和時間堆積 於是 美國第一個看到這點 開始瘋狂的捲資料中心建設 阿祖的故事之前說過了 https://reurl.cc/WNmR8D 底下有個衛星空照圖 https://ibb.co/y4Ww9s6 2022阿祖在蓋傳統數據中心 結果AI起來後 為因應AI數據中心 2023五月 阿祖直接把 蓋到一半的數據中心拆掉 重新蓋一次 只為了能更安裝GB200 重新設計散熱和電力 現在就是裁員裁員裁員 瘋狂蓋AI基礎建設 資料中心相關 https://www.youtube.com/watch?v=UczALD7ZZDU
美國2868個 歐洲300多個 然而在AI發展起來 所有新型數據中心變得重要 所以法國開始AI資料中心項目 https://reurl.cc/6jn7mO 泰國也開始了 Siam AI 額外追加2B https://www.kaohooninternational.com/technology/552490 而中國也開始了 GDS萬国数据 在馬來西亞 新加波開始基建數據中心 https://www.youtube.com/watch?v=ApC9qiAT5Ew
https://www.facebook.com/watch/?v=338839389284780 https://reurl.cc/96mQlj 其餘印度和中東也都開始在建設自己的AI基建算力平台 而老黃就是這波數據中心大贏家 一但新型數據中心都走老黃規格 那蘇媽/ARM等三方 就會越難打這場戰爭 這也是為何這兩家最近動作頻繁在加速 老黃就算吃不到中國 也有大機會其他國家得去吃 結論:基於這接下來發展 你可以按照數據 算力 演算法三方向選公司投資 算力:老黃/AVGO 數據: Databrick(要上市了 我會買爆他) Scale AI 算法:狗家 臉家 OpenAI(買不到 @@ 考慮去那掃廁所看能不能給認股) 至於說啥AI現在是已經 輪轉到投資落地場景公司 呵呵 @v@b 然後這也意味台G是一切的基石 @@ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 172.59.161.237 (美國) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1739774611.A.966.html ※ 編輯: LDPC (172.59.161.237 美國), 02/17/2025 14:45:04 ※ 編輯: LDPC (172.59.161.237 美國), 02/17/2025 14:45:54 ※ 編輯: LDPC (172.59.161.237 美國), 02/17/2025 14:46:52 ※ 編輯: LDPC (172.59.161.237 美國), 02/17/2025 14:47:49
→
02/17 14:47, 1周前 , 1F
還好我直接拉到最後看結論
02/17 14:47, 1F
推
02/17 14:47, 1周前 , 2F
樓下幫我看
02/17 14:47, 2F
※ 編輯: LDPC (172.59.161.237 美國), 02/17/2025 14:50:41
→
02/17 14:50, 1周前 , 3F
不知道 一堆大家都聽過的大公司+一間新創公司
02/17 14:50, 3F
→
02/17 14:50, 1周前 , 4F
很像詐騙集團騙人上車的手法
02/17 14:50, 4F
※ 編輯: LDPC (172.59.161.237 美國), 02/17/2025 14:54:24
推
02/17 14:53, 1周前 , 5F
是方
02/17 14:53, 5F
※ 編輯: LDPC (172.59.161.237 美國), 02/17/2025 14:56:31
推
02/17 14:56, 1周前 , 6F
懶人包呢
02/17 14:56, 6F
推
02/17 14:56, 1周前 , 7F
算力還是需要的 畢竟才剛開始建設不久 但要想的是
02/17 14:56, 7F
→
02/17 14:56, 1周前 , 8F
所需的算力天花板是不是比原先預期的低 假設原本五
02/17 14:56, 8F
→
02/17 14:56, 1周前 , 9F
年才能累積到想要的算力 現在是不是三年的累積量其
02/17 14:56, 9F
→
02/17 14:56, 1周前 , 10F
實就夠
02/17 14:56, 10F
→
02/17 14:58, 1周前 , 11F
Databrick怎麼聽起來怪怪的XD
02/17 14:58, 11F
推
02/17 14:59, 1周前 , 12F
電腦、傳統伺服器、手機...發展史，那個不是要求越
02/17 14:59, 12F
→
02/17 15:00, 1周前 , 13F
高的算力跟節能(?)所以AI算力需求還是很缺。
02/17 15:00, 13F
推
02/17 15:00, 1周前 , 14F
寫那麼多誰看的完
02/17 15:00, 14F
推
02/17 15:00, 1周前 , 15F
但不代表沒天花板 看看筆電 看看手機
02/17 15:00, 15F
噓
02/17 15:01, 1周前 , 16F
你先學會長話短說用
02/17 15:01, 16F
推
02/17 15:01, 1周前 , 17F
99AMD
02/17 15:01, 17F
推
02/17 15:01, 1周前 , 18F
算力 算法 數據 還有能源
02/17 15:01, 18F
→
02/17 15:01, 1周前 , 19F
舅舅AMD
02/17 15:01, 19F
推
02/17 15:02, 1周前 , 20F
伊雲谷呢
02/17 15:02, 20F
推
02/17 15:02, 1周前 , 21F
台灣的就算了吧 都炒作的 最快也要等美國成功才會抄
02/17 15:02, 21F
→
02/17 15:02, 1周前 , 22F
原po是有料的 有一堆過去的文章可印證 能不能消化
02/17 15:02, 22F
→
02/17 15:02, 1周前 , 23F
吸收找到賺錢的機會就看個人了 畢竟不是人人都有賺
02/17 15:02, 23F
→
02/17 15:02, 1周前 , 24F
大錢的能力
02/17 15:02, 24F
推
02/17 15:03, 1周前 , 25F
還好都直接看結論 推
02/17 15:03, 25F
→
02/17 15:03, 1周前 , 26F
賺錢的方式就是相信網紅說的AI算力過剩殺價競爭
02/17 15:03, 26F
→
02/17 15:04, 1周前 , 27F
反正散戶還是會自己嚇自己恐慌賣股 做空好賺!
02/17 15:04, 27F
→
02/17 15:05, 1周前 , 28F
而且網紅還有自營操盤手一起操縱股價 賣到散戶恐慌!
02/17 15:05, 28F
推
02/17 15:05, 1周前 , 29F
跟著大爺買 妻妾成群家靠海
02/17 15:05, 29F
推
02/17 15:06, 1周前 , 30F
DBR跟數據有關?
02/17 15:06, 30F
推
02/17 15:07, 1周前 , 31F
推是方+1
02/17 15:07, 31F
推
02/17 15:10, 1周前 , 32F
買台積電
02/17 15:10, 32F
推
02/17 15:15, 1周前 , 33F
謝謝解釋 有學習
02/17 15:15, 33F
推
02/17 15:17, 1周前 , 34F
綠電啊 怎麼沒人提
02/17 15:17, 34F
推
02/17 15:23, 1周前 , 35F
寫的很好
02/17 15:23, 35F
推
02/17 15:23, 1周前 , 36F
https://tinyurl.com/ytx2ap2s 不是有AI 還問懶人包
02/17 15:23, 36F
推
02/17 15:26, 1周前 , 37F
沒gtp第一步就不會有other但現在other也有機會幹掉g
02/17 15:26, 37F
→
02/17 15:26, 1周前 , 38F
tp，關鍵就是算力
02/17 15:26, 38F
推
02/17 15:26, 1周前 , 39F
好文推，有看完。
02/17 15:26, 39F
推
02/17 15:34, 1周前 , 40F
99nvdl
02/17 15:34, 40F
推
02/17 15:36, 1周前 , 41F
好文不推不行
02/17 15:36, 41F
推
02/17 15:37, 1周前 , 42F
感謝業界人士分享~
02/17 15:37, 42F
推
02/17 15:38, 1周前 , 43F
好~我也要買爆 Databrick
02/17 15:38, 43F
推
02/17 15:40, 1周前 , 44F
謝分享
02/17 15:40, 44F
推
02/17 15:40, 1周前 , 45F
對，應該要找尚未被炒高的股票
02/17 15:40, 45F
→
02/17 15:41, 1周前 , 46F
Databricks
02/17 15:41, 46F
→
02/17 15:43, 1周前 , 47F
複數，有s
02/17 15:43, 47F
推
02/17 15:45, 1周前 , 48F
Databricks真的買爆 MongoDB 資料庫公司怎麼看？
02/17 15:45, 48F
推
02/17 15:56, 1周前 , 49F
微軟跟open ai有關係買微軟也可以吧？
02/17 15:56, 49F
推
02/17 16:15, 1周前 , 50F
databricks j輪募資有meta，值得期待
02/17 16:15, 50F
推
02/17 16:17, 1周前 , 51F
推分享
02/17 16:17, 51F
推
02/17 16:21, 1周前 , 52F
美國大爺QQ
02/17 16:21, 52F
推
02/17 16:25, 1周前 , 53F
最後一句重點
02/17 16:25, 53F
推
02/17 16:32, 1周前 , 54F
是方 是圓 繼續化緣
02/17 16:32, 54F
推
02/17 16:34, 1周前 , 55F
感謝分析，等databrick IPO
02/17 16:34, 55F
推
02/17 16:37, 1周前 , 56F
這麼好的文章 不推爆嗎!!
02/17 16:37, 56F
推
02/17 16:40, 1周前 , 57F
可是板上會有人說這些是空中樓閣 XDDD
02/17 16:40, 57F
推
02/17 16:41, 1周前 , 58F
NVDL都回60幾了還要救？
02/17 16:41, 58F
噓
02/17 16:43, 1周前 , 59F
算力永遠不嫌多 根本不用分析
02/17 16:43, 59F
推
02/17 16:54, 1周前 , 60F
寫的很好，但是我看不懂，買就對了！
02/17 16:54, 60F
→
02/17 17:13, 1周前 , 61F
thesis: scaling law persists. until …
02/17 17:13, 61F
推
02/17 17:29, 1周前 , 62F
我只懂最後
02/17 17:29, 62F
推
02/17 17:59, 1周前 , 63F
謝謝分享
02/17 17:59, 63F
推
02/17 17:59, 1周前 , 64F
複製貼上真好用
02/17 17:59, 64F
推
02/17 18:59, 1周前 , 65F
感謝
02/17 18:59, 65F
推
02/17 19:11, 1周前 , 66F
受益良多，謝謝分享
02/17 19:11, 66F
推
02/17 19:15, 1周前 , 67F
優文謝謝
02/17 19:15, 67F
推
02/17 19:38, 1周前 , 68F
最後一句話我看得懂哈哈
02/17 19:38, 68F
推
02/17 19:49, 1周前 , 69F
Databrick何時上市，需要摳訊？
02/17 19:49, 69F
推
02/17 20:09, 1周前 , 70F
推爆
02/17 20:09, 70F
推
02/17 20:09, 1周前 , 71F
好文給推
02/17 20:09, 71F
推
02/17 20:18, 1周前 , 72F
沒有MU，QQ
02/17 20:18, 72F
推
02/17 20:30, 1周前 , 73F
不推不行
02/17 20:30, 73F
→
02/17 20:43, 1周前 , 74F
感謝摳訊 我也想跟單
02/17 20:43, 74F
推
02/17 20:47, 1周前 , 75F
寫得很好 不是做這行的也能讀懂七八成
02/17 20:47, 75F
推
02/17 22:20, 1周前 , 76F
真有心 寫這麼多 XD
02/17 22:20, 76F
推
02/17 22:27, 1周前 , 77F
推
02/17 22:27, 77F
推
02/17 23:48, 1周前 , 78F
棒 整個脈絡清楚呈現 謝大大分享
02/17 23:48, 78F
推
02/18 00:09, 1周前 , 79F
資料中心我看香港房地產基金有去投日本
02/18 00:09, 79F
→
02/18 00:10, 1周前 , 80F
在日本要蓋一個40兆萬的園區
02/18 00:10, 80F
→
02/18 00:11, 1周前 , 81F
叫做 日本 府中園區
02/18 00:11, 81F
→
02/18 00:11, 1周前 , 82F
請教日本資料中心這方面有什麼優勢？
02/18 00:11, 82F
通常資料中心就是房地產的好商機 Blackrock都在搶土地和搶電跟水協調 日本大概也是會走類似路線 府中園區是透過萬國數據去合作 @@ 其餘就不清楚了 https://hk.investing.com/news/stock-market-news/article-551210 https://finance.sina.com.cn/jjxw/2024-12-30/doc-inecfrav1288874.shtml https://uanalyze.com.tw/articles/412077094 通常每個國家都要自己的新型數據中心 只要有大量地 水和便宜電 那通常就是個好地點 ※ 編輯: LDPC (76.21.72.78 美國), 02/18/2025 02:57:16 ※ 編輯: LDPC (76.21.72.78 美國), 02/18/2025 03:00:28 ※ 編輯: LDPC (76.21.72.78 美國), 02/18/2025 03:01:47
推
02/18 09:12, 1周前 , 83F
推
02/18 09:12, 83F
推
02/18 19:06, 1周前 , 84F
難得有非政治網軍的文章QQ
02/18 19:06, 84F
推
02/18 20:21, 1周前 , 85F
原來如此，感謝，那看起來日本水電配套都做得很好，
02/18 20:21, 85F
→
02/18 20:21, 1周前 , 86F
招商較順
02/18 20:21, 86F
‣ 更多 LDPC 的文章
文章代碼(AID): #1dijgJbc (Stock)
Stock 近期熱門文章
更多 近期熱門文章 >>
PTT職涯區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 LDPC 的文章
文章代碼(AID): #1dijgJbc (Stock)