PTT職涯區 / Stock (股票)

Re: [新聞] 甲骨文股價暴跌超10%！訂單積壓越來越多 「燒錢」砸AI風險令人擔憂

看板Stock (股票)作者 (水無月真夜)時間2月前 (2025/12/13 03:06), 2月前編輯推噓227(234推 7噓 202→)
留言443則, 198人參與, 2月前最新討論串10/23 (看更多)
※ 引述《LDPC (Channel Coding)》之銘言： : @@我是不知道其他世界線 我們公司有引入各種AI Tool : 比方說在slack 我要開一個data bucket權限 (公司機密資料 權限最高級那種) : 來測試我新模型 然後我就slack打serval (IT機器人公司方案) : 他就開始一步步核對 然後最後一步還跟我說有各種data access 時間限制 : 然後就幫我設定好 然後最一關簽呈就是人類IT 這些步驟效率超越傳統IT很多 : 隨時都可以叫IT機器人幫我處理各種事情 前置作業大量弄好 只要一兩個人類做最後確認 : 同樣的 我在openai企業版(有專門設計給企業版) 這個整合內部公司所有文件資料 : 有一次我要設計模型 我就問這方面模型有誰設計過 結果他就拉出過去 : 三年各種歷史設計報個 還有各種benchmark 因為openai企業版可以整合公司資料庫 : 一下子我就能站在過去歷史巨人 不需要去問哪個部門之前幹過啥 : ai coding現在最大用途就是寫測試工具 真他x的好用 設計模型完之後 叫ai幫我寫 : script去做下游端大量測試 : 其他ai tool還有infenrece端可以直接調用prompt和觀察模型反應 以及notion : 這種線上報告也引用自家ai tool 快速搜尋資料都挺方便 : 然後我們自己設計給下游顧客的ai tool 如果顧客說他工作時間沒縮短 : 那我們就拿不下訂單 現在垂直整合領域已經殺到紅血 每個tool 越蓋越先進QQ : 我好想躺平 已經每天工時飆到16hr....... 改天再寫寫去NeurIPS看到的跡象 : Hinton/Jeff Dean/Yoshua Bengio/何凱明 任何你知道大神都去這今年NeurIPS : 結論就是大廠真的要幹架了 Google DeepMind新政策 禁止發paper : QQ 不發paper延伸意義就是 現在開始 狗家不會在開放他們自家模型設計秘密 : 目標就是要胖揍開放愛和其他競爭者... : 目前狗家大量研究員生氣中 這次還有很多菁英邀請制度線下聚會 跑去蹭了NV/META : 看到一堆海外的博士生在現場跪求進去Meta 線下聚會.......QQ : 據說開放愛線下聚會是最難進去的 連地點和門路在哪都不知 只能被動邀請 沒關係，偷偷告訴你一個Insight 今年NeurIPS 2025有一篇超重量級的論文 Introducing Nested Learning 這篇文論的重要程度不亞於Attention is all you need 甚至可以說有過之而無不及 Transfomer架構只是發明了蒸氣機 Nested Learning這篇論文，簡直就是熱力學定律的等級了 基本上等於宣告Transformer架構過時了(因為是一種扁平和單一頻率的特例) 未來三到五年，全面轉向Nested Learning的時代 以下文字是我先寫一版，再請Gemini潤稿的洞察 --------這是AI潤稿的分隔線-------- 當前 AI 發展正受制於一道物理鐵律：記憶體牆（Memory Wall）。傳統 Transformer 架 構依賴 KV Cache 維持上下文，這本質上是一種「以頻寬換取長度」的低效策略。隨 著上下文長度 T 的增加，Attention 機制的計算複雜度呈 O(T^2) 增長，而推論時 的記憶體搬運量呈 O(T) 線性增長。在 HBM 頻寬成長遠落後於 GPU 算力的現狀下，這 種依賴儲存大量未經壓縮原始狀態的架構，註定會從 Compute-Bound 跌落至 IO-Bound 的深淵。 Nested Learning 的出現，透過對記憶與推理本質的重新理解，為此困境帶來了典範轉移 級別的解答。 其核心突破在於「推論即訓練」的數學創新——Nested Learning 揭示了 Attention 機制在本質上等價於單步的梯度下降更新。基於此，HOPE 架構不再被動地檢 索歷史，而是主動將資訊即時壓縮為模型權重。這將原本受限於頻寬的檢索問題，轉化為 僅需固定算力的狀態更新問題，從根本上粉碎了記憶體牆。 在應用層面，這種架構徹底重塑了 AI 的個性化能力。HOPE 的動態記憶機制（Fast Weights） 不再依賴傳統模型那種外掛式的提示詞（Prompting）來「模擬」短期記憶， 而是透過梯度更新，將使用者的偏好與習慣即時「內化」為模型參數的一部分。這不 僅在工程上根除了重複處理提示詞的算力浪費，更在體驗上創造出具備「演化能力」的專 屬模型，讓 AI 隨著每一次互動變得更懂你。 這一變革預示著當前 HBM 需求高速增長的趨勢將顯著放緩，技術改革的方向將轉向針對 不同更新層級的硬體特化： 邊緣裝置 (Edge)： 承載高頻更新的快層，將不再單純追求頻寬，而是轉向追求大容量 SRAM 與極致的能效比，以支撐毫秒級的狀態寫入與計算。 雲端中心 (Cloud)： 承載低頻更新的慢層，為了處理更複雜的邏輯推理與龐大的智能結 構，將演化出針對非歐幾何的特化運算單元，以在雙曲空間中實現更高維度的高效推理。 ----------這是AI潤稿的分隔線----------- 你各位要小心HBM市場在2026年末的崩潰反轉 短期因為各種高頻信號，還是會持續推高HBM的市場價格 然後記憶體因為這些需求訊號，會瘋狂擴廠 等到「基於超大KV Cache的Transfomer架構」路徑依賴崩潰 新架構全面轉向HOPE的時侯 嘻嘻 刺激囉~~~ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 146.70.205.172 (日本) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1765566374.A.FED.html
推
12/13 03:10, 2月前 , 1F
因為這新架構 google是不是又要重新設計TPU拉?
12/13 03:10, 1F
遙遙領先，狗家的硬體和計算架構和前沿論文研究，具有高度的一致性 互相加成，互相協同，full-stack優化 等到其他大廠醒悟過來，發現Nested learning才是正確方向 決定要放棄Transfomer時，狗家已經領先一年到一年半了 不信你丟給ai問，可以多問幾間互相比對 當然，要用正確的方式問才會得到正確的答案 你要先有足夠的背景知識才能識破關鍵點，問出最重要的問題 問問題的能力，大概就是新時代最重要的能力了XD ※ 編輯: minazukimaya (146.70.205.172 日本), 12/13/2025 03:16:47
噓
12/13 03:22, 2月前 , 2F
我看你根本不懂AI吧...
12/13 03:22, 2F
推
12/13 03:24, 2月前 , 3F
看到這ID就先推
12/13 03:24, 3F
推
12/13 03:27, 2月前 , 4F
我在看openai倒數計時
12/13 03:27, 4F
推
12/13 03:41, 2月前 , 5F
放棄transformer架構是否意味著需要更多GPU?
12/13 03:41, 5F
如果是以「當前同等能力模型」作為基準 答案是不會 因為Transformer+KV Cache是一種很低效的推論模型 低密度的無壓縮資訊儲存+重覆計算AttentionMap 導致超大量的能源浪費(算力和資料搬運成本兩者都是) Nested Learning使用正確的層級特化結構的話 在推論期可以省下五到十倍的能源消耗 不過，架構優化和模型能力提升是兩步走的 在架構優化釋放出來的算力，最終會導致模型繼續依照Scaling Law擴大 所以結果是「省了十倍的能耗，那模型就能再大十倍」(這不是正確的數學，只是比喻) 算力需求永遠存在，因為文明的本質就是計算 ※ 編輯: minazukimaya (146.70.205.172 日本), 12/13/2025 03:55:45
推
12/13 03:55, 2月前 , 6F
需要更多GPU就需要更多記憶體…
12/13 03:55, 6F
需要從更細致的視角去切入 SRAM也是記憶元件 HBM也是 Host DRAM(LPDDR)也是 計算也一樣 tensor core是計算元件 systolic array也是計算元件 近存運算也是計算元件 所以「在哪裡計算，在哪裡儲存，如何搬運資料」從來就不是一個單一命題 一切都要從架構與系統級的視角下去拆解，才會根據需求得出一個答案 這也是為什麼邊緣層和雲端層會發展出不同的計算架構 因為需求不同 ※ 編輯: minazukimaya (146.70.205.172 日本), 12/13/2025 03:59:39
推
12/13 04:03, 2月前 , 7F
一根戳破泡沫的針來了
12/13 04:03, 7F
推
12/13 04:08, 2月前 , 8F
感謝分享，這東西真的挺牛的，說不定這會是未來AGI
12/13 04:08, 8F
→
12/13 04:08, 2月前 , 9F
的先驅，順便回覆樓上，如果這東西是真的搞得出來，
12/13 04:08, 9F
→
12/13 04:08, 2月前 , 10F
那就是戳破那些說AI泡沫的人
12/13 04:08, 10F
推
12/13 04:59, 2月前 , 11F
硬體現實有餘裕的話，原本現在吹的天文級算力需求很
12/13 04:59, 11F
→
12/13 04:59, 2月前 , 12F
難蓋出來
12/13 04:59, 12F
→
12/13 04:59, 2月前 , 13F
改新玩法就能現實點
12/13 04:59, 13F
研究(Model Refinement)時代和擴增(Scaling)時代是輪流出現的 Ilya Sutskever最近有一篇訪談可以看看 正如他所說，接下來時代巨輪要轉回模型改進了 不過，等到模型改進得差不多，又會重啟擴增時代 這兩個時代的過度也是漸變的，不是一刀切 「文明的本質就是計算」 你如果看不懂這一大堆Big Tech誰會贏，那也沒差 買2330 永遠是對的
推
12/13 05:07, 2月前 , 14F
好久沒看到mina大 預計何時開撿？還是保守看？
12/13 05:07, 14F
感謝GOOG爆噴一波，現在YTD 90%了(真是出乎我意料..11月初時我本來已經躺平了) https://i.imgur.com/NHJP572.png
不過我在11月底賣掉一部份GOOG撿了NVDA，作整體部位Rebalance 然後今天就吃了一根超~~~級大的，腳麻了，哭啊
推
12/13 05:08, 2月前 , 15F
這篇好驚人，感謝高高手分享內容，讀完後的感想是
12/13 05:08, 15F
→
12/13 05:08, 2月前 , 16F
美光全力衝刺HBM，是不是慘惹？
12/13 05:08, 16F
嘻嘻 其實這篇只是我得到的洞察的一小角而已 真正重要的我沒說，不過這篇其實有很多引子 比方說在模型最深層(最慢層)，需要非歐幾何的雙曲空間語義空間 (提示: Transfomer的語義空間是平面的) 這在Nested Learning論文裡是完全沒提的，是另幾篇資訊幾何學的研究
推
12/13 05:10, 2月前 , 17F
現在的確是有AI泡沫，但目前要看是啤酒先裝滿或是泡
12/13 05:10, 17F
→
12/13 05:10, 2月前 , 18F
沫先消掉
12/13 05:10, 18F
→
12/13 05:13, 2月前 , 19F
不過邊緣運算中，未來NAND看起來會是最缺的
12/13 05:13, 19F
考慮一個五層結構，最淺兩層(L1~L2)在邊緣，三層(L3~L5)在雲端 你猜猜看L1需要多少參數量? 答案可能出乎你意料的小 完全不需要放在NAND 而且從最快層的「權重即時更新」需求來看，也不能可能放在NAND
推
12/13 05:14, 2月前 , 20F
今天這種盤 狗家不到1%真的太扯
12/13 05:14, 20F
推
12/13 05:15, 2月前 , 21F
衝刺HBM怎麼會慘… 這個做法還真有可能解決HBM的困
12/13 05:15, 21F
→
12/13 05:15, 2月前 , 22F
境 然後HBM的優勢在於頻寬跟速度 一定是未來最需要
12/13 05:15, 22F
→
12/13 05:15, 2月前 , 23F
的
12/13 05:15, 23F
HBM的頻寬和速度很重要 這敘述沒問題 不過HBM的總需求是容量(Capcity)決定的 猜猜看如果把最深層的語義空間從平面換成雙曲，參數量會變成多少? 有論文可以查的，查查看 ※ 編輯: minazukimaya (146.70.205.172 日本), 12/13/2025 05:44:36
推
12/13 05:53, 2月前 , 24F
花一整個早上快速掃完，看起來運算沒減少反而更多，
12/13 05:53, 24F
→
12/13 05:53, 2月前 , 25F
不同頻率互相獨立，不獨立我猜就要用記憶體存參數，
12/13 05:53, 25F
→
12/13 05:53, 2月前 , 26F
也沒有看到討論訓練速度，通常沒有就表示一定更花時
12/13 05:53, 26F
→
12/13 05:53, 2月前 , 27F
間，心得是中立，畢竟都發一個月了，可以再等等看其
12/13 05:53, 27F
→
12/13 05:53, 2月前 , 28F
他團隊有沒有跟上
12/13 05:53, 28F
我覺得你關注錯重點，HOPE架構的工程實作不是論文中最重要的部份 數學表達才是，這篇論文就算把HOPE架構整個去掉 純理論的部份就有相當於熱力學定律的價值 這代表一種更接近「知識、記憶、推理」的物理本質的理論 從而讓各大模型研究商能在巢狀學習的理論範式下，自由去探索各自的工程實現 類比於你有了熱力學定律之後，各種形式的熱機都有理論依據了 你看我前面對於未來模型的敘述(雲邊協同、不同語義空間的五層結構) 這和論文中簡化過的HOPE模型壓根就不是一回事對吧 因為HOPE模型的設計只是要作為論文的實證用途 而不是真正具備下一代模型的「工程可行性」&「商業可行性」的實作 至於下一代實作「可能會長什麼樣子」 那自然是不會在這裡解釋了... 反正即使我提了 99.99%的股板眾也是鴨子聽雷啊
推
12/13 06:03, 2月前 , 29F
當你看到論文的時候，早就有特定的TPU xpu 了
12/13 06:03, 29F
狗家員工內線消息 我要是真信了 你就是在內線交易囉!!! 就事論事 TPUv7沒有明顯針對Nested learning的痛點去優化 (當然也沒有明顯不能跑的理由，依然可以跑) 至於v8之後怎麼設計，現在也沒有公開消息 比起雲端，我覺得現在是邊緣的計算架構沒跟上Nested Learning的需求
還有 376 則推文
還有 30 段內文
推
12/13 17:49, 2月前 , 406F
12/13 17:49, 406F
→
12/13 17:50, 2月前 , 407F
12/13 17:50, 407F
→
12/13 17:51, 2月前 , 408F
12/13 17:51, 408F
→
12/13 17:51, 2月前 , 409F
12/13 17:51, 409F
→
12/13 17:52, 2月前 , 410F
我菜雞還是QQQ和mega 7就好，神仙打架我沒資格參加
12/13 17:52, 410F
推
12/13 17:58, 2月前 , 411F
推
12/13 17:58, 411F
※ 編輯: minazukimaya (146.70.205.172 日本), 12/13/2025 18:07:13
推
12/13 18:06, 2月前 , 412F
行業護城河問gpt你會很慘喔，每間護城河都是在增加
12/13 18:06, 412F
→
12/13 18:06, 2月前 , 413F
的要看的是未來布局
12/13 18:06, 413F
推
12/13 18:28, 2月前 , 414F
Active Entropy Control Model
12/13 18:28, 414F
推
12/13 18:28, 2月前 , 415F
我沒問行業護城河欸我直接給論文它自己寫的
12/13 18:28, 415F
→
12/13 18:29, 2月前 , 416F
重點不在第四張在前三張
12/13 18:29, 416F
→
12/13 18:30, 2月前 , 417F
反正AI沒回要買Nividia 是建議前三張的標的
12/13 18:30, 417F
推
12/13 19:00, 2月前 , 418F
謝謝提供非常好的素材
12/13 19:00, 418F
推
12/13 19:06, 2月前 , 419F
此篇重點在未來AI世界的描繪，虛擬與現實的雙耦，虛
12/13 19:06, 419F
→
12/13 19:06, 2月前 , 420F
擬的入口（GOOG，APPL)，物理的極限(TSM，CEG)
12/13 19:06, 420F
→
12/13 21:03, 2月前 , 421F
通用型怎麼什麼都不精怎麼和ASIC比
12/13 21:03, 421F
推
12/13 21:16, 2月前 , 422F
你各位還是想想最終消費者會選擇從哪個入口去付費A
12/13 21:16, 422F
→
12/13 21:16, 2月前 , 423F
I
12/13 21:16, 423F
推
12/13 21:28, 2月前 , 424F
這篇不是github還沒開源嗎?
12/13 21:28, 424F
推
12/13 22:49, 2月前 , 425F
不懂Nested Learning如何降低vram用量，不過先推了!
12/13 22:49, 425F
→
12/13 23:16, 2月前 , 426F
謝謝mina大的分享引起很多大大的討論，跪學中……
12/13 23:16, 426F
推
12/13 23:39, 2月前 , 427F
asic每次換算法都要重新設計來取得最佳效能啊
12/13 23:39, 427F
※ avans:轉錄至看板 AI_Art 12/14 00:12
推
12/14 02:00, 2月前 , 428F
這用TPU跑一定悲劇，GPU勉強可以，ASIC有得等
12/14 02:00, 428F
→
12/14 02:01, 2月前 , 429F
不過NL不會太快取代現有的LLM，即使硬體充分支援
12/14 02:01, 429F
→
12/14 02:02, 2月前 , 430F
每個人都雲端學習自己的AI model，學出來還都不同
12/14 02:02, 430F
→
12/14 02:02, 2月前 , 431F
太不可控了
12/14 02:02, 431F
→
12/14 02:03, 2月前 , 432F
可以考慮邊緣端的應用，不過風險還是很高，容易被告
12/14 02:03, 432F
→
12/14 13:43, 2月前 , 433F
太唬爛,這要甚麼時候商轉,甚麼時候價格降下來
12/14 13:43, 433F
→
12/14 13:44, 2月前 , 434F
如果可行的話,採購第一個轉過來買這個
12/14 13:44, 434F
推
12/14 14:59, 2月前 , 435F
這是股版目前最有料的一篇
12/14 14:59, 435F
推
12/14 16:20, 2月前 , 436F
9月的時候要減碼TSM，現在要趕快補回來了嗎
12/14 16:20, 436F
推
12/15 03:22, 2月前 , 437F
回來mark一下 這篇paper可能對我工作有幫助
12/15 03:22, 437F
推
12/15 07:23, 2月前 , 438F
我看到了 BETA 與 VHS 之爭。還有人聽得懂我我嗎？
12/15 07:23, 438F
推
12/15 07:41, 2月前 , 439F
12/15 07:41, 439F
噓
12/15 09:09, 2月前 , 440F
範式變更越大tpu入土越快
12/15 09:09, 440F
→
12/15 09:09, 2月前 , 441F
還在內插就不要講什麼熱力學都定律了
12/15 09:09, 441F
→
12/15 09:09, 2月前 , 442F
聽這個跟聽推背圖差不多
12/15 09:09, 442F
推
12/15 14:39, 2月前 , 443F
M大就給推～ 雖然還是不太容易理解
12/15 14:39, 443F
‣ 更多 minazukimaya 的文章
文章代碼(AID): #1fF6Uc_j (Stock)
討論串 (同標題文章)
完整討論串 (本文為第 10 之 23 篇)：
排序： 最新先 | 最舊先 | 留言數
在新視窗開啟完整討論串 (共23篇)
Stock 近期熱門文章
更多 近期熱門文章 >>
PTT職涯區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 minazukimaya 的文章
文章代碼(AID): #1fF6Uc_j (Stock)