PTT職涯區 / Stock (股票)

Re: [新聞] 甲骨文股價暴跌超10%！訂單積壓越來越多 「燒錢」砸AI風險令人擔憂

看板Stock (股票)作者 (3d)時間2月前 (2025/12/14 05:40), 編輯推噓10(10推 0噓 33→)
留言43則, 14人參與, 2月前最新討論串17/23 (看更多)
※ 引述《minazukimaya (水無月真夜)》之銘言： : 沒關係，偷偷告訴你一個Insight : 今年NeurIPS 2025有一篇超重量級的論文 : Introducing Nested Learning 就整篇不知道在講什麼。刪 https://research.google/blog/introducing-nested-learning-a-new-ml-paradigm-for-continual-learning/ https://reurl.cc/8bDgag google已經整理好重點。 "We introduce Nested Learning, a new approach to machine learning that views models as a set of smaller, nested optimization problems, each with its own internal workflow, in order to mitigate or even completely avoid the issue of “catastrophic forgetting”, where learning new tasks sacrifices proficiency on old tasks." 翻譯 "我們引入Nested Learning，這是一種新的機器學習方法，它將模型視為一組較小的Nested Learning問題，每個問題都有自己的內部工作流程，以便減輕甚至完全避免「災難性遺忘」的問題，即學習新任務會犧牲對舊任務的熟練程度。" 架構還是transformer，套入一些術語，讓外行人糊塗。論文都是這樣。 就很有趣，有機會改進post training效率，可能可以塞進更多功能在同樣的規模模型。 就像moe(Mixture of Experts)，有很大幫助，但基本結構不變。 股版的關聯是，該漲的該跌的股票不變。AI現在就是往更高效率，更少資源方向走。 但應用如何賺錢還是問題，所以甲骨文大投資，如何回收，華西街現在害怕了。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 58.114.66.74 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1765662010.A.091.html
推
12/14 05:54, 2月前 , 1F
OpenAI都改成用租的了
12/14 05:54, 1F
推
12/14 05:57, 2月前 , 2F
openai 一直都是用租的，從來不花錢自己買自己建資
12/14 05:57, 2F
→
12/14 05:57, 2月前 , 3F
料中心
12/14 05:57, 3F
推
12/14 06:10, 2月前 , 4F
OpenAI用買的早就跟甲甲文一個下場了
12/14 06:10, 4F
→
12/14 07:25, 2月前 , 5F
奧特曼用租的然後跑去韓國搶HBM產能
12/14 07:25, 5F
推
12/14 08:34, 2月前 , 6F
要燒錢也是有個限度，最終還是回歸獲利模式
12/14 08:34, 6F
→
12/14 08:51, 2月前 , 7F
現在就等誰先撐不住 以後被低價收購 這些努力不會
12/14 08:51, 7F
→
12/14 08:51, 2月前 , 8F
白費的啦 只是變成別人的養分
12/14 08:51, 8F
→
12/14 09:47, 2月前 , 9F
災難性遺忘 跟模型承受資料量有關係
12/14 09:47, 9F
→
12/14 09:47, 2月前 , 10F
小模型你給太多資料 他最後會崩潰 什麼都忘光
12/14 09:47, 10F
→
12/14 09:47, 2月前 , 11F
這點能解決的話 算很有用的技術
12/14 09:47, 11F
推
12/14 09:59, 2月前 , 12F
AI基建迭代幾輪都有可能。巨頭們很奸巧，出點錢讓想
12/14 09:59, 12F
→
12/14 09:59, 2月前 , 13F
紅的阿呆去玩命
12/14 09:59, 13F
推
12/14 10:04, 2月前 , 14F
網咖：不是我們模式不行，是遊戲要求越來越高
12/14 10:04, 14F
→
12/14 10:04, 2月前 , 15F
逼得要不斷燒硬體升級
12/14 10:04, 15F
→
12/14 10:07, 2月前 , 16F
皮衣蛙：結論就是你要勤勞的換新鏟子，
12/14 10:07, 16F
→
12/14 10:07, 2月前 , 17F
應用不進步是不可能的
12/14 10:07, 17F
→
12/14 10:42, 2月前 , 18F
HOPE跟傳統transformer已經有很大不同 但也不用咬
12/14 10:42, 18F
→
12/14 10:42, 2月前 , 19F
文嚼字了 看起來硬體支援少不了 就買2330/0052吧
12/14 10:42, 19F
推
12/14 13:05, 2月前 , 20F
譁眾取寵那咖啥都不懂 早就直接無視
12/14 13:05, 20F
推
12/14 15:58, 2月前 , 21F
不對喔 transformer基本就是qkv+ffn
12/14 15:58, 21F
→
12/14 15:59, 2月前 , 22F
如果你只改了FFN 那確實就如這篇說的
12/14 15:59, 22F
→
12/14 15:59, 2月前 , 23F
叫xxtransformer才對 transformer已經被魔改到
12/14 15:59, 23F
→
12/14 16:00, 2月前 , 24F
我隨便就能舉出2-30transformer架構
12/14 16:00, 24F
→
12/14 16:01, 2月前 , 25F
然後他還改變了training的方式 但那些fine-turing的
12/14 16:01, 25F
→
12/14 16:01, 2月前 , 26F
技巧 其實還滿常使用的
12/14 16:01, 26F
→
12/14 16:02, 2月前 , 27F
在transfer learning 本來就沒有一次性地更新模型的
12/14 16:02, 27F
→
12/14 16:02, 2月前 , 28F
不同的模型使用不同的更新速率 這是很常見的
12/14 16:02, 28F
→
12/14 16:03, 2月前 , 29F
你如果訓練GAN 更常使用不同頻率的更新技巧
12/14 16:03, 29F
→
12/14 16:04, 2月前 , 30F
再來就是他使用了一種新的op 那這要實驗去驗證
12/14 16:04, 30F
→
12/14 16:04, 2月前 , 31F
簡單的說 大模型試試看 目前說實在 沒有覺得很亮眼
12/14 16:04, 31F
→
12/14 16:05, 2月前 , 32F
他如果能在大模型打敗所有人 一翻兩瞪眼
12/14 16:05, 32F
→
12/14 16:06, 2月前 , 33F
管他叫什麼 大家都會覺得你是神
12/14 16:06, 33F
→
12/14 16:07, 2月前 , 34F
而且他FFN 用了5層....嗯 不好說 很反直覺
12/14 16:07, 34F
推
12/14 16:24, 2月前 , 35F
不過我還是要謝謝原本那篇文章 看股版還可以讀論文
12/14 16:24, 35F
→
12/14 16:32, 2月前 , 36F
努力不會白廢 變成別人的養份+1 XD 一直以來就是
12/14 16:32, 36F
→
12/14 16:32, 2月前 , 37F
全錄首創GUI 成就apple和m$ 而網景推出網頁瀏覽器
12/14 16:32, 37F
→
12/14 16:32, 2月前 , 38F
成就了m$ 一整個前網路世代 第一隻智慧型「手機」
12/14 16:32, 38F
→
12/14 16:32, 2月前 , 39F
（概念） 由IBM提出 一陣亂戰差點又被m$撿漏 最後
12/14 16:32, 39F
→
12/14 16:32, 2月前 , 40F
成就了 apple和google 在歷史上首發但成就他人的「
12/14 16:32, 40F
→
12/14 16:32, 2月前 , 41F
善心」企業真的數不玩 XD
12/14 16:32, 41F
→
12/14 16:35, 2月前 , 42F
這些例子還沒說到「被」成就賣鏟子的 ..
12/14 16:35, 42F
推
12/14 23:19, 2月前 , 43F
謝謝
12/14 23:19, 43F
‣ 更多 oopFoo 的文章
文章代碼(AID): #1fFTqw2H (Stock)
討論串 (同標題文章)
完整討論串 (本文為第 17 之 23 篇)：
排序： 最新先 | 最舊先 | 留言數
在新視窗開啟完整討論串 (共23篇)
Stock 近期熱門文章
更多 近期熱門文章 >>
PTT職涯區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 oopFoo 的文章
文章代碼(AID): #1fFTqw2H (Stock)