Re: [心得] AI需求是供應商精心設計好的套路

看板Stock (股票)作者cosmo7897 (普萊兒)時間2小時前 (2026/03/22 08:59)推噓5(5推 0噓 15→)

留言20則, 9人參與討論串6/9 (看更多)

最近在想一個跟原po類似的問題剛好也跟 AI 討論了一陣子，整理成一些自己的觀察先拋結論：這不太像什麼已經被設計好的套路，比較像是「科技樹還沒點到那裡」目前 AI 發展其實有兩條很明顯的趨勢在同時發生：一個是大模型持續變強，但邊際效益開始下降模型變大還是會變強，但提升的幅度，跟投入的算力、成本相比，沒有以前那麼划算另一個是小模型越來越強透過 distillation、quantization，還有針對特定任務優化小模型其實已經可以 cover 很多實用場景所以就出現一個有趣的可能性：未來「訓練大模型」這件事，可能還是只會集中在少數幾間大公司手上但「推理」這件事，不一定需要一直依賴超大模型有沒有可能變成把任務拆開，交給多個小模型，在不同裝置上協作完成？這個概念其實有點像公司運作：公司不會全部都請通才，而是不同領域的專才組成不同 team，一起把事情完成對應到模型也是一樣：現在的大模型，其實有點像把各種能力（語言、邏輯、知識）全部塞在一起但理論上，這些能力是可以被拆分、模組化的問題就出在一個關鍵點：latency（延遲）如果是一個大模型，你問問題，它可以一次 forward 就給答案但如果是多個小模型協作，就會變成：模型 A → 模型 B → 模型 C 中間需要傳遞資訊、同步狀態，甚至「討論」這個過程的延遲，如果太高，就完全不可行所以我現在的理解是：未來架構會不會改變，關鍵不在模型大小，而在 latency 能不能壓下來如果有一天： - 裝置間通訊延遲大幅下降（硬體 / network） - 模型之間的協作機制變成熟（software / protocol）那多小模型協作，才有可能真的落地到那個時候，整個生態可能會有一些變化： - GPU / memory 還是很重要，但需求不一定是「無限膨脹」 - 能源問題也可能被部分緩解（因為計算被分散） - 邊緣裝置（手機、桌機、筆電、車機、甚至穿戴裝置）的算力不再閒置現在其實是：我們在用雲端 server 跑 AI，但身邊一堆裝置的算力都是閒置的未來有沒有可能變成：這些裝置一起參與推理，變成一種分散式 AI？當然，這條路現在還卡在 latency、穩定性、還有系統複雜度，但我相信已經有人在研究了所以短期內，大模型 + 雲端還是主流但如果這些問題被解掉，現在這種「集中式算力 + 超大模型」的模式，未必是唯一解大概就是這樣，算是一點還沒成熟的想法，拋出來看看大家怎麼想 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.168.146.181 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1774141163.A.E2A.html

推

Shiang1225

03/22 09:06, 2小時前 , 1^F

03/22 09:06, 1^F

推

sceleton

03/22 09:09, 2小時前 , 2^F

03/22 09:09, 2^F

→

sceleton

03/22 09:09, 2小時前 , 3^F

03/22 09:09, 3^F