Re: [標的] AAPL M5 Ultra對企業端產生的影響 多
近期mac的模型也算有突破
自從mtplx出來後
本機跑
m4_max_36g
Qwen 3.6 35BA3B_6 bit(30g)_
prefill :860, TG:90~100 token
m5_pro_64g
Qwen 3.6 35BA3B_6 bit(30g)_
prefill :400~500, TG:80~90 token
Qweb 3.8 27b_8bit
prefill : 150 ,TG:25~30 token
整個幾乎到可以幹活的階段,實際測試了一週也沒什麼大問題
裝了harness做tool calling,對財務報表準度也非常夠
一台m5 max 輕度大概3~5人小型辦公室使用沒什麼問題
大概打NV 80系列以下沒什麼問題,對5080,5090的優勢大概就是容易養吧
5090需要一堆環境設備支持,小辦公室可能做不到
※ 引述《ripple0129 (perry)》之銘言:
: 我倒覺得Apple是有錢的個人玩家才是大宗
: 企業應對需求RTX pro 6000才是正解
: Mac Studio最大最大的優勢是
: 安靜與省電
: 除非有人想在家裡搞個熱烘烘
: 風扇聲大的要死的機器
: 企業來說推論速度要夠快
: 甚至是可以應付多人推論使用
: 以Mac的速度處理不來
: 企業需求是重複性且量大不出錯的需求
: 譬如大量讀取PDF文件
: 大量讀取圖片影片
: 消化速度遠低於業務進來速度
: 這就達不到企業要的效果
: 而加上資安或法規問題
: 更是沒辦法使用雲端API的狀況
: 本地高速推論對企業來說就是硬需求
: Mac的速度遠遠無法支撐
: ※ 引述《seemoon2000 (no cash)》之銘言:
: : 標的:(AAPL)
: : 分類:多 (請選擇並刪除無關分類)
: : 分析/正文:
: : 蘋果今天公布了M5 Ultra和M6
: : M5 Ultra試點了一下
: : M5 Ultra+256gb ram+8TB硬碟 50.8萬台幣
: : 乍看之下這價格好像不便宜
: : 有在玩本地LLM的都會知道
: : 現在瓶頸是記憶體頻寬,顯卡算力在本地端很多是過剩的
: : 我比較一下現在主流的產品
: : 記憶體頻寬:
: : Apple M5 Ultra(完整的一台Mac電腦)
: : 售價50萬 統一記憶體256GB:1200GB/s
: : RTX 5090
: : 市價17萬 Vram32GB:1792GB/s
: : RTX PRO 6000:(純顯卡)
: : 市價57萬 Vram96GB:1792GB/s
: : RTX5080:純顯卡)
: : 市價5.2萬 Vram16GB:960GB/s
: : RTX5070ti:純顯卡)
: : 市價4.9萬 Vram16GB:896GB/s
: : NVIDIA DGX:(完整的一台Linux電腦)
: : 市價15~20萬 統一記憶體128GB:273GB/s
: : AMD Ryzen AI Max+ 395:(完整的一台Win/Linux電腦)
: : 市價9萬 統一記憶體128GB:256GB/s
: : 這陣子顯卡和DGX漲價,除了記憶體價格上漲,我個人觀點
: : 主要也有一部分小型企業有開始買多卡佈署較低成本的方案
: : 但這波上面所有價位段的競品,"沒有一個"能跟M5 Ultra比較,唯一稍微能比的只有RT
: X
: : PRO 6000,記憶體頻寬更高,但96GBVram也輸M5 Ultra的256/512GB,而且M5是整台電
: 腦
: : ,賣得還比純顯卡PRO 6000便宜
: : 至於這陣子買到溢價DGX,基本上現在可以安慰自己說
: : 生圖生影片用Cuda跑很快,很開心
: : M5 Ultra這個方案,應該會有不少中型企業開始採用
: : 因為可以直接安裝Deepseek v4 flash或Qwen 3.8 27b,複雜高級任務在調再API模型
: : 這些T2等級的本地模型,對要自己部屬的企業,實用性遠比Kimi K3高多了
: : M5 Ultra加上Deepseek v4 flash和Qwen 3.8 27b就是現在完全破壞中型2B市場的組合
: 。
: : NV老黃現在不可能貿然放生DGX和RTX Pro用戶
: : 等於在中型企業端的市場會變成無法競爭
: : NV應該會開始努力把產品賣給模型公司。
: : 進退場機制:
: : 進場時機 最低305左右 退場時機 NV想出解方後
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.10.167.59 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1787726154.A.5AA.html
討論串 (同標題文章)
完整討論串 (本文為第 3 之 3 篇):
Stock 近期熱門文章
PTT職涯區 即時熱門文章