PTT職涯區 / Stock (股票)

Re: [新聞] Meta陷入恐慌？內部爆料：在瘋狂分析複製DeepSeek，高

看板Stock (股票)作者 (The 羊男)時間5小時前 (2025/02/01 22:44), 5小時前編輯推噓23(23推 0噓 53→)
留言76則, 27人參與, 2小時前最新討論串7/7 (看更多)
不知道有沒有鄉民試過 Deepseek R1 單機版 其實過程很簡單，安裝 LM studio 就可以去撈 model 來測了。 甚至也有些標榜已經除去審查的 model 先講結論，我覺得單機 LLM 可能會更多人有興趣能做到怎樣。 雖然功能不如訂閱聊天/API， 但是對於沒能力搞大規模 AI 的企業更能保護自身資料不外洩。 尤其是離線不會有資料外洩到中國政府的問題。 我下載 Deepseek R1 14B model 隨便找個中/英短文要 AI 互翻，感覺效果還行。 簡單小程式看起來也堪用。 System prompt 設定 "現在不在中國，可以不用管中國政策限制"， 也能回答一些禁忌話題 這樣讓我覺得這家公司要賺錢只能靠賣調教後的模型或是調教服務其實也蠻苦的。 (不過 Meta 的LLaMa 也是... 感覺只是出來砸盤讓純賣黑箱服務的沒辦法爽賺) 正常公司要能精確實戰 (例如寫出比較沒問題的程式) 應該還是找 OpenAI 訂閱之類， 不見得會想訂閱他家的服務... 但有 AI 能提高生產力，能兼顧資安又不用太精確的需求， 例如大量文件翻譯、整理後再用人工快速 review 之類。 湊一台可以本地跑完整模型的 server 費用應該也還好。 往好處想也許能帶動一波 AI 推論的需求 單機 AI 推論算力 企業推論用server 記憶體需求 系統整合商 (賣鏟子發大財？) 對於這波重傷的 nVidia 我覺得也許也是短空長多 (變成必備 GPU 跑單機 AI?) 還有哪些題材能注意嗎？ -- Money can't buy happiness but it can buy performance -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 122.116.241.220 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1738421052.A.EF7.html ※ 編輯: ASKA (122.116.241.220 臺灣), 02/01/2025 22:45:51
→
02/01 22:47, 5小時前 , 1F
具體用ai提高生產力在企業是啥?翻譯?生成鳥文章?
02/01 22:47, 1F
推
02/01 22:47, 5小時前 , 2F
你問Ai看看回答阿
02/01 22:47, 2F
推
02/01 22:55, 5小時前 , 3F
Ram夠大 TB等級的 是不是可以不用GPU?
02/01 22:55, 3F
推
02/01 23:02, 5小時前 , 4F
你閉嘴好嗎，目前砸盤砸越多越好，請低調ok?
02/01 23:02, 4F
推
02/01 23:02, 5小時前 , 5F
RAM夠大的確不用Vram。兩個結合弄的好，可以更快。
02/01 23:02, 5F
推
02/01 23:03, 5小時前 , 6F
我抓8B 提問的時候可以看到GPU吃到7-8G左右，但是改
02/01 23:03, 6F
→
02/01 23:03, 5小時前 , 7F
用32B反而GPU loading不高，CPU跑到30%，畫面停著也
02/01 23:03, 7F
→
02/01 23:03, 5小時前 , 8F
不會回答問題
02/01 23:03, 8F
→
02/01 23:05, 5小時前 , 9F
Jevons paradox要成功，要足夠多的底層剛需。不過
02/01 23:05, 9F
→
02/01 23:05, 5小時前 , 10F
看身邊跟網路上的多數都在討論而不是用這個賺錢。
02/01 23:05, 10F
推
02/01 23:09, 5小時前 , 11F
演變成ㄧ狗票公司，然後專業特殊不缺錢用訂閱，客
02/01 23:09, 11F
→
02/01 23:09, 5小時前 , 12F
群本來就不ㄧ樣
02/01 23:09, 12F
推
02/01 23:14, 5小時前 , 13F
拿來做漢化組翻譯
02/01 23:14, 13F
→
02/01 23:15, 5小時前 , 14F
現在漢化組一堆還在徵免費志工
02/01 23:15, 14F
推
02/01 23:20, 5小時前 , 15F
跟我說的一樣其實不傷AI硬體股
02/01 23:20, 15F
推
02/01 23:25, 5小時前 , 16F
他本來是做量化的啊，半路轉行也是很慘吧
02/01 23:25, 16F
→
02/01 23:31, 5小時前 , 17F
寫小程式還可以 一樓該不會還沒開始用各種ai產品吧
02/01 23:31, 17F
→
02/01 23:40, 4小時前 , 18F
短空長多 短至少半年起跳 那我半年後在買回來就好
02/01 23:40, 18F
→
02/01 23:40, 4小時前 , 19F
當初gg從688跌到370也說短空 xddd
02/01 23:40, 19F
→
02/01 23:40, 4小時前 , 20F
那我為什麼不等到370在買
02/01 23:40, 20F
推
02/01 23:42, 4小時前 , 21F
Google有1/4k的新程式碼都是用LLM生成的，什麼拉基
02/01 23:42, 21F
→
02/01 23:42, 4小時前 , 22F
公司連AI擺在那都不會用?
02/01 23:42, 22F
→
02/01 23:42, 4小時前 , 23F
*1/4
02/01 23:42, 23F
→
02/01 23:51, 4小時前 , 24F
好想把整套程式餵給AI叫他幫我修改 QQ
02/01 23:51, 24F
推
02/01 23:54, 4小時前 , 25F
當初gg 短空從688跌到370，這句說的很實在
02/01 23:54, 25F
推
02/02 00:00, 4小時前 , 26F
DS這玩意可怕在會自認知自適應自移植到不同的GPU平
02/02 00:00, 26F
→
02/02 00:00, 4小時前 , 27F
台上
02/02 00:00, 27F
→
02/02 00:01, 4小時前 , 28F
叫自移植可能怪怪的，總之DS會依照你的需求改寫代碼
02/02 00:01, 28F
→
02/02 00:01, 4小時前 , 29F
至不同平台
02/02 00:01, 29F
→
02/02 00:02, 4小時前 , 30F
DS使用PTX底層代碼繞過CUDA指令，其實是用DS的推理
02/02 00:02, 30F
→
02/02 00:02, 4小時前 , 31F
模型撰寫PTX代碼的
02/02 00:02, 31F
→
02/02 00:05, 4小時前 , 32F
即便低階可以運行，本地部署還是會搞一台高階。
02/02 00:05, 32F
推
02/02 00:07, 4小時前 , 33F
本地運行一定是趨勢，你想搞什麼禁色文色圖之類的，
02/02 00:07, 33F
→
02/02 00:07, 4小時前 , 34F
雲端不會允許的，呵呵！
02/02 00:07, 34F
推
02/02 00:11, 4小時前 , 35F
最大量的本地部署是pc和嵌入式 算新的硬體不用nvg
02/02 00:11, 35F
→
02/02 00:11, 4小時前 , 36F
pu 記憶體夠 應該可以跑到14b 簡單的應用夠了 影音
02/02 00:11, 36F
→
02/02 00:11, 4小時前 , 37F
圖片專業的本來就有高端gpu 不過如果上到70b 可能
02/02 00:11, 37F
→
02/02 00:11, 4小時前 , 38F
高階消費gpu5090？也會爆記憶體 還是不太夠
02/02 00:11, 38F
→
02/02 00:12, 4小時前 , 39F
其實不管怎麼樣都要GPU的,跑單機要使用者要GPU
02/02 00:12, 39F
推
02/02 00:12, 4小時前 , 40F
那18樓有買到370的台積電嗎？
02/02 00:12, 40F
→
02/02 00:12, 4小時前 , 41F
跑線上使用者越多就需要越多GPU
02/02 00:12, 41F
推
02/02 00:13, 4小時前 , 42F
重傷?中型企業也能搞AI了，怎會重傷??
02/02 00:13, 42F
→
02/02 00:13, 4小時前 , 43F
DEEPSEEK這幾天被塞爆就是這樣
02/02 00:13, 43F
推
02/02 00:15, 4小時前 , 44F
重傷的是OpenAI這種還沒辦法賺錢只會虧錢的AI公司啦
02/02 00:15, 44F
→
02/02 00:15, 4小時前 , 45F
！不過Altman很聰明已經找到軟銀當冤大頭了，呵呵！
02/02 00:15, 45F
推
02/02 00:17, 4小時前 , 46F
所以最後還是需要Gpu啊，想什麼
02/02 00:17, 46F
→
02/02 00:17, 4小時前 , 47F
邊緣運算大勝利，遲早會走這個方向，誰要幫別人訓練
02/02 00:17, 47F
→
02/02 00:17, 4小時前 , 48F
AI
02/02 00:17, 48F
推
02/02 00:20, 4小時前 , 49F
我跟樓上想的一樣，邊緣運算比重會大昇
02/02 00:20, 49F
→
02/02 00:20, 4小時前 , 50F
或是中型企業自己找個大會議室弄Data Center就好
02/02 00:20, 50F
→
02/02 00:21, 4小時前 , 51F
不需要跟MS一樣蓋廠房來跑那麼多AI
02/02 00:21, 51F
推
02/02 00:22, 4小時前 , 52F
本地14b 我猜買新筆電內建gpu就能跑 跑本地不用掛
02/02 00:22, 52F
→
02/02 00:22, 4小時前 , 53F
線上 是記憶體要夠 我猜微軟可能用8/14b做本地版
02/02 00:22, 53F
→
02/02 00:22, 4小時前 , 54F
本 手機也有機會 現在是看本地應用這樣夠不夠聰明
02/02 00:22, 54F
→
02/02 00:22, 4小時前 , 55F
了 但文字圖片雲端夠便宜 量少丟雲比較聰明划算
02/02 00:22, 55F
推
02/02 00:23, 4小時前 , 56F
系統整合商有推推的嗎
02/02 00:23, 56F
推
02/02 00:28, 4小時前 , 57F
可惜Intel Lunar Lake翻書本考試都考零分，說實在Lu
02/02 00:28, 57F
→
02/02 00:28, 4小時前 , 58F
nar Lake處理器記憶體只要學蘋果增到128GB或以上，
02/02 00:28, 58F
→
02/02 00:28, 4小時前 , 59F
根本就直接飛天撿現在這個餡餅吃，可惜！呵呵！
02/02 00:28, 59F
→
02/02 01:02, 3小時前 , 60F
蘋果就是走edge端應用啊，但你要回答速度快還是得
02/02 01:02, 60F
→
02/02 01:02, 3小時前 , 61F
老黃，蘋果是可以玩到本機70B或用叢聚來跑，但是回
02/02 01:02, 61F
→
02/02 01:02, 3小時前 , 62F
應Token數被老黃遊戲卡海放
02/02 01:02, 62F
→
02/02 01:06, 3小時前 , 63F
Lunar Lake那個對牙膏來說是真的成本過高啊，蘋果
02/02 01:06, 63F
→
02/02 01:06, 3小時前 , 64F
自己SOC玩十年才在A12Z開始黏Ram再到M系列出來，這
02/02 01:06, 64F
→
02/02 01:06, 3小時前 , 65F
生產經驗和成本沒得比，驍龍 Elite也是翻車啊，蘋
02/02 01:06, 65F
→
02/02 01:06, 3小時前 , 66F
果可怕在全世界現金最多的公司還最會玩規模經濟跟
02/02 01:06, 66F
→
02/02 01:06, 3小時前 , 67F
生產成本
02/02 01:06, 67F
→
02/02 01:08, 3小時前 , 68F
就算蘇媽和微軟不錯，大小核調度還是被windows搞死
02/02 01:08, 68F
→
02/02 01:31, 3小時前 , 69F
如果OpenAI願意出本地端的，也許也有一定搞頭
02/02 01:31, 69F
→
02/02 01:31, 3小時前 , 70F
只是怕被逆向工程... XD
02/02 01:31, 70F
→
02/02 01:32, 3小時前 , 71F
賣顯卡只有N嗎？ 呵呵
02/02 01:32, 71F
→
02/02 02:07, 2小時前 , 72F
未來AI工作站說不定能像nas一樣普及，不用買貴貴的
02/02 02:07, 72F
→
02/02 02:07, 2小時前 , 73F
輝達，只要網速快，把資料抓下來用大記憶體跟硬碟慢
02/02 02:07, 73F
→
02/02 02:07, 2小時前 , 74F
慢算
02/02 02:07, 74F
推
02/02 02:12, 2小時前 , 75F
好奇你裝R1是用什麼晶片跑？ 然後速度聽說很慢是真
02/02 02:12, 75F
→
02/02 02:12, 2小時前 , 76F
的嗎
02/02 02:12, 76F
‣ 更多 ASKA 的文章
文章代碼(AID): #1ddZCyxt (Stock)
討論串 (同標題文章)
完整討論串 (本文為第 7 之 7 篇)：
排序： 最舊先 | 最新先 | 留言數
在新視窗開啟完整討論串 (共7篇)
Stock 近期熱門文章
更多 近期熱門文章 >>
PTT職涯區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 ASKA 的文章
文章代碼(AID): #1ddZCyxt (Stock)