看板 [ Stock ]
討論串[請益] 魔改舊顯卡
共 2 篇文章
內容預覽： 開啟 | 關閉 | 只限未讀
首頁
上一頁
1
下一頁
尾頁
#1
[請益] 魔改舊顯卡
推噓44(47推 3噓 64→)留言114則，0人參與, 4小時前最新作者LimYoHwan (gosu mage)時間8小時前 (2025/02/02 22:38), 編輯資訊
0
4
0
內容預覽:
個人是不太了解, 因為也不是AI專家. 現在看到中國在魔改二手顯卡跑一些千億級參數大模型推理和優化. 他們拿這些二手顯卡跑 運行DeepSeek-Vision R1 72B、Llama 3.2 Vision 90B、Qwen2.5 72B和Qwen1.5 130B. 就問了chatgpt這些大模型，
(還有518個字)
#2
Re: [請益] 魔改舊顯卡
推噓9(10推 1噓 7→)留言18則，0人參與, 4小時前最新作者neo5277 (I am an agent of chaos)時間7小時前 (2025/02/02 23:49), 6小時前編輯資訊
0
0
0
內容預覽:
在以前模型聰不聰明是用有多少超參數決定的. 因為他是從0，慢慢學習變化到100. 所以腦容量不夠大，就不夠聰明。. 從1~100的過程，除了初期資本開支，server ,溫控，顯卡晶片，電力，人力，資料. 完完全全的資本密集。. DS 知識蒸餾，跟其他的優化，基本上就是一種錢跟時間用在刀口上. 開源
(還有1013個字)
首頁
上一頁
1
下一頁
尾頁