PTT職涯區 / Stock (股票)

Re: [請益] 魔改舊顯卡

看板Stock (股票)作者 (I am an agent of chaos)時間4小時前 (2025/02/02 23:49), 4小時前編輯推噓9(10推 1噓 7→)
留言18則, 11人參與, 2小時前最新討論串2/2 (看更多)
在以前模型聰不聰明是用有多少超參數決定的 因為他是從0，慢慢學習變化到100 所以腦容量不夠大，就不夠聰明。 從1~100的過程，除了初期資本開支，server ,溫控，顯卡晶片，電力，人力，資料 完完全全的資本密集。 DS 知識蒸餾，跟其他的優化，基本上就是一種錢跟時間用在刀口上 開源世界就是這樣，我不會從01開始寫程式。 回到這個主題，會需要顯卡主就是他是多顆運算中心機制，同時做矩陣運算。 很多人應該知道了，DS母公司，是AI交易的私募基金，從開始到財富自由來做模型 已有十幾年，你說要調控這種平行運算模式我想它們本身是滿有經驗的。 再來就是不是只有它們一間公司在這樣玩。 至於有人用單車跟保時捷比喻，我覺得你可能搞錯一些事情 GPU的優勢恰恰就是量，一海票簡單計算推過去這樣。 其實主要重點是，PTX只有N家支援，他是中介層，但是你要做逆向可以從CUDA，跟PT X轉換還有研究這個指令及如何去跟硬體作配合互動，這是一件很難的事情。 要瞎子摸象滿久的，一般正常人應該是不會想去搞這個，but 如果你是處於 被圍困的狀態，我想不做都不行吧，中國這種Geek 等級的人很多很多，開源精神 更是推動這群人的動力，不過我想目前應該是都只限於N家的卡，要完全逆向到可以 自建指令及跟設計對應的硬體，又要跨越台積的良率我覺得有相當大的困難。 就算他們去找三星合作，也不會這麼快，川普的美國制下，應該不太會有國家 想去做這種事情，摩爾線程，應該也沒有這麼快逆向出來。 最有可能的是MAC 跟發哥要做GB10 晶片的DIGITS，這個我覺得只要你是研究人員 或是有在摸得都會很想要個幾台，因為太划算了，看看到時候成品如何。 大家可以關注是誰做這塊組裝跟上下游，再次DS就是給了一條很亞洲的思路 不管軟體硬體都降低到一個極致，土炮得很完美，到每個平台都被嚇到之後照抄。 這真的不是算力富翁跟自由的人會去關注的，就是因為窮才會去做這些事情。 穿皮鞋的怕穿草鞋的穿草鞋的怕打赤腳的。 反正GG 就關稅以外的層面來說應該都還是優勢，N也是一樣。 最大變數，現在反而變成美國了(攤手~ -- WHY SO SERIOUS??? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.162.146.57 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1738511340.A.58E.html
推
02/02 23:52, 4小時前 , 1F
推
02/02 23:52, 1F
推
02/02 23:53, 4小時前 , 2F
推正常人不會去搞這個 感覺會白頭髮跟禿頭 QQ
02/02 23:53, 2F
推
02/02 23:54, 4小時前 , 3F
跟臭魚爛蝦玩就用三星，想跟大咖一起跑步就只能用GG
02/02 23:54, 3F
※ 編輯: neo5277 (1.162.146.57 臺灣), 02/02/2025 23:55:21
推
02/02 23:57, 4小時前 , 4F
專業
02/02 23:57, 4F
噓
02/03 00:00, 4小時前 , 5F
想太多 ds有六千億個參數 而且你又知它是低算力
02/03 00:00, 5F
→
02/03 00:00, 4小時前 , 6F
跑出來的 那只是它自己宣稱的
02/03 00:00, 6F
→
02/03 00:01, 4小時前 , 7F
它只是不像gpt要從零開始 因為它是用gpt的成果
02/03 00:01, 7F
→
02/03 00:01, 4小時前 , 8F
不然它早就比gpt先出來了
02/03 00:01, 8F
→
02/03 00:02, 4小時前 , 9F
不是因為它開源才低成本 相反是因為gpt跑前面它才
02/03 00:02, 9F
→
02/03 00:02, 4小時前 , 10F
能開源
02/03 00:02, 10F
我沒有說他開源才低層本阿 一堆人在搞蒸餾，他又不是新鮮事情 開源本來就是站在巨人肩膀上做事~ 不如研究它是怎麼對齊蒸餾的 我猜是用pseudo label 然後用固定資料去一直問對齊弄出來的 這你只要開台AZURE 上跑openai gpt 用完全確認過的資料一直跑 因為azure是有開放微調的，是可以時間久達到對齊的。
推
02/03 00:03, 4小時前 , 11F
專業，一堆不知道在講什麼的文章….
02/03 00:03, 11F
※ 編輯: neo5277 (1.162.146.57 臺灣), 02/03/2025 00:08:04
推
02/03 00:05, 4小時前 , 12F
GG先過川普這關吧！要不然明天照新年加班法人看好的
02/03 00:05, 12F
→
02/03 00:05, 4小時前 , 13F
研究去買也不錯，哈哈哈！
02/03 00:05, 13F
推
02/03 00:56, 3小時前 , 14F
這篇含金量有點高XD
02/03 00:56, 14F
推
02/03 02:28, 2小時前 , 15F
推
02/03 02:28, 15F
推
02/03 02:32, 2小時前 , 16F
這樣想 操爆他的token openai 又不給鏡像 應該會很
02/03 02:32, 16F
→
02/03 02:32, 2小時前 , 17F
好玩
02/03 02:32, 17F
推
02/03 02:37, 2小時前 , 18F
川普很可能就是那隻黑天鵝
02/03 02:37, 18F
‣ 更多 neo5277 的文章
文章代碼(AID): #1ddvFiME (Stock)
討論串 (同標題文章)
完整討論串 (本文為第 2 之 2 篇)：
排序： 最舊先 | 最新先 | 留言數
44
114
[請益] 魔改舊顯卡
LimYoHwan
6小時前, 02/02
在新視窗開啟完整討論串 (共2篇)
Stock 近期熱門文章
更多 近期熱門文章 >>
PTT職涯區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 neo5277 的文章
文章代碼(AID): #1ddvFiME (Stock)