PTT職涯區 / Tech_Job (科技人)

Re: [新聞]不，你無法用 600 萬美元複製一個 DeepSeek R1

看板Tech_Job (科技人)作者 (charlesgg)時間1天前 (2025/01/29 15:33), 21小時前編輯推噓7(8推 1噓 25→)
留言34則, 9人參與, 23小時前最新討論串2/3 (看更多)
呃，這新聞是哪個平行時空新聞，當前一堆美國大學實驗室都已經成功用其他小型模型像ll ama或Qwen 復刻R1實驗了，而且也事實證明模型只要有辦法再訓練的時候盡可能要求模型更 長更多輪的思考時間那就必然會讓模型依據上下文湧現出推理能力。無論模型大小或是否用 deepseek的模型架構。 一堆知名的框架也開始嘗試復刻開源版的R1 Code，我覺得R1幾個比較可行的思路就是改用 了一些模板式的獎勵機制，這點是之前一些TTT或其他scaling time computing 沒嘗 試過的思路，一般像之前的Process reward model在構造的時候會需要人工標註加驗證器再 加樹搜索取樣出一堆推理步驟但R1直接給予一條很棒的思路就是你不必這樣做就直接RL下去 也不用做搜索了，關鍵在怎麼設計獎勵函數就好。然後GRPO的方法近一步減少了傳統PPO要 去算value function 的部分，確實省掉很多記憶體跟算力。但我覺得PPO的硬傷不好訓練還 是沒解掉，所以DS才改用拒絕採樣跟多段微調去弄檢查點避免模型跑偏。 我覺得依據這個思路過不久大家都可以復刻出自己的版本，很多開源模型也在動作，小規模 驗證也證明可行，那就可以scaling model跟data size就好了。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 59.115.66.147 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1738136010.A.EA4.html ※ 編輯: sxy67230 (59.115.66.147 臺灣), 01/29/2025 15:34:33
推
01/29 15:45, 1天前 , 1F
那些實驗不是復刻 只是在distill
01/29 15:45, 1F
→
01/29 15:45, 1天前 , 2F
真的要"復刻" 指的是在完全從零開始
01/29 15:45, 2F
噓
01/29 15:45, 1天前 , 3F
滿滿支語
01/29 15:45, 3F
→
01/29 15:45, 1天前 , 4F
的條件下 跟DS宣稱的成本相同下
01/29 15:45, 4F
→
01/29 15:45, 1天前 , 5F
復現出R1的結果
01/29 15:45, 5F
→
01/29 15:46, 1天前 , 6F
但首先DS沒公開他的訓練資料集
01/29 15:46, 6F
→
01/29 15:47, 1天前 , 7F
所以只能說小lab可以用他公布的模型
01/29 15:47, 7F
→
01/29 15:47, 1天前 , 8F
做distill 配合他的方法做出不錯的
01/29 15:47, 8F
→
01/29 15:48, 1天前 , 9F
模型而已
01/29 15:48, 9F
→
01/29 15:49, 1天前 , 10F
但如果只是這樣 4o實際上也是OAI
01/29 15:49, 10F
→
01/29 15:49, 1天前 , 11F
distill出來的 真正關鍵還是在
01/29 15:49, 11F
→
01/29 15:49, 1天前 , 12F
如何做出用來給其他模型distill的
01/29 15:49, 12F
→
01/29 15:50, 1天前 , 13F
源模型 如果這個能用DS宣稱的算力
01/29 15:50, 13F
→
01/29 15:50, 1天前 , 14F
條件做出 那就貢獻很大 也是最值得
01/29 15:50, 14F
→
01/29 15:50, 1天前 , 15F
"復刻"的部分
01/29 15:50, 15F
R1的技術文件有如實說他們是從Deepseek v3調過來的吧，openAI也是有在某次技術人員訪 談說o1是從4o調過來的（當前OpenAI最讓人詬病的就是o1連技術報告中的訓練方法都閉源） ，這點站在不錯的起點繼續做下去應該是整個LLM領域的共識，要完全從零是不太可能的。 不過你要說成本要從前一個模型開始算的那就不太合理了，像台灣很多實驗室自己調的語言 模型也是從llama這些基礎開始調的（你要用蒸餾說也沒什麼意見），這樣要把Meta訓練這 個模型的成本疊上去也是蠻怪的。但我這邊就單就R1的訓練方法討論確實他省去很多之前te st time computing的方法中需要一堆人工跟算力搜索的麻煩這個倒是無需質疑。至於訓練 數據集沒開源，我覺得這個畢竟是人家的智慧財需要經過公司許可吧？畢竟llama也沒開源 自己全部的訓練數據要要求一家私企去做這件事有點太苛刻了。我的想法還是技術上DS確實 值得令人誇讚，其他的就讓子彈飛一點吧。畢竟工程人員還是講技術比較務實，人家優秀的 地方本來就值得學習。
推
01/29 15:51, 1天前 , 16F
3樓只會這招嗎
01/29 15:51, 16F
※ 編輯: sxy67230 (59.115.66.147 臺灣), 01/29/2025 16:11:25
→
01/29 16:14, 1天前 , 17F
主要是訓練集沒公開就還是有點懸念
01/29 16:14, 17F
→
01/29 16:14, 1天前 , 18F
畢竟連OAI之前o3那次math benchmark
01/29 16:14, 18F
→
01/29 16:15, 1天前 , 19F
cheat風波導致benchmark的可信度
01/29 16:15, 19F
→
01/29 16:15, 1天前 , 20F
變低許多 連OAI都會搞出這齣 一個
01/29 16:15, 20F
→
01/29 16:15, 1天前 , 21F
急需注資和關注度new fund更有可能
01/29 16:15, 21F
→
01/29 16:16, 1天前 , 22F
有貢獻是一定的 新方法在distill上
01/29 16:16, 22F
→
01/29 16:17, 1天前 , 23F
有機會成為新baseline
01/29 16:17, 23F
推
01/29 16:49, 1天前 , 24F
幫補血
01/29 16:49, 24F
推
01/29 17:04, 1天前 , 25F
貼文的人寫了這麼多技術用語，結果
01/29 17:04, 25F
→
01/29 17:04, 1天前 , 26F
某些人只會噓支語
01/29 17:04, 26F
推
01/29 17:58, 1天前 , 27F
回文用中文的我都噓支語
01/29 17:58, 27F
推
01/29 18:29, 1天前 , 28F
感謝，讀了真的收益良多
01/29 18:29, 28F
推
01/29 18:30, 1天前 , 29F
傳聞它是蒸餾chat gpt 的基礎這是
01/29 18:30, 29F
→
01/29 18:30, 1天前 , 30F
真的假的
01/29 18:30, 30F
→
01/29 19:52, 1天前 , 31F
這種事情應該很難知道了 但目前看
01/29 19:52, 31F
→
01/29 19:52, 1天前 , 32F
起來他真的有提出一套有用的方法我
01/29 19:52, 32F
→
01/29 19:53, 1天前 , 33F
覺得這是比較重要的
01/29 19:53, 33F
推
01/29 22:27, 23小時前 , 34F
蒸餾要有模型 ChatGPT沒有公開
01/29 22:27, 34F
蒸餾不一定要有模型輸出完整機率分佈就是了，但是Deepseek真的有用GPT 4o或o1蒸餾還是 需要有關鍵模型大量輸出統計證據，不然當前都是猜測而已。僅憑很多人隨意測試是很難說 是真的有蒸餾的，畢竟LLM其實真的有心是很容易用Prompt變造出惡意虛假事實的（像先催 眠模型是chatGPT，然後再問他是誰，然後把結果截圖），還是一句話，讓子彈再飛一會兒 。 ※ 編輯: sxy67230 (223.118.50.65 香港), 01/30/2025 00:51:45
‣ 更多 sxy67230 的文章
文章代碼(AID): #1dcTdAwa (Tech_Job)
Tech_Job 近期熱門文章
更多 近期熱門文章 >>
PTT職涯區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 sxy67230 的文章
文章代碼(AID): #1dcTdAwa (Tech_Job)