[新聞] DeepSeek放大招！開源「新星」FlashMLA登場：大模型效率

看板Stock (股票)作者icrose (人本良心)時間4小時前 (2025/02/26 01:10)推噓6(12推 6噓 4→)

留言22則, 19人參與討論串1/1

原文標題：DeepSeek放大招！開源「新星」FlashMLA登場：大模型效率革命能否破解「AI芯片荒」？原文連接：https://news.qq.com/rain/a/20250225A097R600 發布時間：2025-02-25 21:19 記者署名：朱成祥原文內容： 2月24日上午，DeepSeek（深度求索）發布首個開源項目FlashMLA。根據DeepSeek在GitHub社區披露的信息，FlashMLA是適用於Hopper GPU（一種英偉達圖形處理器架構）的高效MLA（多頭潛註意力）解碼內核，針對可變長度序列服務進行了優化。在H800（一款英偉達芯片）上可以實現每秒處理3000GB（千兆字節）數據，每秒執行580萬億次浮點運算。有業內觀點認為，目前限製DeepSeek推理的主要瓶頸就是顯存，FlashMLA則是「以算代存」，可解決推理過程中顯存容量不足的問題。對此，PPIO派歐雲聯合創始人兼CTO王聞宇告訴《每日經濟新聞》記者：「（該觀點）不完全正確，MLA的本質是在基礎算法上的創新，通過將KV的權重矩陣轉換到潛空間，實現矩陣的大幅壓縮並且不造成精度損失。壓縮算法會引入微弱的計算量的增加，但是由此帶來的數據存儲開銷大幅下降，訓練及推理速度大幅提升，需要計算的數據總量減少了，總計算量反而減少了，相應的訓練和推理速度就會大幅提高。」顯存容量成門檻當下，外界普遍使用顯存來測算部署DeepSeek各類模型所需要的推理算力。比如根據民生證券研報，像DeepSeek-R1一個專註於實時推理的優化版本，擁有15B參數，推理時激活全部15B參數，顯存需求約為30GB（FP16精度），單張NVIDIA A100（英偉達顯卡）或單張RTX 4090（英偉達消費級顯卡）等顯卡可滿足需求。像DeepSeek 67B是一個擁有67B參數的大型模型，推理時激活全部67B參數，顯存需求約為140GB（FP16精度）。推薦使用4張A100-80G GPU進行多卡並行推理。照此計算，DeepSeek R1「滿血版」擁有671B參數，在FP16精度下，需要1.4TB（太字節）顯存；在FP8精度下，也需要約700GB顯存。如果按照一個服務器8張卡計算，單卡80GB的8卡服務器滿足不了「滿血版」的推理工作，可能需要多個服務器互連。關於顯存是否為限製DeepSeek推理的主要瓶頸，王聞宇認為：「DeepSeek模型與其他主流模型相比，參數量更大，決定了其需要更大容量顯存以加載模型權重，顯存容量是門檻，不是瓶頸。」那麽，參數量小得多的蒸餾模型是否滿足應用需求？王聞宇表示：「蒸餾版本與滿血版本相比，參數量少很多，比如Qwen-7B，只有滿血版671B的百分之一，參數量少，導致在模型性能上遠弱於滿血版，如何選擇模型取決於實際的應用場景，要求高的場景可能無法用蒸餾版本來滿足。」一位不願具名的算力芯片廠商高管對《每日經濟新聞》記者表示：「AI行業從業者，不管是哪個環節的，包括模型公司、AI芯片公司等，都是圍繞一個三角形來做的，三角形的三個角分別是提高價值，提高或者保持用戶體驗，維持或者降低使用成本提高價值就是要能解決更多問題，能解決更難的問題；模型規模起來後，一般來說會降低用戶體驗、提高成本所以大家都在這個三角形中螺旋式地往上爬。」圖片圖片來源：受訪對象提供大模型效率革命？而FlashMLA，正是在大模型規模變大、能力變強後，在不降低用戶體驗的基礎上降低成本。根據民生證券研報，傳統計算方式存在KV（鍵值）矩陣重復計算的問題，這不僅浪費了大量的計算資源，還會導致顯存消耗過大，影響模型的運行效率。而MLA技術解決了這個難題，它通過獨特的算法設計，減少了對KV矩陣的重復計算，大大降低了顯存的消耗。需要註意的是，目前FlashMLA適配的是英偉達Hopper架構的GPU。若FlashMLA在CUDA生態大幅減少對顯存的占用，那麽未來應用到國內算力芯片領域，是否有助於「推理平價」，降低推理成本，推動國產算力芯片在推理領域的使用？沐曦工作人員反饋：「這一周大家都忙著DeepSeek開源周的適配。」另據沐曦官方微信號：「沐曦技術團隊在FlashMLA開源後迅速響應，僅用2小時即完成與沐曦GPU的適配工作，並於當日將代碼提交至開源社區。」此外，沐曦方面也表示：「FlashMLA通過MLA解碼優化與分頁KV緩存技術等顯著提升硬件利用率，可加速大語言模型解碼過程，有效提升響應速度與吞吐量，尤其適用於聊天機器人等實時生成場景。沐曦在適配中應用矩陣吸收算法將低秩投影融入Flash Attention 2核函數，在保證計算效率的同時顯著降低顯存占用。」 PPIO派歐雲王聞宇也表示：「FlashMLA對國內算力芯片具有很大的借鑒價值，通過技術創新，將FlashMLA移植到國內算力芯片上，也可以實現類似CUDA中的減少顯存占用和加速效果。」事實上，除了通過算法領域的進步來減少顯存占用，也可以從芯片設計角度出發，通過定製化的芯片來增加顯存。上述算力芯片公司高管稱：「核心問題是HBM（高帶寬存儲）每GB是DDR（雙倍速率同步動態隨機存儲器）的5x（5倍）價錢，用HBM來存所有權重不劃算。」其給出的解決辦法是多級存儲。他表示：「需要模型來進一步改造，我認為比較理想的軟硬件，在未來應該是兩級或者多級存儲的，比如HBM和DDR都上，HBM更快，DDR更大，所以整個模型都存更大的DDR裏面，就像DeepSeek論文裏面寫的，他們每10分鐘刷新一批redundant expert（冗余專家），這批可以放在HBM裏面，用戶用的時候，大概率從這個redundant expert裏面取expert，這樣就可以既便宜又快了。」關於MoE結構對算力硬件需求的變化，中金研報認為，可能帶來對處理器架構進一步的定製化需求，如更大的計算單元、和更高效的通信kernel（內核）相匹配的設計單元、近存計算單元等，利好DSA（領域專用架構）架構發展。心得/評論： moE其實是上世紀90年代就有的人工智能思路，transformer也是2017年google發佈的論文根本不是OPENai專美的東西這兩天deepseek集中發佈的新開源技術，更證明deepseek全方位的技術及研究能力深入到AI算法、gpu性能徹底釋放等AI每一個軟硬件及其鏈接接領域 DeepSeek開源MoE訓練、推理EP通信庫DeepEP，真太Open了 deepseek哪裏象是一個兩三年的大模型公司，綜合實力之强，涉及領域之深之廣，OPENAI顯然落在下風，ds有AI華爲的感覺了大家都説，deepseek是對NVDIA短空長多，只是deepseek武器庫太充足了，每次新武器出現就是一次短空新周期，長多不知道何時才能來了XD -- 雪壓枝頭低，雖低不着泥一朝紅日出，依舊與天齊 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.52.214.97 (中國) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1740503434.A.D76.html

噓

PureAnSimple

02/26 01:11, 4小時前 , 1^F

02/26 01:11, 1^F

推

freshman

02/26 01:13, 4小時前 , 2^F

02/26 01:13, 2^F

推

allen0080

02/26 01:13, 4小時前 , 3^F

02/26 01:13, 3^F