[新聞] 字節跳動旗下「豆包」新模型架構推理成本最多降83%

看板Stock (股票)作者KotoriCute (乙醯胺酚)時間5小時前 (2025/02/12 23:49)推噓11(11推 0噓 11→)

留言22則, 14人參與討論串1/1

原文標題：字節跳動旗下「豆包」新模型架構推理成本最多降83% ※請勿刪減原文標題原文連結： https://udn.com/news/story/7333/8543703 ※網址超過一行過長請用縮網址工具發布時間： 2025-02-12 15:17 ※請以原文網頁/報紙之發布時間為準記者署名：林宸誼 ※原文無記載者得留空原文內容：字節跳動旗下「豆包大模型」Foundation團隊，近期提出一種全新的稀疏模型架構「UltraM em」，該架構在保證模型效果的前提下，推理速度較傳統的MoE（專家混合模型）架構提升2 到6倍，推理成本最高可降低83%。陸媒財聯社報導，這項創新成果已被機器學習和AI領域的頂級會議ICLR 2025接收，為解決大模型推理效率和擴展能力問題提供了全新思路。大模型的推理能力，對應的是端側AI應用/工具的回應能力和速度。隨著模型規模的擴大，推理成本和訪存效率已成為限制大模型規模應用的關鍵瓶頸。在Transformer架構下，模型的性能與參數數量和計算複雜度呈對數關係。隨著LLM規模不斷增大，推理成本會急劇增加，速度變慢。為了解決計算問題，先前的研究者提出MoE和PKM（Product Key Memory）方案，但都有各自侷限性。包括MoE架構犧牲了效率、PKM架構犧牲了效果，這些侷限性使得MoE和PKM在推理效率、模型效果和擴展能力等方面的優化空間仍需進一步探索，UltraMem正是為了解決上述缺點。 UltraMem參考了PKM的設計，但針對PKM的缺陷予以補充，優勢主要在於降低推理成本、提升推理速度、保持模型效果。豆包研究團隊在151M、680M、1.6B三個不同規模的模型上進行了廣泛的實驗。實驗結果顯示，UltraMem在模型效果和推理速度方面均優於MoE和PKM架構，且在680M、1.6B上具有顯著的效果優勢。報導提到，無論是訓練端還是推理端，當大模型廠商「捲」起成本，代表AI應用將在未來更加高效易用；當推理成本大幅降低，將助推AI技術在更多領域的應用成為可能，尤其是對於資源受限的場景，如邊緣計算和移動設備等，能讓更多企業和開發者有能力使用和部署AI模型。心得/評論：美國矽谷科技公司在卷誰能拿到更多晶片中國科技公司則是在卷誰能把AI成本降得更低 ※必需填寫滿30正體中文字，無意義者板規處分 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 125.224.143.192 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1739375374.A.361.html

推

ksjr

02/12 23:51, 5小時前 , 1^F

02/12 23:51, 1^F

推

holysong

02/12 23:52, 5小時前 , 2^F

02/12 23:52, 2^F

推

kuosos520

02/12 23:53, 5小時前 , 3^F

02/12 23:53, 3^F