[新聞] Kimi K3開放日:模型權重、技術報告和關鍵Infra技術同步開放
原文標題: Kimi K3開放日:模型權重、技術報告和關鍵Infra技術同步開放
原文連結:https://news.futunn.com/hk/post/76650176/
發布時間: 2026/07/28
記者署名:stephen (文章來源為月之暗面)
原文內容:
今天是 Kimi K3 開放日,我們發佈 Kimi K3 的模型權重、技術報告,並開源支撐 Kimi K3
模型訓練的關鍵 Infra 技術:MoonEP、FlashKDA和AgentEnv。希望以此加速前沿智能的部
署與普及,促進 AGI 研究。
Kimi K3 是我們能力最強的模型:這是一個擁有 2.8 萬億參數的混合專家(MoE)模型,具
備原生視覺理解能力,並支持 100 萬 token 的上下文窗口。
Kimi K3 參數規模是 Kimi K2.5 的 3 倍左右,但是規模化並不僅僅是參數的堆疊,在並不
寬裕的算力條件下,我們憑藉 Kimi Delta Attention、Attention Residuals 以及 MoonEP
等一系列技術創新,規模化效率提升了 2.5 倍(即在算力最優意義下,單位算力產出智能
約等於原來 2.5 倍)。
現在,每個人都可以下載並部署 Kimi K3 模型——無論是用於內部研發,還是嵌入到面向
終端用戶的產品中,均可自由使用(其他使用情形,詳見Kimi K3 許可證)。
今天,與 Kimi K3 模型權重一起公開的,還有我們的模型訓練方法——Kimi K3 技術報告
已同步上線。
從技術報告中,你可以了解這些技術細節:
KDA + AttnRes:以 3:1 比例混合 KDA 與 Gated MLA,實現高效長上下文建模,並通過塊
級注意力殘差增強跨層信息流動。
Stable LatentMoE:每個 token 從 896 個路由專家中激活 16 個,並通過 SiTU-GLU 與 Q
uantile Balancing 保持極高稀疏度下的訓練穩定。
MoonViT-V2:視覺編碼器從零開始使用 next-token prediction 訓練,無需對比預訓練,
在達到 SigLIP 初始化基線效果的同時獲得更穩定的優化過程。
後訓練與評估:在通用推理、通用 Agent 和編程 Agent 三大領域進行大規模任務合成,百
萬 token 上下文的強化學習基建,近 20 個內部評測集的完整評估結果。
以上幾點只是概覽,詳細論述與消融實驗,都已在技術報告中展開。
模型能力背後,離不開訓練系統,即 Infra 基礎設施層的穩定支撐。今天,我們向大家介
紹支撐 Kimi K3 訓練的三項 Infra 技術:MoonEP、FlashKDA 和 AgentEnv,覆蓋從高性能
通信、高性能算子到分佈式 RL 環境的關鍵鏈路。其中 FlashKDA 此前已開源,MoonEP 和
AgentEnv 則隨本次發佈正式開源。
MoonEP:MoonEP 是我們爲超大的細粒度 MoE 打造的高性能通信庫,讓專家並行(expert-p
arallel)的通信在不均衡的情況下仍然實現極致效率。
FlashKDA:FlashKDA 是我們實現的 Kimi Delta Attention 高性能算子(kernel)。在英
偉達 H20 上,相比 flash-linear-attention 基線,它的 prefill 速度提升 1.72-2.22
倍,可以直接作爲 flash-linear-attention 的替換後端。
AgentEnv:AgentENV 是我們與 KVCache.ai 合作開發的沙箱系統,用於大規模運行 Agent
環境。它爲 Kimi K3 的後訓練提供高保真、強隔離沙箱,靈活支持快速快照、恢復和分叉
(fork)等,可以應對大規模並行的 Agent 工作流與訓練任務。
這三項技術是支撐 Kimi K3 訓練效率與穩定性的關鍵。現在將它們開放出來,希望也能爲
你訓練下一代模型提供幫助。
我們堅信開放權重模型的價值。它們能降低獲取智能的門檻,推動創新,並賦予用戶對數據
更大的控制權、隱私保護和所有權。在過去幾周裏,我們很高興聽到了許多來自 AI 社區,
以及與我們有着共同願景的技術領袖的支持聲音。
我們相信,對於 AGI 這樣具有深遠影響的技術,一個廣泛、開放的生態系統是最適合承載
它的土壤。爲此,我們將繼續貢獻自己的力量。
心得/評論:
Kimi K3今天正式開源,已經有多家服務商上線了
只要近乎Sonnet的價格就能享受部分跑分超越Fable的模型
不想花錢的也沒關係,只要有6TB記憶體你也能在家跑
記憶體又要不夠了...
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.79.17.89 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1785201800.A.D96.html
推
07/28 09:24,
59分鐘前
, 1F
07/28 09:24, 1F
→
07/28 09:24,
59分鐘前
, 2F
07/28 09:24, 2F
→
07/28 09:26,
57分鐘前
, 3F
07/28 09:26, 3F
推
07/28 09:28,
55分鐘前
, 4F
07/28 09:28, 4F
→
07/28 09:29,
54分鐘前
, 5F
07/28 09:29, 5F
推
07/28 09:30,
53分鐘前
, 6F
07/28 09:30, 6F
推
07/28 09:30,
53分鐘前
, 7F
07/28 09:30, 7F
推
07/28 09:30,
53分鐘前
, 8F
07/28 09:30, 8F
噓
07/28 09:31,
52分鐘前
, 9F
07/28 09:31, 9F
推
07/28 09:31,
52分鐘前
, 10F
07/28 09:31, 10F
噓
07/28 09:31,
52分鐘前
, 11F
07/28 09:31, 11F
→
07/28 09:33,
50分鐘前
, 12F
07/28 09:33, 12F
推
07/28 09:33,
50分鐘前
, 13F
07/28 09:33, 13F
推
07/28 09:34,
49分鐘前
, 14F
07/28 09:34, 14F
→
07/28 09:34,
49分鐘前
, 15F
07/28 09:34, 15F
推
07/28 09:34,
49分鐘前
, 16F
07/28 09:34, 16F
→
07/28 09:34,
49分鐘前
, 17F
07/28 09:34, 17F
→
07/28 09:34,
49分鐘前
, 18F
07/28 09:34, 18F
→
07/28 09:34,
49分鐘前
, 19F
07/28 09:34, 19F
→
07/28 09:35,
48分鐘前
, 20F
07/28 09:35, 20F
推
07/28 09:35,
48分鐘前
, 21F
07/28 09:35, 21F
推
07/28 09:35,
48分鐘前
, 22F
07/28 09:35, 22F
推
07/28 09:35,
48分鐘前
, 23F
07/28 09:35, 23F
推
07/28 09:35,
48分鐘前
, 24F
07/28 09:35, 24F
→
07/28 09:36,
47分鐘前
, 25F
07/28 09:36, 25F
→
07/28 09:36,
47分鐘前
, 26F
07/28 09:36, 26F
噓
07/28 09:37,
46分鐘前
, 27F
07/28 09:37, 27F
→
07/28 09:37,
46分鐘前
, 28F
07/28 09:37, 28F
推
07/28 09:37,
46分鐘前
, 29F
07/28 09:37, 29F
推
07/28 09:37,
46分鐘前
, 30F
07/28 09:37, 30F
→
07/28 09:38,
45分鐘前
, 31F
07/28 09:38, 31F
推
07/28 09:39,
44分鐘前
, 32F
07/28 09:39, 32F
→
07/28 09:39,
44分鐘前
, 33F
07/28 09:39, 33F
→
07/28 09:40,
43分鐘前
, 34F
07/28 09:40, 34F
推
07/28 09:40,
43分鐘前
, 35F
07/28 09:40, 35F
噓
07/28 09:42,
41分鐘前
, 36F
07/28 09:42, 36F
推
07/28 09:43,
40分鐘前
, 37F
07/28 09:43, 37F
推
07/28 09:45,
38分鐘前
, 38F
07/28 09:45, 38F
→
07/28 09:45,
38分鐘前
, 39F
07/28 09:45, 39F
推
07/28 09:46,
37分鐘前
, 40F
07/28 09:46, 40F
→
07/28 09:46,
37分鐘前
, 41F
07/28 09:46, 41F
→
07/28 09:47,
36分鐘前
, 42F
07/28 09:47, 42F
推
07/28 09:47,
36分鐘前
, 43F
07/28 09:47, 43F
推
07/28 09:48,
35分鐘前
, 44F
07/28 09:48, 44F
→
07/28 09:48,
35分鐘前
, 45F
07/28 09:48, 45F
→
07/28 09:48,
35分鐘前
, 46F
07/28 09:48, 46F
推
07/28 09:49,
34分鐘前
, 47F
07/28 09:49, 47F
→
07/28 09:51,
32分鐘前
, 48F
07/28 09:51, 48F
推
07/28 09:51,
32分鐘前
, 49F
07/28 09:51, 49F
→
07/28 09:53,
30分鐘前
, 50F
07/28 09:53, 50F
推
07/28 09:53,
30分鐘前
, 51F
07/28 09:53, 51F
→
07/28 09:54,
29分鐘前
, 52F
07/28 09:54, 52F
推
07/28 09:58,
25分鐘前
, 53F
07/28 09:58, 53F
推
07/28 09:58,
25分鐘前
, 54F
07/28 09:58, 54F
推
07/28 10:01,
22分鐘前
, 55F
07/28 10:01, 55F
推
07/28 10:02,
21分鐘前
, 56F
07/28 10:02, 56F
→
07/28 10:03,
20分鐘前
, 57F
07/28 10:03, 57F
推
07/28 10:05,
18分鐘前
, 58F
07/28 10:05, 58F
→
07/28 10:05,
18分鐘前
, 59F
07/28 10:05, 59F
→
07/28 10:07,
16分鐘前
, 60F
07/28 10:07, 60F
推
07/28 10:07,
16分鐘前
, 61F
07/28 10:07, 61F
推
07/28 10:10,
13分鐘前
, 62F
07/28 10:10, 62F
→
07/28 10:10,
13分鐘前
, 63F
07/28 10:10, 63F
Stock 近期熱門文章
63
173
PTT職涯區 即時熱門文章
14
30