Kimi K3 开源日来了复盘模板。
深夜，月之暗面开源了 K3 的模型权重和技术报告：
2.8 万亿参数MoE 模型，具备原生视觉理解能力，支持 100 万 token 上下文窗口。
第三方评测里，K3 挤进全球前五。并在 WebDev Arena 上排名第一，成为首个登顶该榜单的开源模型。
而且 K3 表现接近 Claude Fable 5，但单任务成本只有后者的几分之一，相比下来便宜得多。
这份成绩单背后，是架构、训练和 Infra 综合发力的结果。
这次，月之暗面把它们全都公布了出来。
跑分接近顶尖，价格便宜一个量级
先来看看 K3 的性能表现。
技术报告里显示，K3 综合表现接近 Claude Fable 5 和 GPT-5.6 Sol，持续领先其余开源与闭源模型。
第三方评测给出了类似的结论。
在 Artificial Analysis 的 Intelligence Index v4.1 榜单上，K3 从 580 个模型里排名第四，拿到 57.1 分。
在 WebDev Arena 上，K3 排名第一，拿到 1678 Elo，超过 Claude Fable 5 的 1634 分，是第一个登顶这个榜单的开源模型。
在 Vals AI 的 GDP 加权行业基准套件上，K3 排名第二，39 个模型里拿到 74.7% 的分数，仅次于 Claude Fable 5。
进一步拉开差距的，是价格。
在 BrowseComp 上，K3 拿到 91.2% 的最高分，每个任务只花 2.03 美元，是 GPT-5.6 Sol 价格的一半。
在 GDPval-AA v2 这项测试上，K3 的成本比 GPT-5.6 Sol 低 13%，和 Claude Fable 5 相比，更是不到四成。
技术细节大量公开架构与训练
K3 的参数规模是 K2 的将近 3 倍，训练效率却提升了约 2.5 倍，这主要归功于两处架构改动。
首先是注意力机制。
全局注意力处理长序列时，计算量随长度的平方往上涨，序列越长，机器越吃力。
K3把 KDA 这种更省算力的长序列注意力，和负责关联完整上下文的 Gated MLA 按 3 比 1 的比例混着用。
层与层之间，K3 也换了传递方法。
传统的残差连接，是把前一层的输出原封不动地叠加到当前层，像接力棒一样一层传一层，越往后传，前面层的细节被压得越扁。
K3 改用Attention Residuals，让每一层都做一次小小的"回头看"，从前面所有层的输出里，挑一遍对当前层真正有用的部分再往下算。
另一处改动，是专家路由。
正配配资K3 模型里预先放了 896 个专家网络，每个 token 算的时候只会用到其中 16 个，这一层结构在 K3 里叫Stable LatentMoE。
专家一多，忙的忙死、闲的闲死，是 MoE 常见的病，K3 的解法是Quantile Balancing。
每训练一步，系统会看这一批 token 里每个专家原本能拿到多少、该拿到多少，把落后的专家分数悄悄往上调一点，让它更容易在下一步被选中，专家之间忙闲的差距很快被拉平。
架构改完，训练配方也跟着调，batch size、学习率、tokens-per-parameter 比例全部重新找过一遍最优值。
除了这两处，K3 的架构还有一个特点，原生多模态。
文本、图像、视频，K3 用同一个 backbone 处理，不需要额外的模态对齐阶段。
视觉编码器 MoonViT-V2 是从零开始训练的，用的是 next-token prediction。
这跟 K2.5 不一样，K2.5 的视觉编码器沿用了业内常见做法，先用 SigLIP 做对比预训练再接入模型。
团队测试发现，给 LLM 接一个已经预训练好的视觉编码器，联合训练时容易不稳定，用 SigLIP 初始化的编码器，梯度范数会持续偏高，还经常出现尖峰。
换成从零训练的 MoonViT-V2 之后，梯度稳定了很多，视觉方面的评测成绩，跟 SigLIP 初始化的基线打平。
架构定型之后，后训练走三步。
Kimi 团队先用监督微调练出一个具备 agent 能力的冷启动模型，再分通用推理、通用 agent、编程 agent 三个方向，各自配上低中高三档推理强度，练出 9 个专家模型。
最后一步，团队用 Multi-Teacher On-Policy Distillation 把 9 个专家的本事揉进同一个模型。
具体来说，他们的做法是让这个统一模型在对应场景下模仿专家的输出，模仿得越像，拿到的奖励越高。
针对适配的 Infra
K3 支持 100 万 token 的上下文，这个数字要真正撑得住，不是预训练阶段调好参数就完事了。
从训练时的并行策略，到推理服务时怎么复用之前算过的内容，再到整个集群怎么调度这些请求，每一层都有专门的工程要做。
第一层，是训练时怎么把超长序列拆到多台设备上并行处理。
KDA 的递归状态不是简单的加法，某一段的最终状态，由这段自己产生的部分和上一段传进来的部分共同决定，不能像普通线性注意力那样，各段各自从零算完再直接加总。
K3 的做法是 KDA Context Parallelism，把每一段的影响拆成两部分——这一段如果从零开始算会产生什么状态，以及外部状态传进来之后这段会怎么处理它。
这两部分都能在本地独立算完，所有 rank 做一次数据交换，就能精确还原出每个 rank 真正的起始状态。
第二层，是推理服务时怎么复用已经算过的内容。
K3 是 KDA 和 MLA 的混合架构，两种缓存完全不是一回事。
MLA 的 KV 缓存随对话长度增长，按 token 分页管理，KDA 的递归状态是每个请求固定大小的一份，只能在稀疏的几个点上保存快照。
传统的前缀缓存按几千 token 一个物理块做匹配，粒度太粗，短一点的请求根本碰不上缓存。
K3 把两种粒度拆开处理，前缀匹配用 512 token 一个的细粒度哈希块在物理块内部找。
KDA 的状态快照只在这些细粒度边界里挑一部分稀疏地存，命中的时候，取同时满足两个条件里最长的那个边界，就能不重新计算前面已经算过的部分。
第三层，是整个集群怎么应对成千上万个长短不一的请求。
一个 100 万 token 的编程请求，前缀命中和不命中，算力开销能差出几个数量级，所以 K3 按 session 的缓存位置把请求路由到本来就存着这份缓存的集群。
这些工程细节，撑住了 K3 从训练到线上服务的全过程。
同时在 Infra 方面，Kimi 还单独开源了MoonEP、FlashKDA、AgentENV三项关键技术。
MoonEP 管通信，FlashKDA 管算子，AgentENV 管试错环境，三样东西各自突破训练链路里的一个具体瓶颈。
MoonEP
MoonEP 是 K3 用来管专家并行通信的库。
K3 有 896 个路由专家，训练时 token 不会平均分给每个专家。
某些专家被挑中得特别频繁，某些几乎没人理，专家并行训练时，收到 token 多的那个 rank 就成了全队的瓶颈，其他 rank 都得等它算完。
MoonEP 的解法，是提前在每个 rank 上留出几个"冗余专家"的位置。
训练时，系统实时统计当前这批 token 的路由情况，把可能超载的专家复制一份，放到冗余位置上，提前预取好参数。
技术报告证明了一件事，每个 rank 最多只需要 E 除以 R 个冗余专家名额，E 是专家总数，R 是并行的 rank 数，就一定能找到让所有 rank 负载完全相等的分配方案。
负载能被拉平之后，通信这一步也跟着简化，token 直接送到目标位置，不用先搬进中转缓冲区再搬一次。
而且每一层要处理的数据形状，在训练开始前就是已知的，不用每层都停下来跟 host 同步。
不用等最忙的那个专家，也不用临时猜数据形状，这是 MoonEP 能把训练效率提上来的原因。
FlashKDA
FlashKDA，是 Kimi 实现的 Kimi Delta Attention 高性能算子。
K3 的 KDA 注意力算起来块内并行、块间串行，块内部的计算可以一起算，但块跟块之间的状态必须按顺序传递。
如果老老实实按顺序算完一块、传完状态、再算下一块，GPU 大部分时间在等，利用率上不去。
它用 CUTLASS 把这两件事叠在一起做，块内计算交给一组线程处理，跨块的状态传递交给另一组独立调度，两条流水线各跑各的，不用互相等。
效果直接体现在速度上，在 H20 上，相比 flash-linear-attention 的基线实现，FlashKDA 的 prefill 速度快了 1.72 到 2.22 倍。
现在它已经是 flash-linear-attention 的一个可选后端，社区可以直接调用。
AgentENV
AgentENV 是 K3 用来生成大规模、可复用沙箱环境的系统，由月之暗面与 KVCache.ai 合作开发。
K3 的强化学习训练，需要模型在近似真实的环境里反复试错，读文件、跑代码、调用各种工具，出错了就吃教训，重来。
这类环境最早用容器方案搭建，但团队发现，agent 的操作方式不按常理出牌，试出过好几次内核 panic 和死锁，容器这层隔离不够结实。
于是，AgentENV 把环境换成了 Firecracker microVM，隔离级别更接近一台真正的虚拟机，agent 可以在里面挂载磁盘、跑容器，甚至开一台新的虚拟机，也不容易把宿主环境搞崩。
沙箱的启停速度也做了针对性优化，checkpoint 只保存上次存档之后被改动过的内存页，延迟压到 133 毫秒，resume 压到 49 毫秒。
等模型推理结果的时候，沙箱可以直接暂停，几乎不占内存和 CPU，这段等待时间往往能占到沙箱生命周期的 98%。
元股证券:ygzq.hk
需要评分判断的时候，可以从已有沙箱的精确状态分叉出一个新的，原来那个继续跑，互不干扰。
镜像的分发和启动，则是靠 OverlayBD 格式配合自定义的 ublk driver、存储层共享和 P2P 传输。
这种方案做到了秒级以内启动，再配上写时复制内存和页缓存优化，同一批物理内存能撑起的沙箱数量，最多能到 6.5 倍。
K3 训练和评估期间，这套系统一共创建了 51219741 个沙箱，跨越 1505678 个镜像。
月之暗面交棒用户
开源日这天，Kimi 的架构、训练方法，还有 MoonEP、FlashKDA、AgentENV，月之暗面把它们全都公布了出来。
为什么这样做，在技术报告最后一部分，月之暗面给了一句解释——
坚信开放权重模型的价值，能降低获取智能的门槛，推动创新，也把数据的控制权、隐私和所有权更多地留给用户。
现在技术已经公开，接下来，就交给使用的人。
参考链接：
https://mp.weixin.qq.com/s/tryHe81IyM6nr0fBPDz72g
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
� � 点亮星标 � �
科技前沿进展每日见复盘模板
股票配资平台资质查询网提示：本文来自互联网，不代表本网站观点。
