在2026年英伟达GTC大会上，月之暗面Kimi创始人杨植麟发表了题为《How We Scaled Kimi K2.5》的主题演讲，
首次系统性披露了Kimi模型的完整技术路线图。这场演讲被业界视为大模型技术发展的重要里程碑，
其中提出的三项底层架构重构——MuonClip优化器、Kimi Linear混合线性注意力架构、以及Attention Residuals跨层注意力机制，
正在重新定义大模型训练与推理的技术边界。

技术创新 ①
MuonClip优化器：打破Adam十年垄断

自2014年Kingma和Ba提出Adam优化器以来，这一算法已经成为深度学习领域的标准配置，统治了大模型训练整整十年。
然而，随着模型规模进入万亿参数级别，Adam优化器的局限性日益凸显：内存占用过高、收敛速度瓶颈、以及在极端规模下的数值稳定性问题。

Kimi团队提出的MuonClip优化器，基于Keller Jordan提出的Muon优化器进行了深度改进。
核心创新在于引入了Newton-Schulz迭代与QK-Clip机制，这两项技术共同解决了万亿参数规模训练中的Logits爆炸问题。
具体而言，Newton-Schulz迭代提供了一种更高效的矩阵求逆近似方法，显著降低了优化器的计算复杂度；
而QK-Clip机制则通过对Query和Key的梯度进行智能裁剪，有效防止了训练过程中的数值溢出。

技术创新 ②
Kimi Linear：重新定义长上下文处理

长上下文能力是大模型实用化的关键指标之一。从早期的4K上下文，到后来的32K、128K，再到如今的1M甚至更长，
上下文长度的扩展始终是技术研发的重点。然而，传统的全注意力机制（Full Attention）存在一个根本性的瓶颈：
计算复杂度与序列长度的平方成正比，这使得长上下文处理的成本呈指数级增长。

Kimi Linear基于KDA（Kernelized Dot-Product Attention）架构，提出了混合线性注意力架构。
这一架构的核心思想是：并非所有的注意力层都需要使用计算密集型的全注意力，
通过在不同层之间智能分配全注意力和线性注意力，可以在保持模型能力的同时大幅降低计算开销。

在实际测试中，Kimi Linear在128K乃至1M超长上下文场景中，将解码速度提升了5到6倍。
更重要的是，这种速度提升并没有以牺牲模型能力为代价——在多项长上下文理解基准测试中，
Kimi K2.5的表现与使用全注意力的基线模型相当，甚至在某些任务上有所超越。

技术创新 ③
Attention Residuals：残差连接的进化

残差连接（Residual Connection）是深度学习领域的另一项基础性技术，由He等人于2015年提出，
有效解决了深层神经网络的梯度消失问题。然而，传统的残差连接采用简单的等权叠加方式，
即每一层都平等地从所有前序层接收信息。这种方式虽然简单有效，但在信息传递效率上存在明显不足。

Kimi提出的Attention Residuals将传统的等权叠加替换为跨层的Softmax注意力机制。
这意味着每一层都可以主动、有选择性地从前序层提取信息，
而不是被动地接收所有层的等量贡献。这种机制使得信息流动更加高效，
模型能够更精准地整合不同层次的特征表示。

杨植麟在演讲中表示，Kimi将坚持开源路径，把MuonClip、Kimi Linear和Attention Residuals等底层创新贡献给开源社区。
这一决定体现了一家技术驱动型公司的责任感与远见——通过开源，这些创新将惠及整个行业，
推动大模型技术的整体进步。