共计 1625 个字符，预计需要花费 5 分钟才能阅读完成。
DeepSeek V4 报告太详尽了!484 天换代之路全公开
历经 484 天的迭代,DeepSeek V4 终于带着完整的技术报告正式亮相。这款在 2026 年引发广泛关注的大模型, 不仅在性能上实现了突破, 更在开源生态和国产硬件适配方面迈出了关键一步。本文将从技术架构、核心创新和行业影响三个维度, 拆解这份详尽的技术报告。
📌 三大架构升级: 从残差连接、注意力机制到优化器
相比前代 V3,DeepSeek V4 在模型架构上进行了大刀阔斧的改动, 主要集中在三个方面: 引入 mHC(Manifold-Constrained Hyper-Connections)强化残差连接、设计混合注意力架构 (CSA 和 HCA 交替叠加) 以解决长文本效率问题, 以及采用 Muon 作为主优化器。MoE 部分仍沿用 DeepSeekMoE,MTP 模块保持不变, 但细节上做了微调, 例如将 affinity score 的激活函数从 Sigmoid 换为 Sqrt(Softplus(·)), 并去掉了 routing target nodes 的数量约束。
🔍 mHC: 给残差连接加上“安全锁”
残差连接是深度学习的基础,但随着模型加深, 传统残差容易出现信号不稳定甚至训练崩溃。DeepSeek V4 采用的 mHC, 本质上是将残差流从一维扩展到多维并行通道, 并通过对矩阵 B 施加“双随机矩阵”约束, 确保谱范数不超过 1, 从而稳定训练。这一技术虽然不算革新性突破, 但对于超大规模模型的稳定训练至关重要。实测显示,mHC 带来的额外计算开销控制在重叠流水线时间的 6.7% 以内。
💡 混合注意力机制: 百万上下文的核心
- CSA(Compressed Sparse Attention): 先对 KV 进行压缩, 再通过轻量索引器选择 top-k 压缩块做精细注意力, 相当于做了两层压缩。
- HCA(Heavily Compressed Attention): 以更高压缩率 (每 128 个 token 压成一个) 对所有压缩后的 KV 做密集注意力, 用于捕捉全局信号。
📊 Muon 优化器: 从 Kimi 到 DeepSeek 的跨团队演化
DeepSeek V4 的训练中, 绝大多数参数使用 Muon 优化器而非传统的 AdamW。Muon 基于矩阵正交化, 此前已在 Kimi K2 上成功验证。DeepSeek 的版本采用混合 Newton-Schulz 迭代,10 步分两段: 前 8 步激进系数快速将奇异值推向 1, 后 2 步温和系数精确稳定。值得注意的是,DeepSeek 并未使用 Kimi 所需的 QK-Clip 来防止 attention logits 爆炸, 而是通过直接对 query 和 KV 做 RMSNorm 来从源头控制, 展现了不同团队在相同优化器上的差异化路径。
🚀 后训练与国产化:OPD 替代传统 RL, 昇腾适配在即
在后训练阶段, DeepSeek V4 用 On-Policy Distillation(OPD)完全替代了传统的混合 RL 阶段。流程包括先训练数学、代码、agent、指令跟随四个领域的 domain specialist, 再通过 OPD 合并为统一 student 模型。此外,DeepSeek V4 已支持华为算力, 预计下半年昇腾 950 超节点将批量上市, 这标志着国产芯片在大模型训练领域的实质性突破。
围绕“DeepSeek V4 报告太详尽了!484 天换代之路全公”，这一部分可从背景、现状与影响三个角度理解其关键信息。结合已公开内容来看，核心结论是趋势已较为明确，但细节仍需结合后续进展持续观察。
🧭 总结: 工程与创新的平衡之作
DeepSeek V4 的技术报告不仅展示了多项工程创新, 也坦诚地指出了某些 trick 的机理仍是“open question”。这种务实态度反而增强了报告的可信度。从 mHC 的稳定性补丁到混合注意力机制的效率革命, 再到 Muon 优化器的跨团队演化,DeepSeek V4 证明了在有限条件下通过系统级优化实现重大突破的可能性。随着国产硬件生态的完善,DeepSeek 的开源路线有望进一步推动大模型行业的多样化发展。
