寒武纪Day 0适配DeepSeek-V4,发布当日即稳定运行

国产 AI 芯片厂商寒武纪今日宣布, 已基于 vLLM 推理框架完成对深度求索最新开源模型 DeepSeek-V4 的 Day 0 适配, 包括 285B 参数的 DeepSeek-V4-flash 和 1.6T 参数的 DeepSeek-V4-pro。这意味着模型发布当日即可实现稳定运行, 适配代码已开源到 GitHub 社区。

📌 适配背后的技术突破

针对 DeepSeek-V4 的新结构, 寒武纪通过自研高性能融合算子库 Torch-MLU-Ops, 对 Compressor、mHC 等模块进行专项加速。同时, 利用 BangC 高性能编程语言, 编写稀疏 / 压缩 Attention、GroupGemm 等热点算子的极致优化 Kernel, 充分释放硬件底层性能。

从已披露信息看, 这一变化更值得关注的, 不只是表面动作本身, 还包括其对后续行业节奏、用户预期和市场竞争的连锁影响。

在推理框架优化层面, 寒武纪在 vLLM 中全面支持 TP/PP/SP/DP/EP 5D 混合并行、通信计算并行、低精度量化以及 PD 分离部署等优化技术。通过策略优化, 在满足延时约束下达到最佳的词元吞吐能力, 显著提升端到端推理效率。

🔍 硬件特性深度挖掘

寒武纪还深度挖掘了硬件特性: 利用 MLU 访存与排序加速能力, 有效加速稀疏 Attention、Indexer 等结构 ; 高互联带宽与低通信延时, 将 Prefill 和 Decode 两种不同工作负载场景下的通信占比降至最低, 最大化分布式推理的利用率。

💡 DeepSeek-V4 模型亮点

DeepSeek-V4 模型预览版今日上午正式上线并同步开源。 该模型拥有百万字超长上下文 , 在 Agent 能力、世界知识和推理性能上均实现国内与开源领域的领先。即日起, 用户可登录官网 chat.deepseek.com 或官方 App 与最新 DeepSeek-V4 对话, 探索 1M 超长上下文记忆的全新体验。API 服务已同步更新, 通过修改 model_name 为 deepseek-v4-pro 或 deepseek-v4-flash 即可调用。

📊 行业观察与看点

此次适配有以下几个值得关注的看点:

• Day 0 适配能力 : 寒武纪能够在模型发布当日完成适配并稳定运行, 体现了其与 AI 模型生态的紧密协同和技术实力。
• 开源策略 : 适配代码开源到 GitHub, 有助于吸引开发者社区参与, 推动国产 AI 芯片生态发展。
• 性能优化深度 : 从算子库到推理框架再到硬件特性, 寒武纪进行了全栈优化, 展示了其在 AI 推理领域的深厚积累。
• 模型竞争力 :DeepSeek-V4 凭借百万上下文和领先性能, 进一步巩固了国产开源模型的地位, 也为寒武纪等芯片厂商提供了更多应用场景。

随着大模型参数规模持续增长, 推理效率成为关键瓶颈 。寒武纪此次与 DeepSeek 的深度适配, 不仅为自身芯片赢得了更多落地机会, 也推动了国产 AI 基础设施的成熟。未来, 类似 Day 0 适配的模式或将成为行业常态, 加速 AI 创新落地。