英伟达在MLPerf v6.0测试中创纪录:DeepSeek-R1推理速度提升2.77倍

在 AI 硬件性能的“大考”中,英伟达再次交出了一份令人瞩目的成绩单 。根据最新发布的 MLPerf v6.0 AI 推理基准测试结果, 英伟达凭借其 Blackwell Ultra 架构(GB300 NVL72), 在多个关键测试项目中实现了性能的大幅提升, 尤其是在 DeepSeek-R1 模型的服务器端测试中, 创造了每秒每 GPU 处理 8064 个词元(token) 的新纪录。

📌 MLPerf v6.0: 更贴近真实 AI 应用场景的测试标准

MLPerf 作为业界公认的 AI 性能基准测试套件,其 v6.0 版本于 2026 年 4 月发布, 旨在更好地反映当前 AI 工业界的实际应用趋势。与之前的 v5.1 版本相比,v6.0 引入了多种前沿的生成式 AI 模型, 并重点升级了推理交互性和大规模多节点系统的测试能力。

新版本测试套件的主要更新包括:

• GPT-OSS-120B: 新增的大型开源语言模型, 专注于数学、科学推理和代码编写能力的测试。
• DeepSeek-R1 交互模式 : 在原有基础上增加了交互式场景, 更贴近真实聊天机器人体验, 对首字响应时间(TTFT) 和每 Token 速率提出了更高要求。
• Qwen3-VL-235B: 套件中首个多模态视觉语言模型(VLM), 用于测试将非结构化多模态数据转换为结构化元数据的能力。
• WAN-2.2(文生视频): 首个文生视频基准测试, 采用 SingleStream 模式以更准确地衡量延迟。
• DLRMv3: 第三代推荐系统基准, 由 Meta 贡献, 升级为基于 Transformer 的架构。
• YOLOv11 Large: 针对边缘计算场景, 更新了目标检测基准。

🔍 英伟达的全面性能优势

在官方公布的 MLPerf 推理 v6.0 测试结果中,英伟达实现了全方位的性能领先。其 AI 推理成绩不仅位列第一, 在推理训练 Wins 数量上更是领先最接近的竞争对手 9 倍之多。

具体到模型测试表现:

• DeepSeek-R1(服务器端): 从 v5.1 的 2,907 tokens/sec/gpu 提升至 8,064 tokens/sec/gpu, 速度提升达 2.77 倍。
• DeepSeek-R1(离线): 从 5,842 tokens/sec/gpu 提升至 9,821 tokens/sec/gpu, 提升 1.68 倍。
• Llama 3.1 405B(服务器): 从 170 tokens/sec/gpu 提升至 259 tokens/sec/gpu, 提升 1.52 倍。
• Llama 3.1 405B(离线): 从 224 tokens/sec/gpu 提升至 271 tokens/sec/gpu, 提升 1.21 倍。

💡 Blackwell Ultra 架构的技术突破

英伟达此次测试中使用的 GB300 NVL72 基于 Blackwell Ultra 架构, 这一架构在 AI 推理性能上的表现尤为突出。DeepSeek-R1 作为当前备受关注的大型语言模型, 其服务器端测试成绩的大幅提升, 直接反映了英伟达硬件在处理密集型 AI 工作负载时的效率优势。

每秒每 GPU 处理 8064 个词元的成绩,不仅刷新了 DeepSeek-R1 的推理速度纪录, 也为实际 AI 应用场景中的响应速度和吞吐量设定了新的标杆。

📊 行业影响与未来展望

MLPerf v6.0 测试结果的公布, 再次巩固了英伟达在 AI 计算领域的领先地位。随着 AI 模型规模的不断扩大和应用场景的日益复杂, 硬件推理性能的提升变得至关重要。

值得关注的几个趋势:

• 交互式 AI 场景成为测试重点 :v6.0 新增的交互模式测试, 反映了业界对实时 AI 应用(如聊天机器人) 性能的更高要求。
• 多模态 AI 测试的引入: 文生视频、视觉语言模型等测试项目的加入, 预示着 AI 硬件需要适应更加多样化的计算任务。
• 边缘计算需求增长:YOLOv11 等边缘计算场景测试的更新, 显示了 AI 推理向终端设备延伸的趋势。

🚀 总结

英伟达在 MLPerf v6.0 测试中的优异表现, 特别是 DeepSeek-R1 推理速度的大幅提升, 展现了其在 AI 硬件领域的持续创新能力。随着 AI 技术的快速演进, 性能基准测试的不断升级, 硬件厂商需要不断优化架构设计, 以满足日益增长的 AI 计算需求。此次测试结果不仅是对英伟达技术实力的验证, 也为整个 AI 行业的发展提供了重要的性能参考。