共计 1508 个字符，预计需要花费 4 分钟才能阅读完成。
英伟达发布 1200 亿参数大模型 Nemotron 3.5 Super VL: 单 GPU 智能体任务吞吐量最高提升 5 倍,74B 版本压缩至 24GB
英伟达正式推出开放多模态模型 Nemotron 3.5 Super VL, 瞄准需要持续运行、执行多步骤任务的 AI 智能体。该模型采用混合专家 (MoE) 架构, 总参数 1200 亿、激活参数 120 亿。英伟达称, 在单张 GPU 上跑智能体任务时, 其吞吐量最高可达同规模其他开放模型的 5 倍。
📌 多模态理解与工具调用被合进同一个模型
与偏重对话能力的模型不同, Nemotron 3.5 Super VL 把推理、指令遵循、工具调用, 与文本、图像、文档及视频理解整合在同一模型内。官方给出的典型用途包括代码测试与调试、跨网站信息检索、文档分析、网络安全威胁识别以及视频内容检索。开发者可以借助英伟达 NeMo 工具链, 结合自有数据、工具、政策与工作流程做后训练, 按业务需要调整模型行为。
围绕“英伟达发布 1200 亿参数大模型 Nemotron 3”，这一部分可从背景、现状与影响三个角度理解其关键信息。结合已公开内容来看，核心结论是趋势已较为明确，但细节仍需结合后续进展持续观察。
🔍 评测数据: 图表推理与行为评估双双走高
- CharXiv 图表推理基准得分 80.8%, 高于 Nemotron 3 Nano Omni 的 63%; 叠加 Python 代码解释后升至 84%。
- Hermes Bench 取得 63.44%, 对比 Nemotron 3 Ultra 的 56.33%。
- LangChain 行为评估为 87.05%, 同样高于 Nemotron 3 Ultra 的 84.3%。
- 英伟达表示, 该模型在 OCRBench v2 榜单中属于表现靠前的开放模型之一。
💡 企业定制案例: 成本与延迟降幅更抢眼
英伟达同步公布了几组合作落地数据。Scale AI 为媒体娱乐公司 Skydance 定制供应商信用处理智能体, 相关工作负载的推理成本预计下降 97.5%、延迟下降 80%; 金融运营平台 Ramp 正把收据图像转成包含商户、日期与支付信息的结构化 JSON, 预计吞吐量最高提升 50%、延迟下降 90%;AI21 则与安全公司 Alice 合作定制模型, 用于威胁情报与漏洞分析, 任务准确率提升 40%。
📊 效率优化与端侧布局:74B 版本压到 24GB
为压低推理开销,该模型用到投机解码、混合精度与上下文复用等技术。英伟达称其 LiLiCorr 投机解码方法在 DGX Spark 上可将词元生成速度最高提升至 2.3 倍; 模型支持 NVFP4 量化, 在 Blackwell 架构上采用 4 位权重与 4 位激活, 非 Blackwell 平台上同一检查点则使用 4 位权重与 16 位激活。
分布式推理方面, 在 16 张 NVIDIA B200、每用户每秒生成 50 个词元的测试条件下,NVIDIA Dynamo 配合缓存感知路由、会话亲和性与 KV 缓存卸载, 最多可服务 8 倍数量的用户, 首词元延迟降低 85%。
🚀 几个值得留意的信号
- 训练与开放力度:预训练和持续预训练合计使用约 26 万亿词元, 后训练约 380 万样本, 并在数十种环境中进行强化学习; 此次一并开放基础模型、后训练模型、NVFP4 量化权重, 以及训练配方、数据集与强化学习环境。
- 获取与部署:Super VL 与 Bolt 74B-A9B 24GB 已开放获取, 可通过 Hugging Face、OpenRouter、ModelScope 等渠道使用,Super VL 可部署于 DGX Spark、DGX Station、RTX 系统、数据中心或云端。
- 行业观察:英伟达这次把重心放在“智能体跑得久、跑得省”, 而不是单纯堆参数, 成本与延迟的量化承诺, 比跑分更能说明它想争夺的是企业级智能体的基础设施位置。
