NVIDIA 公布 Vera Rubin 首批推理成绩

NVIDIA 在今日发布的 MLPerf Inference v6.1 榜单中，提交了新平台 Vera Rubin NVL72 的预览（preview）成绩，选择的是该测试套件中负载最重的两项：DeepSeek-R1 与 Qwen3-VL。

按 NVIDIA 的数据，在 Qwen3-VL 上，Vera Rubin NVL72 在 offline、server 和 interactive 三种场景下的吞吐量最高达到 GB300 NVL72 的 3.7 倍，所用软件为 vLLM 加开源推理框架 NVIDIA Dynamo。在 DeepSeek-R1 上改用 TensorRT-LLM 库，吞吐量最高为 GB300 NVL72 的 2.5 倍。公司称，这意味着单个 Vera Rubin 机柜能产出更多 token、服务更多用户，同时降低单 token 成本。

性能来自哪里

NVIDIA 将结果归因于硬件与软件的协同设计。Vera Rubin 增强的 Tensor Core 与 Transformer Engine 同时加速推理的 prefill 和 decode 阶段，NVFP4 精度则压缩了模型权重、注意力和 KV 缓存的显存占用。提交中大量采用分离式服务（disaggregated serving），把 prefill 与 decode 拆开，并对 DeepSeek-R1、Qwen3-VL 这类模型的混合专家（MoE）层使用大规模专家并行。机柜内部由第六代 NVLink 与 NVLink Switch 互联，NVIDIA 称其包速率比通用以太网高 10 倍，延迟低 3 倍。

扩展性方面，DeepSeek-R1 的提交从单个 GB300 NVL72 机柜（72 块 GPU）扩展到四个机柜（288 块 GPU），offline 场景下扩展效率达 99%。GB300 NVL72 在 WAN 2.2 文本生成视频测试中达到每秒 0.65 个 720p 视频，单个视频耗时 5.7 秒。

软件迭代同样带来收益：GB300 NVL72 在 Qwen3-VL 上的成绩相比 v6.0 最高提升 1.6 倍。此外，NVIDIA 还以 Qwen3.6-27B 在新增的 Edge-Agentic 测试中提交了 Jetson AGX Thor 成绩。本轮共有 19 家合作伙伴参与，其中 8 家使用多节点 Blackwell NVL72 系统，Nebius 也提交了 Vera Rubin NVL72 预览成绩。

更多细节见 NVIDIA 博客。