NVIDIA, Vera Rubin rafının ilk çıkarım sonuçlarını yayımladı

NVIDIA, bugün açıklanan MLPerf Inference v6.1 sonuçlarında yeni Vera Rubin NVL72 rafına ait ön (preview) ölçümleri paylaştı. Şirket, testler için paketin en zorlu iki iş yükünü seçti: DeepSeek-R1 ve Qwen3-VL.

NVIDIA'nın bildirdiğine göre Qwen3-VL testinde Vera Rubin NVL72, offline, server ve interactive senaryolarında GB300 NVL72'ye göre 3,7 kata kadar daha yüksek verim üretti; bu ölçümde vLLM ile açık kaynaklı NVIDIA Dynamo çıkarım çerçevesi kullanıldı. DeepSeek-R1'de ise TensorRT-LLM kütüphanesiyle verim 2,5 kata kadar arttı. Şirket, her Vera Rubin rafının daha fazla token üretip daha fazla kullanıcıya hizmet verdiğini, token başına maliyeti de düşürdüğünü söylüyor.

Donanım ve yazılım birlikte

NVIDIA kazancı iki yere bağlıyor: Vera Rubin'in geliştirilmiş Tensor Core'ları ve Transformer Engine'i çıkarımın hem prefill hem decode aşamasını hızlandırıyor, NVFP4 hassasiyeti de model ağırlıkları, dikkat katmanı ve KV önbelleğinde bellek ihtiyacını azaltıyor. Gönderimlerde prefill ve decode ayrıştırılmış (disaggregated) sunum ile ayrıldı, uzman katmanları için geniş ölçekli expert parallelism uygulandı. Raf içi bağlantıyı altıncı nesil NVLink ve NVLink Switch sağlıyor; NVIDIA bunun hazır Ethernet'e kıyasla 10 kat yüksek paket hızı ve 3 kat düşük gecikme verdiğini belirtiyor.

Ölçeklenmede NVIDIA, DeepSeek-R1 gönderimini tek GB300 NVL72 rafından (72 GPU) dört rafa (288 GPU) çıkardı ve offline senaryoda %99 ölçekleme verimi bildirdi. GB300 NVL72 ayrıca WAN 2.2 metinden videoya testinde saniyede 0,65 adet 720p video üretti, video başına 5,7 saniye.

Yazılım tarafında GB300 NVL72'nin Qwen3-VL performansı v6.0'a göre 1,6 kata kadar iyileşti. Jetson AGX Thor için de Edge-Agentic testinde Qwen3.6-27B ile sonuç gönderildi. Ekosistemden 19 ortak katıldı, sekizi çok düğümlü Blackwell NVL72 sistemleriyle; Nebius de Vera Rubin NVL72 ön sonuçları paylaştı.

Ayrıntılar NVIDIA blogunda.