NVIDIA'nın güç yönetimi yazılımı Lambda testinde token üretimini artırdı

NVIDIA, yapay zeka veri merkezleri için geliştirdiği DSX platformunun güç yönetimi bileşeni DSX MaxLPS'in ilk saha doğrulamasını duyurdu. Testi GPU bulut sağlayıcısı Lambda yaptı; sonuçlar AI Infra Summit'te açıklandı.

Lambda, yazılımı NVIDIA HGX B200 sunucularından oluşan beş raflık, 19 düğümlü bir kümede çalıştırdı. 19 düğüm, tam güçte çalışan 16 düğümle aynı elektrik bütçesi içinde tutuldu. Küme genelinde token üretimi %24 arttı: saniyede yaklaşık 4 milyondan 5 milyona çıktı. Watt başına performans ise %23 iyileşti.

DSX MaxLPS, GPU ve raf seviyesindeki tüketimi izleyip boşta kalan güç payını düğümler arasında yeniden dağıtıyor. Eğitim ve çıkarım işleri elektriği farklı çektiği için, sabit paylaştırmada atıl kalan kapasite geri kazanılıyor. NVIDIA'nın kendi öngörüsüne göre yöntem, yeni nesil Vera Rubin NVL72 sistemlerinde aynı megavat bütçesiyle GPU kapasitesini %40'a kadar artırabilir.

Şebekeye uyum sağlayan veri merkezi

Platformun ikinci ayağı elektrik şebekesiyle ilişkili. NVIDIA'nın Eos yapay zeka veri merkezi, Emerald AI'ın Conductor yazılımını kullanarak Silicon Valley Power'ın Flexible Load Interconnect programına katılıyor. Şebeke sıkıştığında gelen sinyal üzerine düşük öncelikli işler yavaşlatılıyor ya da erteleniyor, öncelikli çıkarım işleri çalışmayı sürdürüyor.

Ağustos ayındaki bir denemede tesisin tüketimi operatör müdahalesi olmadan 4 megavattan 3 megavata indi. Emerald AI'dan Varun Sivaram'a göre bu, yazılımın ilk kez binlerce NVIDIA GPU'su üzerinde çalıştırılmasıydı. Silicon Valley Power o tarihten bu yana aynı tesise 200'den fazla talep sinyali gönderdi; Conductor her seferinde bir dakikanın altında yanıt verdi.

DSX Flex'in ilk özel ticari kurulumu ise Virginia, Manassas'ta olacak: NVIDIA'nın AI Factory Research Center bünyesinde 96 megavatlık bir Vera Rubin tesisi. DSX ilk kez mayıs ayında GTC Taipei'de tanıtılmıştı.

Ayrıntılar NVIDIA Blog'daki yazıda.