Extropic, olasılıksal çipe göre tasarlanmış ilk transformer ailesini açtı: token başına 294 nanojoule, H100'de 40,9 mikrojoule

Yapay zeka donanımı geliştiren Extropic, olasılıksal çipleri için tasarladığı ilk transformer benzeri model ailesi Z1T'yi 4 Eylül tarihli yazısında tanıttı. Duyurunun başlığındaki iddia şu: seyrek olasılıksal çiplerde çalışan bu modeller "GPU'lara kıyasla 100 kattan fazla enerji verimliliği" sağlıyor ve beraberinde bir ölçeklendirme yasası getiriyor.

Rakam nereden geliyor

Şirketin verdiği ölçüm doğrudan: dört bloklu yığından bir token geçirmenin enerjisi 294,52 nanojoule; aynı işlem H100 üzerinde 40,9 mikrojoule. Aradaki oran yaklaşık 139 kat. Bu 294,52 nanojoule'ün 285,78'i FPGA tarafında, yalnızca 8,74'ü Z1 örneklemesinde harcanıyor.

Z1, Extropic'in eşik altı CMOS ile ürettiği olasılıksal çip. Her pbit'in 16 ayarlanabilir bağlantısı var ve bu seyreklik donanımın katı bir kısıtı; verimliliğin kaynağı da bu. Model bu yüzden seyrek sinir ağı işlemleri düşünülerek kurulmuş.

Şirketin kendi sıraladığı sınırlar

Yazının en dikkat çeken yanı, çekincelerin şirketin kendisi tarafından yazılmış olması:

• Çalışma "ön inceleme" olarak tanımlanıyor.
• Karşılaştırmada kullanılan model bir H100'e göre çok küçük; ölçümde çekirdek başlatma süreleri ağırlık taşıyor ve model yüzde 0,006 MFU ile çalışıyor.
• Extropic açıkça yazıyor: "GPU'da toplu iş yapsaydık H100'ler belirgin biçimde daha verimli olurdu."
• Öneri de buna göre: Z1 artı yardımcı işlemci düzeneği çözümleme (decode) için; ön doldurma (prefill) şimdilik GPU'da daha iyi yapılıyor.
• Enerji tahmini, Z1 ile FPGA arasındaki veri hareketini içermiyor.

Bir ayrıntı daha var: daha seyrek olan Z1T ile GPT-2 ile aynı kaybı yakalamak için yaklaşık bir kat daha fazla FLOP gerekiyor. Z1 üzerindeki işlemler GPU'ya göre üç kat mertebesinde verimlilik kazandırdığı için net sonuç iki kat mertebesinde kalıyor.

Bir sonraki adımın işareti

Extropic, enerjinin yüzde 95'inden fazlasını FPGA'nın harcadığını belirtiyor. Buradan çıkardıkları sonuç şu: işlemlerin daha fazlası eşik altı CMOS tarafına kaydırılırsa, GPU'lara göre 1000 kata varan verimlilik mümkün olabilir. Bu bir ölçüm değil, kendi ifadeleriyle bir olasılık.

Ağırlıklar açık

Şirket, ölçeklendirme yasasını ürettiği seyrek transformer'ların eğitim tarifini GitHub'da, büyük eğitim koşularından birinin ağırlıklarını Hugging Face'te açtı. Yazıda bunun şirketin ilk açık kaynak modeli olduğu belirtiliyor.

Neden önemli

Yapay zekanın enerji faturası artık bir altyapı sorunu. Extropic'in yaptığı, transformer'ı GPU'nun yoğun matris çarpımına göre değil, seyrek ve olasılıksal bir donanıma göre yeniden kurmak. Sonuç henüz bir ürün değil, bir ön çalışma; ama ölçeklendirme yasasına bağlantı yoğunluğunu yeni bir değişken olarak eklemesi, bu yolun ölçülebilir hale geldiğini gösteriyor.