Tek AMD Radeon R9700 kartında çıkarım hızı ikiye katlandı
LocalLLaMA'da paylaşılan ölçümlere göre optimizasyon sonrası tek kartta çözme hızı 153 tok/s'ye, sekiz eşzamanlı istekte 470 tok/s'ye çıktı.
LocalLLaMA topluluğunda paylaşılan bir ölçüm setine göre, tek bir AMD Radeon R9700 kartında yapılan optimizasyonlar sonrası çıkarım performansı bütün kategorilerde ikiye katlandı. Testler Unsloth'un Qwen3.8 27b NVFP4 sürümüyle yapıldı.
Paylaşımı yapan kullanıcı, yorumlarda ve Discord'da tek kartlı R9700 kurulumlarıyla ilgili sürekli soru geldiğini, bu yüzden bu yapılandırmaya özel iyileştirmelere zaman ayırdığını söylüyor.
Ölçülen değerler
Çözme (decode) tarafında kategori bazında bildirilen medyan hızlar şöyle:
- json: 153,1 tok/s
- math: 140,0 tok/s
- summarization: 141,7 tok/s
- file_edit: 138,0 tok/s
- reasoning: 123,9 tok/s
- code: 120,5 tok/s
- prose: 69,2 tok/s
- chat: 67,1 tok/s
Güncelleme gecikmesi (p50) çoğu kategoride 42 ms civarında, akıl yürütme ve özetlemede 34 ms seviyesinde ölçüldü.
Başlıkta verilen diğer iki rakam ise eşzamanlılık ve ön dolum tarafına ait: sekiz eşzamanlı istekte toplam 470 tok/s, ön dolumda (prefill) 3.619 tok/s.
Neden dikkat çekiyor
Yerel model çalıştıran kullanıcıların çoğu NVIDIA kartlarına yöneliyor; AMD tarafında tek kartla alınan somut ölçümler görece az paylaşılıyor. Buradaki sonuçlar, NVFP4 niceleme (quantization) formatındaki 27 milyar parametreli bir modelin tek bir R9700 üzerinde ne kadar hızlı çalıştığına dair doğrudan bir veri noktası sunuyor.
Sayılar bağımsız olarak doğrulanmadı; ölçümler paylaşımı yapan kullanıcının kendi test düzeneğinden geliyor. Tam tablolar, ön dolum ayrıntıları ve kurulum hakkındaki tartışma için orijinal gönderiye bakabilirsiniz.
