llama.cpp 0.4.0: Qwen3.8-Flash-Next ve Nemotron-3-Puzzle desteği, belleği düşüren iki değişiklik
Modelleri kendi donanımında çalıştıranların kullandığı llama.cpp yeni sürümünü yayımladı. İki yeni model ailesi desteğe girdi, ama asıl işe yarayan kısım bellek tarafında: tensörler artık istendiğinde okunuyor ve nicemleyici bellek tavanına bağlandı. Sunucu tarafında bağlam sınırı artık yuva başına
Yerelde model çalıştırmanın fiili standardı olan llama.cpp, 0.4.0 sürümünü yayımladı. Duyuruyu projenin kendi hesabı yaptı.
Sürüm notlarının özeti üç başlıkta toplanıyor: iki yeni model ailesi için ilk destek, isteğe bağlı tensör okuma, ve sunucuda yuva başına bağlam sınırı.
Yeni modeller
- Qwen3.8-Flash-Next (
qwen4expmimarisi). Notlarda desteğin ilk aşama olduğu, eniyileme çalışmalarının henüz beklediği belirtiliyor. - NVIDIA Nemotron-3-Puzzle-75B-A9B
- Nemotron 3.5 DSpark türevi
- nanbeige4.2-3B
Ayrıca DeepSeek-V4, GLM ve qwen4exp için seyrek flash attention desteği geldi.
Asıl mesele bellek
Sürüm numarası değil, bu iki değişiklik önemli. İkisi de aynı sorunu çözüyor: büyük bir modeli mütevazı bir makinede çalıştırırken belleğin tepe yapması.
İsteğe bağlı tensör okuma. Tensörler artık toptan yüklenmek yerine ihtiyaç duyulduğunda okunuyor. Bu, modelin ilk açılışındaki bellek yükünü düşürüyor.
Nicemleyicide bellek tavanı ve satır dilimi akışı. Nicemleme sırasında oluşan bellek sıçramalarını engellemek için nicemleyiciye bir tavan konmuş ve veri satır dilimleri halinde akıtılıyor.
Bu ikisi birlikte, aynı donanımda daha büyük modele yer açmak ya da aynı modeli daha az bellekle çalıştırmak anlamına geliyor.
Sunucu tarafı: yuva başına bağlam
llama.cpp sunucusu artık bağlam boyutu sınırını her yuva için ayrı ayrı uygulayabiliyor. Eşzamanlı istekler arasında kaynak paylaşımını yönetmeyi kolaylaştırıyor: tek bir uzun bağlamlı istek, bütün sunucunun belleğini götürmüyor.
Yanına iki şey daha eklenmiş: KV hücrelerinde jeton izleme ve n-gram geçmişi araması, bir de RPC için Apple RDMA taşıma desteği. Alt katman kütüphanesi ggml 0.22.0'dan 0.23.0'a çıkmış.
Kurumsal okur için
Bu sürümün asıl muhatabı, modeli buluta göndermeden kendi makinesinde koşturmak isteyen kurum. Yerel çalıştırmanın önündeki engel çoğu zaman modelin kendisi değil, o modeli açmaya yetecek bellektir. Bellek de tepe noktasında ölçülür, ortalamada değil. İsteğe bağlı tensör okuma ile nicemleyici tavanı doğrudan o tepe noktasına dokunuyor.
Pratik karşılığı şu: elinizdeki sunucuda daha önce sığmayan bir model bu sürümle sığabilir. Denemeden önce kendi donanımınızda ölçmek gerekir, çünkü kazanç modele ve nicemleme biçimine göre değişir.
Kaynaklar
- Birincil kaynak: llama.cpp v0.4.0 sürüm notları, ggml-org: github.com/ggml-org/llama.cpp
- Duyuru: projenin kendi hesabından yapılan sürüm duyurusu, 4 Eylül.
