llama.cpp, karar modellerini ve daha hızlı üretimi yerel sunuculara getiriyor
Modelleri kendi bilgisayarında çalıştırmak için kullanılan açık kaynak program llama.cpp, 0.6.0 sürümünü yayımladı. Sunucuya karar modelleri için /v1/systemone adlı yeni bir arayüz eklendi ve Clef metin ile görsel desteği aldı. Sürüm ayrıca MTP ve DFlash gibi hızlandırma yöntemlerini genişletiyor, G
llama.cpp, 5 Ekim 2026'da 0.6.0 sürümünü yayımladı. llama.cpp, yapay zeka modellerini buluta göndermeden kendi bilgisayarınızda ya da sunucunuzda çalıştırmanızı sağlayan açık kaynak bir program; projeyi ggml-org topluluğu geliştiriyor. Sürüm notlarındaki bilgilere göre yeni sürümde modelleri yerelde çalıştıranlar için öne çıkan değişiklikler üç başlıkta toplanıyor: karar modelleri için yeni bir sunucu arayüzü, yanıt üretimini hızlandıran yöntemlerde genişleme ve yeni model desteği.
En dikkat çekici ekleme /v1/systemone adlı uç nokta. Bu arayüz sayesinde karar modelleri, llama.cpp'nin sunucu programı llama-server içinde çalışabiliyor. Karar modeli bir durumu okuyup önceden belirlenmiş seçeneklerin her birine bir olasılık veriyor. Böylece bir destek talebini doğru ekibe yönlendirmek ya da bir belgenin türünü belirlemek gibi sınıflandırma işleri, veri kurumun dışına çıkmadan yerelde yapılabiliyor.
Karar modelleri llama-server'da olasılık döndürüyor
Sürüm notlarına göre yeni arayüz laya, julia-1, lev, openjev ve kev modelleriyle geldi; aynı sürümde nimble da eklendi. Cloudflare'in birkaç gün önce yayımladığı Clef ise metin ve görsel girdisiyle tam destek aldı. Sunucu belgelerine göre arayüz TypeSafe API biçimini izliyor. İstekte değerlendirilecek durum ve sorular gönderiliyor; sorular üç türde olabiliyor: seçenekli (choice), derecelendirmeli (score) ve evet/hayır (noul). Yanıtta en olası seçenek, her seçeneğin olasılığı ve bir güven değeri yer alıyor. Model metin üretmediği için yanıt tek seferde dönüyor ve akış (streaming) desteği bulunmuyor.
Belgelerde birkaç ayrıntı daha var. Diğer modeller her soruyu ayrı ayrı yanıtlıyor; Clef ise bir istekteki tüm soruları birlikte okuyup birlikte karar veriyor. Clef çalıştıran bir sunucu yalnızca bu uç noktaya hizmet veriyor, bu durumda metin üretimi kullanılamıyor. Görsel girdi için modelin bunu desteklemesi ve çok kipli projektör dosyasının --mmproj ile yüklenmesi gerekiyor; openjev ve Clef bu modeller arasında. Ayrıca GET /v1/models yanıtı artık bir modelin neyi okuyup neyi ürettiğini bildiriyor. Yerleşik karar modelleri burada "decisions" çıktısıyla işaretleniyor; böylece istemci yazılımı hangi modelin karar modeli olduğunu modeli yüklemeden anlayabiliyor.
Spekülatif kod çözme yanıt üretimini hızlandırıyor
Dil modelleri yanıtı kelime parçası (token) token, sırayla üretiyor ve her adımda büyük modelin tamamı çalışıyor. Spekülatif kod çözmede (speculative decoding) önce hızlı bir yöntem sonraki birkaç token için bir taslak çıkarıyor, ardından büyük model bu taslağı tek seferde kontrol edip doğru kısmını kabul ediyor. Taslak sık tuttuğunda yanıt belirgin şekilde hızlanıyor; çıkan metin yine büyük modelin onayladığı tokenlardan oluşuyor.
llama-server'da bu iş için birkaç yöntem var ve bu sürümde ikisi öne çıkıyor. MTP (çoklu token tahmini), modelin kendi içinde bulunan ve birden fazla tokenı önceden tahmin etmek üzere eğitilmiş katmanı kullanıyor; ayrı bir taslak modeli gerekmiyor ve yöntem --spec-type draft-mtp ile açılıyor. Sürüm notlarına göre Qwen3.8-Flash-Next ailesine MTP desteği eklendi ve NVIDIA DGX Spark üzerinde yanıt üretiminde yaklaşık 1,5 kat hızlanma ölçüldü. Taslak modeli ve MTP için olasılıklı örnekleme seçeneği de geldi; bu seçenek, sıcaklık ayarı sıfırın üzerindeyken taslakların daha sık kabul edilmesini amaçlıyor.
DFlash ise ayrı ve küçük bir taslak modeliyle çalışıyor. Belgelere göre bu taslak modeli bütün bir token bloğunu tek adımda çıkarıyor (blok difüzyonu yöntemi) ve tahmin yaparken ana modelin iç durumlarını okuyor. Taslak her zaman belirli bir hedef model için eğitiliyor. Örnek kullanım şöyle: llama-server -m model.gguf -md dflash-model.gguf --spec-type draft-dflash --spec-draft-n-max 7; buradaki --spec-draft-n-max değeri taslağın eğitildiği blok boyutuyla sınırlanıyor. ggml-org, Hugging Face'teki Qwen3.8-27B deposunda ana model dosyalarının yanında hazır dflash- ve mtp- önekli dosyaları da yayımlıyor; bu sayede iki yöntemi denemek için dönüştürme yapmak gerekmiyor. Bu sürümde MiMo modelleri için DFlash desteği de eklendi.
GLM-5.3-Flash ve başka modeller desteğe girdi
Yeni model tarafındaki en büyük ekleme GLM-5.3-Flash (GLM5-Next). Sürüm notlarına göre bu, metin ve görsel okuyabilen, uzmanlar karışımı (MoE) yapısında, 320 milyar parametreli hibrit bir model. Ling 3.0 VL ve LFM2.5-Encoder modelleri de destek listesine girdi.
Web arayüzü modelleri doğrudan indirebiliyor
llama-server ile gelen web arayüzü de yenilendi. Arayüze Hugging Face Hub'a bağlanan bir veri katmanı ve model indirme akışı eklendi; bir modelin bilgisayarın belleğine sığıp sığmayacağını tahmin eden bir hesaplama da geldi. Bu, model dosyasını komut satırında aramadan arayüzden seçip indirmeyi kolaylaştırıyor.
Apple cihazlar için Metal tarafında iki yenilik var: F16 KV önbelleği için yeni bir flash attention çekirdeği ve spekülatif ile toplu üretimde kullanılan yeni matris çarpımı çekirdekleri. Sürüm notlarına göre yeni çekirdekler Apple GPU'larında matris çarpımını yaklaşık 3 kata kadar hızlandırıyor. Vulkan tarafına nicemlenmiş K/V için seyrek flash attention desteği eklendi, alttaki ggml kütüphanesi de 0.26.0 sürümüne yükseldi.
GlobalFeed'in kendi denemesinde MTP üretimi hızlandırdı
GlobalFeed'in kendi denemesinde tek bir NVIDIA RTX 3090 ekran kartında, Qwen3.8-27B tabanlı ve ince ayar yapılmış bir model (Q4 nicemleme) kullanıldı. MTP açıldığında Türkçe iş metinlerinde üretim hızı saniyede yaklaşık 39 tokendan yaklaşık 58 tokena çıktı; karar çıktıları değişmedi. Temel Qwen3.8-27B için eğitilmiş DFlash taslağı ise bu ince ayarlı modelle serbest Türkçe metinde taslakların yalnızca yüzde 5 kadarını kabul ettirebildi ve hızı burada yaklaşık yarıya düşürdü; JSON çıkarma işlerinde ise hız arttı. Buradan çıkan ders şu: temel model için eğitilmiş bir taslak, o modelden türetilmiş ince ayarlı sürümlere uymayabilir; hızlandırma yöntemini kendi modelinizde ve kendi dilinizde ölçmek gerekiyor.
Sürüm notlarındaki hız rakamları belirli modeller ve donanımlar için verildi; kazanç modele, nicemleme biçimine, dile ve işin türüne göre değişiyor. Sunucu belgelerine göre karar modellerinin döndürdüğü olasılıklar model dosyasındaki ayarlarla ölçekleniyor ve sizin verinizdeki gerçek oranlarla örtüşmesi garanti edilmiyor; İngilizce dışındaki dillerde kullanmadan önce kendi örneklerinizle denemek iyi olur. Bu sürümde kaydedilmiş oturum dosyalarının biçim sürümü de yükseltildi; eski sürümle kaydedilmiş oturumları kullananların güncellemeden önce bunu kontrol etmesi gerekiyor. Sonuçları farklı açılardan görmek için bağımsız araştırmacıların değerlendirmelerini de takip edin.
Kaynaklar: llama.cpp v0.6.0 sürüm notları, llama-server belgeleri: /v1/systemone, llama.cpp: spekülatif kod çözme belgeleri, Hugging Face: ggml-org Qwen3.8-27B-GGUF.
