Perplexity, Apple Silicon için Rust ve Metal tabanlı çıkarım motoru Lily'yi açık kaynak yaptı
Perplexity, Qwen3.6-35B-A3B modelini Apple Silicon üzerinde çalıştıran Lily motorunu açık kaynak yaptı; şirketin ölçümlerinde MLX-LM'e göre prefill 1,23x, decode 1,35x hızlı.
Perplexity, Perplexity Computer içindeki Hybrid Compute özelliğinin arkasındaki yerel çıkarım motoru Lily'yi açık kaynak yaptı. Tek süreçlik bir çalışma zamanı: Rust katmanı checkpoint'i yükleyip üretim döngüsünü yönetiyor, OpenAI uyumlu bir chat-completions API'si token akışı sağlıyor, modeli ise elle yazılmış Metal çekirdekleri çalıştırıyor. Yürütme yolunda ne PyTorch ne MLX var.
Lily kasıtlı olarak dar kapsamlı: tek model (Qwen3.6-35B-A3B) ve tek donanım ailesi. Perplexity'ye göre performans argümanı da bu darlıktan geliyor, çünkü model yapısı, yürütme planları ve çekirdek seçimi aynı çalışma zamanında toplanıyor. Standalone bir demo pplx-garden deposunda yayında; minimal bir OpenAI uyumlu HTTP API üzerinden greedy metin üretimi sunuyor.
Donanım gereksinimi ve model yapısı
4-bit checkpoint 19,4 GB olduğu için gerçekçi alt sınır 32 GB veya daha fazla birleşik bellekli bir Apple Silicon Mac. Perplexity'nin satıştaki Hybrid Compute ürünü macOS 15+, en az 24 GB, en iyi sonuç için 32 GB listeliyor.
Qwen3.6-35B-A3B 35 milyar parametre tutuyor, token başına yaklaşık 3 milyarını etkinleştiriyor. Yönlendirici 256 uzmanı puanlayıp sekizini seçiyor, ayrıca her token'ı gören bir paylaşımlı uzman var. Model, gruplanmış sorgu dikkati kullanan 10 tam dikkat katmanıyla (16 sorgu başlığı, iki KV başlığı) 30 Gated DeltaNet katmanını birleştiriyor. Ağırlıklar 64'lük gruplar halinde 4-bit nicelenmiş; yaklaşık 70 GB'lık bfloat16 ağırlık 19,4 GB'a sıkıştırılmış.
Ölçümler
Perplexity'nin ablasyon testlerinde nicelemeyi gruplu GEMM içinde parça parça çözmek 512 token'lık istemde uçtan uca prefill'i %77,4 artırdı; yönlendirme adımlarını tek GPU komut arabelleğinde tutmak %89 ekledi. Uzman GEMM'leri prefill süresinin yaklaşık %90'ı. Decode tarafında GQA paketleme 32K'da %23,8, sabit bloklu dikkat düzeni 128K'da %40,2 kazanç sağladı.
40 çekirdekli, 128 GB M5 Max üzerinde batch 1'de, aynı 4-bit checkpoint baytlarıyla MLX-LM'in en hızlı doğrudan üretim yoluna karşı 256 ile 128K token arası on uzunlukta Lily ortalama 4.156 prefill token/s (MLX-LM: 3.388, 1,23x) ve 170,0 decode token/s (126,4, 1,35x) verdi. 192 pozisyonda teacher-forced kontrolde Lily'nin perplexity değeri %0,04 daha yüksek, en yüksek puanlı token %96,35 oranında aynı çıktı.
Teknik ayrıntılar ve kod için MarkTechPost'un haberine bakabilirsiniz.
