Prism ML'in yeni modeli 5,9 GB'a sığıyor

Prism ML, Bonsai serisinin ikinci sürümünü yayımladı. Qwen3.8 27B tabanlı Ternary Bonsai 2 27B, ağırlıkları {−1, 0, +1} üçlü gösterimle ve FP16 grup ölçeklemesiyle tutuyor; ağırlık başına 1,76 etkin bit ve toplamda 5,9 GB model boyutu çıkıyor. Düşük bitli gösterim dil modelinin tamamına uygulanmış.

Model 262 bin token bağlam penceresini destekliyor, metin ve görüntü girdisi alıyor, Apache 2.0 lisansıyla dağıtılıyor. Şirkete göre tam hassasiyetli karşılığından 9 kattan fazla küçük ve toplam benchmark performansının %98,2'sini koruyor; akıl yürütme, matematik, kodlama, talimat izleme, görü ve ajan tabanlı araç kullanımını kapsayan test setinde 83,9 puan alıyor. Önceki Bonsai 27B sürümünde bu koruma oranı %95 seviyesindeydi.

Hız ve enerji

Prism ML'in ölçümlerine göre model NVIDIA GeForce RTX 5090'da saniyede 143 token'a, M5 Max'te 46,8 token'a kadar çıkıyor. RTX 4090'da token başına 0,714 mWh harcıyor; şirket bunun tam hassasiyetle çalışan 8B bir modelden %40 daha verimli olduğunu söylüyor.

Şirket, düşük bitli modellerin yalnızca yerel çıkarımı değil, veri merkezi ekonomisini de etkileyebileceğini savunuyor: aynı bellek bütçesine daha büyük model sığıyor, aynı donanımda daha fazla kullanıcıya hizmet verilebiliyor. Kullanım örnekleri arasında kodlama ajanı döngüleri, bilgisayar kullanımı akışları, özel belge analizi ve hassas işleri yerelde tutup gerisini buluta devreden hibrit kurgular sayılıyor.

Ağırlıklar bugünden itibaren erişilebilir. Model NVIDIA GPU'larda CUDA, Apple cihazlarında (Mac, iPhone, iPad) MLX üzerinden özel düşük bit çekirdekleriyle çalışıyor. Sıkıştırma ve değerlendirme yöntemlerinin ayrıntıları şirketin teknik raporunda. Prism ML, Caltech araştırmacılarından kurulu bir ekipten doğdu; Khosla Ventures, Cerberus ve Google desteğiyle kuruldu, Samsung desteği sürüyor.

Duyurunun tamamı: Prism ML.