Cohere, Megakernel sunum sistemini açık kaynak yaptı
Cohere, çözümleme adımının tamamını tek bir CUDA çekirdeğine sıkıştıran sunum sistemini Apache-2.0 ile yayımladı. Tek H100 üzerinde vLLM'ye göre 1,58 kat hızlı, ama yalnız tek model, yalnız H100 ve yalnız 1-8 arası yığın.
Cohere, Cohere Megakernel adını verdiği sunum sistemini Apache-2.0 lisansıyla açık kaynak yaptı. İddiası şu: bir dil modelinin çözümleme adımının tamamını tek bir CUDA çekirdek çağrısına sıkıştıran, gerçek bir sunucunun ihtiyaç duyduğu her şeyi de destekleyen ilk tam teşekküllü sistem.
Megakernel ne demek
Alışılmış çıkarımda bir jeton üretmek onlarca ayrı GPU çekirdeğinin sırayla başlatılmasını gerektirir; her başlatmanın ve aradaki eşitlemenin bedeli vardır. Megakernel bunu tersine çeviriyor: kalıcı tek bir CUDA çekirdeği bütün çözümleme geçişini yürütüyor. İş, her biri bir GEMM parçası ya da dikkat bölümü olan bir görev çizgesine ayrılıyor ve işlemler arasındaki tam ızgara eşitleme engelleri kalkıyor.
Rakamlar
Ölçüm tek NVIDIA H100 üzerinde, North Mini Code modeliyle, karşılaştırma FlashAttention-3 ve Triton MoE arka ucuyla çalışan vLLM v0.24'e karşı yapılmış.
| Ölçüm | vLLM'ye göre |
|---|---|
| Yalnız çözümleme, yığın 1, 8K bağlam | 1,58 kat |
| AIME 2025, uçtan uca, yığın 8 | 1,41 kat |
| SciCode | 1,37 kat |
| MMLU-Pro (bilgisayar bilimi) | 1,33 kat |
| LiveCodeBench v6 | 1,28 kat |
| GPQA | 1,25 kat |
Depo ayrıca yığın 1'de H100'ün kuramsal tavanının yüzde 62'sine ulaşıldığını söylüyor. Duyurudaki 1,58 rakamı en iyi koşuldan, yani yalnız çözümleme ölçümünden geliyor; gerçek istemlerle uçtan uca kazanç 1,25 ile 1,41 kat arasında.
Sınırlar açıkça yazılmış
Depo kısıtları saklamıyor ve liste kısa değil. Sistem yalnız çözümleme yapıyor; ön dolum ayrı PyTorch çekirdekleriyle yürüyor ve ön dolum sırasında çözümleme duruyor. Donanım olarak yalnız H100 (SM90a) ve yalnız BF16. Yığın boyutu 1 ile 8 arasında. Örnekleme seçenekleri kısıtlı: açgözlü ve sıcaklık var, top_p yok, top_k sınırlı. Görev çizelgesi modele özel olduğu için desteklenen model yalnız North Mini Code.
Yani bu genel amaçlı bir vLLM alternatifi değil; belirli bir model, belirli bir kart ve dar bir yığın aralığı için sıkıştırılmış bir çıkarım motoru. Buna karşılık gerçek sunucu işlerini destekliyor: sürekli yığınlama, düzensiz uzunluklar, sayfalı KV önbelleği, kayan pencere dikkati, önek önbelleği, kesme, akışlı yanıt ve araç çağırma. OpenAI uyumlu bir arayüzü de var.
