> ## Content Index
> Fetch the complete content index at: https://globalfeed.ai/llms.txt
> Use this file to discover other available public pages before exploring further.

# Cohere, Megakernel sunum sistemini açık kaynak yaptı
- URL: https://globalfeed.ai/cohere-cohere-megakernel-adli-sunum-sistemini-acik-kaynak-yapti-vllmye-gore-1-58-kata-kadar-hizli/
- Published: 2026-09-08T20:41:38.000Z
- Updated: 2026-09-08T20:46:37.000Z
- Description: Cohere, çözümleme adımının tamamını tek bir CUDA çekirdeğine sıkıştıran sunum sistemini Apache-2.0 ile yayımladı. Tek H100 üzerinde vLLM'ye göre 1,58 kat hızlı, ama yalnız tek model, yalnız H100 ve yalnız 1-8 arası yığın.
- Author: GlobalFeed Editor
- Tags: Cohere, Cohere Megakernel, North Mini Code, çıkarım, açık kaynak model, x-cohere, dil-tr, elle, video

**Cohere**, **Cohere Megakernel** adını verdiği sunum sistemini **Apache-2.0** lisansıyla açık kaynak yaptı. İddiası şu: bir dil modelinin çözümleme adımının tamamını **tek bir CUDA çekirdek çağrısına** sıkıştıran, gerçek bir sunucunun ihtiyaç duyduğu her şeyi de destekleyen ilk tam teşekküllü sistem.

## Megakernel ne demek

Alışılmış çıkarımda bir jeton üretmek onlarca ayrı GPU çekirdeğinin sırayla başlatılmasını gerektirir; her başlatmanın ve aradaki eşitlemenin bedeli vardır. Megakernel bunu tersine çeviriyor: **kalıcı tek bir CUDA çekirdeği bütün çözümleme geçişini yürütüyor**. İş, her biri bir GEMM parçası ya da dikkat bölümü olan bir görev çizgesine ayrılıyor ve işlemler arasındaki tam ızgara eşitleme engelleri kalkıyor.

## Rakamlar

Ölçüm tek **NVIDIA H100** üzerinde, **North Mini Code** modeliyle, karşılaştırma FlashAttention-3 ve Triton MoE arka ucuyla çalışan vLLM v0.24'e karşı yapılmış.

| Ölçüm                                | vLLM'ye göre |
| ------------------------------------ | ------------ |
| Yalnız çözümleme, yığın 1, 8K bağlam | 1,58 kat     |
| AIME 2025, uçtan uca, yığın 8        | 1,41 kat     |
| SciCode                              | 1,37 kat     |
| MMLU-Pro (bilgisayar bilimi)         | 1,33 kat     |
| LiveCodeBench v6                     | 1,28 kat     |
| GPQA                                 | 1,25 kat     |

Depo ayrıca yığın 1'de **H100'ün kuramsal tavanının yüzde 62'sine** ulaşıldığını söylüyor. Duyurudaki 1,58 rakamı en iyi koşuldan, yani yalnız çözümleme ölçümünden geliyor; gerçek istemlerle uçtan uca kazanç **1,25 ile 1,41 kat** arasında.

## Sınırlar açıkça yazılmış

Depo kısıtları saklamıyor ve liste kısa değil. Sistem **yalnız çözümleme** yapıyor; ön dolum ayrı PyTorch çekirdekleriyle yürüyor ve ön dolum sırasında çözümleme **duruyor**. Donanım olarak **yalnız H100** (SM90a) ve **yalnız BF16**. Yığın boyutu **1 ile 8 arasında**. Örnekleme seçenekleri kısıtlı: açgözlü ve sıcaklık var, top\_p yok, top\_k sınırlı. Görev çizelgesi modele özel olduğu için desteklenen model **yalnız North Mini Code**.

Yani bu genel amaçlı bir vLLM alternatifi değil; belirli bir model, belirli bir kart ve dar bir yığın aralığı için sıkıştırılmış bir çıkarım motoru. Buna karşılık gerçek sunucu işlerini destekliyor: sürekli yığınlama, düzensiz uzunluklar, sayfalı KV önbelleği, kayan pencere dikkati, önek önbelleği, kesme, akışlı yanıt ve araç çağırma. OpenAI uyumlu bir arayüzü de var.

Kaynak: [github.com/cohere-ai/cohere-megakernel](https://github.com/cohere-ai/cohere-megakernel?ref=globalfeed.ai).