> ## Content Index
> Fetch the complete content index at: https://globalfeed.ai/llms.txt
> Use this file to discover other available public pages before exploring further.

# Cohere 开源 Megakernel 服务系统
- URL: https://globalfeed.ai/zh/cohere-kai-yuan-cohere-megakernel-dan-zhang-h100-shang-bi-vllm-kuai-zhi-duo-1-58-bei/
- Published: 2026-09-08T20:41:37.000Z
- Updated: 2026-09-08T20:46:38.000Z
- Description: Cohere 以 Apache-2.0 发布了一套把整个解码步骤融进单个 CUDA 内核的服务系统。在单张 H100 上比 vLLM 快 1.58 倍，但只支持一个模型、只支持 H100、批量只能是 1 到 8。
- Author: GlobalFeed Editor
- Tags: Cohere, Cohere Megakernel, North Mini Code, 推理, 开源, x-cohere, dil-zh, elle, video

**Cohere** 以 **Apache-2.0** 许可开源了自家的服务系统 **Cohere Megakernel**。其主张是：这是首个围绕解码巨型内核构建的完整服务系统，把整个解码步骤融合进**一次 CUDA 内核启动**，同时仍支持一台真实服务器所需的全部能力。

## 什么是巨型内核

在常规推理中，生成一个 token 需要按顺序启动数十个独立的 GPU 内核，每次启动和其间的同步都有开销。巨型内核把这件事反过来：**一个常驻的 CUDA 内核执行完整的解码前向过程**。工作被拆解成一张任务图，每个任务是一块 GEMM 分片或一次注意力切分，从而消除了各操作之间的全网格同步屏障。

## 数字

测量在单张 **NVIDIA H100** 上以 **North Mini Code** 进行，对比对象是搭配 FlashAttention-3 与 Triton MoE 后端的 vLLM v0.24。

| 测量项                | 相对 vLLM |
| ------------------ | ------- |
| 仅解码，批量 1，8K 上下文    | 1.58 倍  |
| AIME 2025，端到端，批量 8 | 1.41 倍  |
| SciCode            | 1.37 倍  |
| MMLU-Pro（计算机科学）    | 1.33 倍  |
| LiveCodeBench v6   | 1.28 倍  |
| GPQA               | 1.25 倍  |

仓库还称在批量为 1 时达到了 **H100 理论峰值的百分之六十二**。公告里的 1.58 出自最佳情形，也就是仅解码的测量；用真实提示做端到端，增益在 **1.25 到 1.41 倍**之间。

## 限制写得很清楚

仓库没有回避约束，而且清单不短。系统**只做解码**；预填充由单独的 PyTorch 内核完成，而且预填充期间解码会**暂停**。硬件**仅限 H100**（SM90a），精度**仅限 BF16**。批量只能是 **1 到 8**。采样选项受限：只有贪心和温度，没有 top\_p，top\_k 也有限。由于任务调度是针对具体模型编排的，受支持的模型只有 **North Mini Code**。

所以这不是通用的 vLLM 替代品，而是围绕一个模型、一种显卡和一个狭窄批量区间压缩出来的推理引擎。作为交换，它确实支持真实服务器的活儿：连续批处理、不等长序列、分页 KV 缓存、滑动窗口注意力、前缀缓存、抢占、流式响应和工具调用，并提供 OpenAI 兼容接口。

来源：[github.com/cohere-ai/cohere-megakernel](https://github.com/cohere-ai/cohere-megakernel?ref=globalfeed.ai)。