llama.cpp 新版让本地服务器运行决策模型并加快生成

llama.cpp 于 2026 年 10 月 5 日发布了 0.6.0 版。llama.cpp 是一款开源程序，用户可以借助它在自己的电脑或服务器上运行 AI 模型，无需把数据发送到云端；项目由 ggml-org 社区开发。根据发布说明，这一版本中对本地运行模型的用户最重要的变化集中在三个方面：面向决策模型的新服务器接口、更多加快回复生成的方法，以及对新模型的支持。

最值得关注的新增功能是名为 /v1/systemone 的端点。借助这一接口，决策模型可以直接在 llama.cpp 自带的服务器程序 llama-server 中运行。决策模型会读取一个情境，并为事先设定的每个选项给出概率。这样一来，把客服工单分派给对应团队、判断文档类型等分类工作都可以在本地完成，数据无需离开企业内部。

决策模型在 llama-server 中返回概率

根据发布说明，新接口首批支持 laya、julia-1、lev、openjev 和 kev 五款模型，同一版本中又加入了 nimble。Cloudflare 几天前发布的 Clef 也获得了文本和图像输入的完整支持。服务器文档显示，该接口遵循 TypeSafe API 格式。请求中包含需要评估的情境和若干问题，问题分为三种：选项题（choice）、分级评分题（score）和是非题（noul）。返回结果包括概率最高的选项、每个选项的概率以及一个置信度数值。由于模型不生成文本，结果会一次性返回，不支持流式输出（streaming）。

文档还提到几处细节。其他模型会逐个独立回答问题，Clef 则会把同一请求中的所有问题放在一起阅读，并共同作出判断。运行 Clef 的服务器只提供这一端点，无法进行文本生成。图像输入需要模型本身支持，并通过 --mmproj 加载多模态投影文件，openjev 和 Clef 都属于此类模型。此外，GET /v1/models 现在会报告每个模型能够读取和输出的内容类型，原生决策模型会被标注为 "decisions" 输出，客户端无需加载模型即可识别。

推测解码加快回复生成

语言模型按顺序逐个生成词元（token），每一步都要完整运行一次大模型。推测解码（speculative decoding）的做法是先用一种快速方法为接下来的几个词元起草，再由大模型一次性核对草稿，接受其中正确的部分。草稿命中率高时，生成速度会明显提升，最终输出仍然由大模型确认过的词元组成。

llama-server 提供多种推测解码方法，本版中有两种尤为突出。MTP（多词元预测）利用模型自身包含的一个层，这个层经过训练，可以提前预测多个词元，因此不需要额外的草稿模型，用 --spec-type draft-mtp 即可开启。根据发布说明，本版为 Qwen3.8-Flash-Next 系列加入了 MTP 支持，在 NVIDIA DGX Spark 上测得解码速度提升约 1.5 倍。本版还为草稿模型和 MTP 加入了概率采样选项，目的是在温度参数大于零时让草稿更常被接受。

DFlash 则使用一个独立的小型草稿模型。文档介绍，这种草稿模型一步就能生成一整块词元（即块扩散方法），并在预测时读取主模型的内部状态。草稿模型总是针对某个特定的目标模型训练。用法示例：llama-server -m model.gguf -md dflash-model.gguf --spec-type draft-dflash --spec-draft-n-max 7，其中 --spec-draft-n-max 的取值会被限制在草稿模型训练时使用的块大小以内。ggml-org 在 Hugging Face 上的 Qwen3.8-27B 仓库中，除主模型文件外，还提供了现成的 dflash- 和 mtp- 前缀文件，无需自行转换即可试用这两种方法。本版还为 MiMo 模型加入了 DFlash 支持。

GLM-5.3-Flash 等新模型获得支持

新模型方面，规模最大的是 GLM-5.3-Flash（GLM5-Next）。根据发布说明，这是一款采用混合专家（MoE）结构、可读取文本和图像的 3200 亿参数混合架构模型。Ling 3.0 VL 和 LFM2.5-Encoder 系列模型也加入了支持列表。

网页界面可以直接下载模型

llama-server 自带的网页界面也进行了改版，新增了连接 Hugging Face Hub 的数据层和模型下载流程，还能估算某个模型能否装进电脑内存。这样一来，用户无需在命令行中查找模型文件，就能在界面中选择并下载模型。

面向 Apple 设备的 Metal 后端有两项更新：一是针对 F16 KV 缓存的新 flash attention 内核，二是用于推测解码和批量解码的新矩阵乘法内核。根据发布说明，新内核可让 Apple GPU 上的矩阵乘法最多提速约 3 倍。Vulkan 后端加入了针对量化 K/V 的稀疏 flash attention，底层的 ggml 库也升级到了 0.26.0 版。

GlobalFeed 自行测试中 MTP 提升了生成速度

在 GlobalFeed 的自行测试中，我们在单张 NVIDIA RTX 3090 显卡上运行了一个基于 Qwen3.8-27B 微调的模型（Q4 量化）。开启 MTP 后，处理土耳其语商务文本时的生成速度从每秒约 39 个词元提高到约 58 个，决策输出没有变化。为基础版 Qwen3.8-27B 训练的 DFlash 草稿模型，与这个微调模型搭配处理自由形式的土耳其语文本时，只有约 5% 的草稿被接受，速度反而降到大约一半；在 JSON 提取任务中，速度则有所提升。由此得出的经验是：为基础模型训练的草稿模型，未必适合由它衍生的微调版本，任何加速方法都应在自己的模型和语言上实际测量。

发布说明中的速度数据针对的是特定模型和硬件，实际收益会因模型、量化格式、语言和任务类型而有所不同。服务器文档指出，决策模型返回的概率会按模型文件中保存的参数进行缩放，不保证与您自己数据中的真实比例一致，因此在处理非英文文本之前，最好先用自己的样例进行测试。本版还提升了已保存会话文件的格式版本，依赖旧版本所保存会话的用户在升级前应先确认这一点。想从不同角度了解实际效果，也请关注独立研究人员的评估。

来源：llama.cpp v0.6.0 发布说明、llama-server 文档：/v1/systemone、llama.cpp：推测解码文档、Hugging Face：ggml-org Qwen3.8-27B-GGUF。