vLLM Semantic Router 开源可读视频的决策模型 d3
vLLM Semantic Router 以 Apache 2.0 许可证发布了 Decision 3.0 决策模型系列。这类模型以选项和概率回答问题。最大的 d3 还能读取图像和视频,另有五个更小的版本,最小仅 5.9 亿参数。
开源 AI 推理服务 vLLM 旗下的路由项目 vLLM Semantic Router 于 2026 年 10 月 10 日在 Hugging Face 上发布了 Decision 3.0 决策模型系列。决策模型针对给定输入的问题选择答案,并为每个选项返回概率。例如,它可以在一次调用中判断一条客户消息应交给哪个团队、是否附有收据以及请求有多紧急。该系列共六个模型,参数从 5.9 亿到 260 亿不等,全部采用 Apache 2.0 许可证,可在自己的服务器上运行,包括商业用途。
还能读取图像和视频
系列中最大的 d3 基于 Qwen3.8-27B,带有 4.6 亿参数的视觉编码器。根据模型卡信息,它在一次请求中可读取多张图像(PNG、JPEG、WebP)和多段视频(MP4、WebM、MOV、MKV),视频按每秒 2 帧、最多 32 帧读取。问题分三种:从多个选项中选一个、回答是或否、按等级打分。针对同一输入的所有问题在一次调用中完成。
团队表示,d3 在比较决策模型的 Jev Decision Index 0.3.2 官方文本榜上以 66.3 分排名第一,比上一代 Decision 2.0 的 27B 模型高 10.4 分。速度在单张 AMD Instinct MI325X 上测得:中位延迟方面,文本请求 54 毫秒,带图像的请求 290 毫秒,带 10 秒视频的请求 500 毫秒。
小尺寸版本与运行方式
较小的模型基于 Qwen3.5:d3-flash 84 亿、d3-mini 45 亿、d3-nano 22 亿、d3-lite 8.5 亿、d3-edge 5.9 亿参数。模型可直接用 Hugging Face Transformers 运行。vLLM Semantic Router 也能在 Engine 模式下通过 System One API 在本地提供 Decision 3.0,该功能目前在项目的开发通道中。上一代 Decision 2.0 模型的 GGUF 版本已于 10 月 8 日发布。
排名和速度数据由团队公布,模型卡未单独说明支持的语言。用于自己的文本、图像或视频之前,最好先用自己的样例测试。想获得更全面的了解,也请关注独立研究人员的评估。
来源:Hugging Face:d3 模型卡、GitHub:vLLM Semantic Router、Hugging Face:d3-mini 模型卡。