Ollama 支持决策模型,可在本地完成分类与打分
Ollama 0.35 预发布版支持决策模型,这类模型的输出是一个选项、一个概率或一个分数。Bespoke Labs 的 Nimble 和 Together AI 的 Tev1 可以在你自己的电脑上分拣支持工单或为内容打标签。
Ollama 于 2026 年 9 月 28 日在 0.35 预发布版(pre-release)中开始支持决策模型(decision models)。这类模型针对问题给出一个选项、一个概率或一个分数,输出十分简短。Ollama 给出的示例用途包括:把支持工单分派给对应团队、把请求发送给合适的模型,以及对内容进行分类。
决策模型如何工作
新的 /v1/systemone 端点(endpoint)遵循一家名为 TypeSafe 的公司推出的 Jev API。用户发送待判断的文本和最多 64 个问题。问题分三种类型:choice 从选项中选出一个并给出每个选项的概率,noul 返回某个条件成立的概率,score 则按有序标准给出分数。在发布说明的示例中,文本「Our checkout has returned 500 errors since 9am」在 bug、billing 和 account 之间以高概率被归入 bug。每个答案还附带一个置信度值;模型页面指出,该值并不代表答案正确的概率。
首批两款模型
Nimble 是 Bespoke Labs 基于 Qwen3.5-9B 训练的 90 亿参数模型,占用约 9.5 GB,采用 Apache 2.0 许可证,可通过 ollama pull nimble 安装。它速度快,是因为它跳过推理步骤,直接为答案词元(token)打分;据其页面介绍,待判断的文本须控制在 8,192 个词元以内。Tev1 是 Together AI 推出的实验性模型系列:40 亿参数版本为 4.5 GB,8 亿参数版本为 812 MB。Together AI 以 MIT 许可证公开了数据构建工具和训练脚本,但页面上没有注明模型本身的许可证。
对于在自有服务器上运行 AI 的企业来说,这是一种简单的方式,无需把数据发往外部,就能分拣支持工单和电子邮件。在 Python 中,可以通过 TypeSafe 的 SDK 调用,只需将其指向本地 Ollama 地址。
0.35 版仍是预发布版,稳定版仍为 0.34.4。决策模型尚未进入 Ollama 的命令行工具及其 Python 和 JavaScript 库,相关公告博文也尚未发布。这些模型只处理文本,而且只能在用户提供的选项中做选择。Together AI 写道,Tev1 尚未在英语以外的语言上充分测试,也未针对提示词注入(prompt injection)充分测试,因此值得先用自己的样例试一试。想了解这些模型在不同任务上的表现,值得关注独立研究人员的对比评测。