Ollama 支持决策模型,可在本地完成分类与打分

Ollama 0.35 预发布版支持决策模型,这类模型的输出是一个选项、一个概率或一个分数。Bespoke Labs 的 Nimble 和 Together AI 的 Tev1 可以在你自己的电脑上分拣支持工单或为内容打标签。

Paylaş
Ollama 支持决策模型,可在本地完成分类与打分

Ollama 于 2026 年 9 月 28 日在 0.35 预发布版(pre-release)中开始支持决策模型(decision models)。这类模型针对问题给出一个选项、一个概率或一个分数,输出十分简短。Ollama 给出的示例用途包括:把支持工单分派给对应团队、把请求发送给合适的模型,以及对内容进行分类。

决策模型如何工作

新的 /v1/systemone 端点(endpoint)遵循一家名为 TypeSafe 的公司推出的 Jev API。用户发送待判断的文本和最多 64 个问题。问题分三种类型:choice 从选项中选出一个并给出每个选项的概率,noul 返回某个条件成立的概率,score 则按有序标准给出分数。在发布说明的示例中,文本「Our checkout has returned 500 errors since 9am」在 bug、billing 和 account 之间以高概率被归入 bug。每个答案还附带一个置信度值;模型页面指出,该值并不代表答案正确的概率。

首批两款模型

Nimble 是 Bespoke Labs 基于 Qwen3.5-9B 训练的 90 亿参数模型,占用约 9.5 GB,采用 Apache 2.0 许可证,可通过 ollama pull nimble 安装。它速度快,是因为它跳过推理步骤,直接为答案词元(token)打分;据其页面介绍,待判断的文本须控制在 8,192 个词元以内。Tev1 是 Together AI 推出的实验性模型系列:40 亿参数版本为 4.5 GB,8 亿参数版本为 812 MB。Together AI 以 MIT 许可证公开了数据构建工具和训练脚本,但页面上没有注明模型本身的许可证。

对于在自有服务器上运行 AI 的企业来说,这是一种简单的方式,无需把数据发往外部,就能分拣支持工单和电子邮件。在 Python 中,可以通过 TypeSafe 的 SDK 调用,只需将其指向本地 Ollama 地址。

0.35 版仍是预发布版,稳定版仍为 0.34.4。决策模型尚未进入 Ollama 的命令行工具及其 Python 和 JavaScript 库,相关公告博文也尚未发布。这些模型只处理文本,而且只能在用户提供的选项中做选择。Together AI 写道,Tev1 尚未在英语以外的语言上充分测试,也未针对提示词注入(prompt injection)充分测试,因此值得先用自己的样例试一试。想了解这些模型在不同任务上的表现,值得关注独立研究人员的对比评测。

来源:GitHub:Ollama v0.35.0 发布说明、Ollama:Nimble、Ollama:Tev1。

Devamını oku

Liquid AI تطلق أكبر نماذج LFM2.5 المفتوحة لتشغيل الوكلاء على الأجهزة

Liquid AI تطلق أكبر نماذج LFM2.5 المفتوحة لتشغيل الوكلاء على الأجهزة

أطلقت Liquid AI نموذج LFM2.5-24B-A2B كنموذج مفتوح، ويضم 24 مليار معامل إجمالا لكنه يشغل نحو 2.5 مليار منها في كل خطوة. وبحسب النتائج التي نشرتها الشركة، يولد النموذج المدرب للوكلاء الذين يستخدمون الأدوات 184 رمزا في الثانية على Apple M5 Max.

GlobalFeed Editor tarafından