AWS团队发布可在CPU上运行的开放决策模型Strands Decider 2B

AWS 汇集实验性智能体项目的 Strands Labs 发布了小型开放决策模型 Strands Decider 2B。该模型约有 19 亿参数,可在多个选项之间作出选择并为每个决定给出置信度,能在 NVIDIA 显卡、Apple 芯片的 Mac 以及只有 CPU 的机器上运行。

Paylaş
AWS团队发布可在CPU上运行的开放决策模型Strands Decider 2B

AWS 用来汇集其开源智能体开发工具包 Strands Agents 相关实验项目的 GitHub 组织 Strands Labs,于 2026 年 10 月 1 日发布了 Strands Decider 2B。据项目页面介绍,这是一个新的决策模型(decision model)系列的首款模型。它是一个约 19 亿参数的小模型,代码和模型文件均以 Apache 2.0 许可证开放下载。以这样的规模,无需高性能显卡也能在自己的电脑或服务器上本地运行。

在多个选项之间作出选择的小模型

决策模型是一类针对给定文本,从预设选项中作出选择或在某个量表上打分的模型。项目页面把这类模型定位在大语言模型与传统分类模型之间:它们的响应速度快于大语言模型,也不像传统分类器那样需要为每项任务单独训练。Strands Decider 可回答三类问题:是非题、从几个选项中选一个,以及在有序量表上打分。例如,对于一条写着“我的付款已经连续三天失败”的客户消息,只需一条命令就能同时询问应由哪个团队处理、是否紧急以及写信人有多恼火。

每个决定都附带一个置信度分数。据项目页面介绍,在未见过的短分类任务中,模型高置信度的回答绝大多数是正确的;置信度较低时,建议核实答案或交由人工判断。项目列出的用途是智能体工作流中的常规决策:为任务挑选合适的大语言模型、决定智能体下一步调用哪个工具、在执行前检查工具调用的参数、把收到的请求分派给合适的团队、进行安全与政策审查,以及低成本地为模型输出打分。项目提出了混合式智能体的思路:难的决定交给大语言模型,常规决定交给决策模型。

基于 Qwen,去掉了生成文本的输出层

该模型基于阿里巴巴的 Qwen3.5-2B-Base。开发者去掉了模型用于生成文本的语言建模输出层,换成一个约 100 万参数的小型打分模块。该模块把每个选项与模型读完文本后的内部表示进行比较并打分,因此只需一次前向计算即可得出答案,无需生成文本。由于选项没有固化在模型内部,每次请求都可以重新定义,数量也不受限制。针对同一段文本提出多个问题时,文本只读取一次,每个新问题只增加自身的开销。

团队在专为这类模型设计的第三方基准 JevBench 上衡量模型的准确率及其置信度分数的可靠程度。研究记录在代码仓库中公开:每次训练前先写下预期,训练后再补充结果,未达预期的实验也保留在记录中。

安装与硬件

模型可通过 pip install strands-decider 安装。附带的命令行工具可以直接提问,strands-decider serve 命令则能把模型作为 HTTP 服务运行,供其他应用调用。模型文件以 StrandsAgents 账号发布在 Hugging Face 上。据项目页面介绍,模型可在 NVIDIA 显卡、Apple 芯片的 Mac 以及只有 CPU 的机器上运行,面向 Mac 的更快的 MLX 支持也即将推出。模型也可以从头重新训练:整套训练流程在单张 RTX 3090 上约需 11 小时。仓库中还有一个在 Strands 智能体中使用该模型的示例:智能体在调用天气工具前先查看两个是非判断,城市不明确时直接询问用户,不作猜测。

决策模型近几周正在成为一个独立的类别。继 Typesafe AI 的 Jev 之后,Cloudflare 也在同一天以开放模型形式发布了 Clef 决策模型。Strands Decider 的服务同样通过与 Jev 和 Clef 同名的 /v1/systemone 接口响应请求。

已公布的测量结果均由项目团队完成,团队也指出,在任务数量较少的基准上,细小的差异可能落在多次重新训练之间的波动范围内。页面没有说明模型支持哪些语言,其训练数据来源大多为英文数据集,因此在处理其他语言前,最好先用自己的样例测试。模型一次能读取的文本也限于几千个词元(token),更长的文本会被截断。想了解模型的真实表现,值得关注独立研究人员的评估。

来源:GitHub:Strands Decider、Hugging Face:Strands Decider 2B、AWS:Strands Labs 介绍。

Devamını oku

Mistral تطلق نموذج Voxtral مفتوحا لتحويل الكلام العربي إلى نص فوريا

Mistral تطلق نموذج Voxtral مفتوحا لتحويل الكلام العربي إلى نص فوريا

أطلقت Mistral AI نموذج Voxtral Mini 4B Realtime Arabic الذي يحول الكلام بالعربية ولهجاتها إلى نص في الوقت الفعلي، بترخيص Apache 2.0. وإلى جانبه نموذج LIDstral Arabic الذي يحدد لهجة النص المكتوب بالحروف العربية أو لغته. وقد طُوّر النموذجان بالتعاون مع وزارة الانتقال الرقمي المغربية.

GlobalFeed Editor tarafından