GitHub 不再挑模型,转而搭建工作流:HydraFusion 把成本压低至多三分之二,质量基本持平

HydraFusion 在运行时为每个请求决定哪些模型参与、以什么顺序参与。三项基准中成本下降 36% 到 67%;质量在一项上提高 4.9 分,在另外两项上几乎没有变化。

Paylaş
GitHub 不再挑模型,转而搭建工作流:HydraFusion 把成本压低至多三分之二,质量基本持平

GitHub 以研究预览的形式开放了面向 Copilot 的 Project HydraFusion。9 月 4 日的这篇文章所述的思路超出了“选模型”:对每一个请求,系统在运行时构建哪些模型参与、以什么顺序参与。

三种执行模式

  • 单一:一个模型直接解决任务。
  • 级联:一个高效模型先出草稿;一道质量闸决定是接受它,还是升级到更强的模型。
  • 批评:一个模型出草稿,由另一个模型家族的独立评审者审阅,出草稿的模型再修改一次。

系统会选择预期能满足需求的最不复杂的工作流,只有在很可能改善结果时才发起额外的模型调用。

三项基准,三种不同答案

GitHub 以 Claude Opus 5 与 GPT-5.6 Sol 作为基线进行测量。三项结果如下:

基准成本(对比 Opus 5)质量
TerminalBench 2.1低 67%+4.9 分
DeepSWE低 36%−1.5 分
CheckpointBench低 65%−0.1 分

也就是说,真正的结果不是“更好”,而是“质量大致相当,成本明显更低”。GitHub 自己的措辞也指向同一方向:“在三项智能体编码基准的离线评测中,HydraFusion 始终展现出前沿水平的质量,并带来可观的预估成本节省。”

CheckpointBench 是 GitHub 基于真实 Copilot 会话的内部基准。该公司还在文中指出,TerminalBench 2.1 已相对饱和,因此更广泛的验证很重要。

公司自己写下的限度

  • 该系统目前适合首轮、单次提示的编码任务;多轮性能优化尚在计划中。
  • 过程可见性有限:中间草稿会被保留到最终结果出来。
  • 文中原样写着这样一句提醒:“随着我们从预览中学习,结果、模型、工作流、可用性、名称与产品行为都可能发生变化。”

如何试用

HydraFusion 可在 GitHub Copilot CLI 中通过 /experimental 使用,面向所有 Copilot 套餐。计费按其所用模型消耗的 token 计算,采用每个模型的标准费率。

为何重要

在企业侧,选模型一直被当作一次性固定决策:团队挑一个模型,所有活都走它。HydraFusion 把这个决策放到每个请求上,成本正是从这里降下来的。简单的活留在便宜模型上,难的活升级到贵的模型,有争议的活交给第二个模型家族去挑毛病。

企业采购要读的那一行不是质量列,而是成本下降 36% 到 67%。而这一测量的前提是离线评测;这份收益能否在真实仓库、工具故障和人工评审中站住,目前尚未展示。

Devamını oku

Liquid AI تطلق أكبر نماذج LFM2.5 المفتوحة لتشغيل الوكلاء على الأجهزة

Liquid AI تطلق أكبر نماذج LFM2.5 المفتوحة لتشغيل الوكلاء على الأجهزة

أطلقت Liquid AI نموذج LFM2.5-24B-A2B كنموذج مفتوح، ويضم 24 مليار معامل إجمالا لكنه يشغل نحو 2.5 مليار منها في كل خطوة. وبحسب النتائج التي نشرتها الشركة، يولد النموذج المدرب للوكلاء الذين يستخدمون الأدوات 184 رمزا في الثانية على Apple M5 Max.

GlobalFeed Editor tarafından