GitHub 不再挑模型,转而搭建工作流:HydraFusion 把成本压低至多三分之二,质量基本持平
HydraFusion 在运行时为每个请求决定哪些模型参与、以什么顺序参与。三项基准中成本下降 36% 到 67%;质量在一项上提高 4.9 分,在另外两项上几乎没有变化。
GitHub 以研究预览的形式开放了面向 Copilot 的 Project HydraFusion。9 月 4 日的这篇文章所述的思路超出了“选模型”:对每一个请求,系统在运行时构建哪些模型参与、以什么顺序参与。
三种执行模式
- 单一:一个模型直接解决任务。
- 级联:一个高效模型先出草稿;一道质量闸决定是接受它,还是升级到更强的模型。
- 批评:一个模型出草稿,由另一个模型家族的独立评审者审阅,出草稿的模型再修改一次。
系统会选择预期能满足需求的最不复杂的工作流,只有在很可能改善结果时才发起额外的模型调用。
三项基准,三种不同答案
GitHub 以 Claude Opus 5 与 GPT-5.6 Sol 作为基线进行测量。三项结果如下:
| 基准 | 成本(对比 Opus 5) | 质量 |
|---|---|---|
| TerminalBench 2.1 | 低 67% | +4.9 分 |
| DeepSWE | 低 36% | −1.5 分 |
| CheckpointBench | 低 65% | −0.1 分 |
也就是说,真正的结果不是“更好”,而是“质量大致相当,成本明显更低”。GitHub 自己的措辞也指向同一方向:“在三项智能体编码基准的离线评测中,HydraFusion 始终展现出前沿水平的质量,并带来可观的预估成本节省。”
CheckpointBench 是 GitHub 基于真实 Copilot 会话的内部基准。该公司还在文中指出,TerminalBench 2.1 已相对饱和,因此更广泛的验证很重要。
公司自己写下的限度
- 该系统目前适合首轮、单次提示的编码任务;多轮性能优化尚在计划中。
- 过程可见性有限:中间草稿会被保留到最终结果出来。
- 文中原样写着这样一句提醒:“随着我们从预览中学习,结果、模型、工作流、可用性、名称与产品行为都可能发生变化。”
如何试用
HydraFusion 可在 GitHub Copilot CLI 中通过 /experimental 使用,面向所有 Copilot 套餐。计费按其所用模型消耗的 token 计算,采用每个模型的标准费率。
为何重要
在企业侧,选模型一直被当作一次性固定决策:团队挑一个模型,所有活都走它。HydraFusion 把这个决策放到每个请求上,成本正是从这里降下来的。简单的活留在便宜模型上,难的活升级到贵的模型,有争议的活交给第二个模型家族去挑毛病。
企业采购要读的那一行不是质量列,而是成本下降 36% 到 67%。而这一测量的前提是离线评测;这份收益能否在真实仓库、工具故障和人工评审中站住,目前尚未展示。