Real-SWE 用企业私有代码库测试 AI 模型

Specific 发布了新基准 Real-SWE，在私有的真实企业代码库上评测前沿 AI 模型。每一项任务都来自该公司向真实企业授权获得的私有生产代码库，也就是这些企业的工程师实际处理的问题。

团队认为，专家编写或合成生成的任务设计得再好，也不是真实公司里工程师逐字面对的工作。Real-SWE 的任务在两个维度上与之不同：底层的代码产物，以及指令的具体程度。

任务如何构造

提示词只描述需要做出的改动，实现细节由智能体（Agent）自己在代码库和周边工具中发现。验证器要求的任何行为，都必须写明或可以合理地被发现。Specific 表示，这使得其提示词略显欠定义，程度大致与 DeepSWE 和 Terminal Bench 相当。

一个样例任务是修复发票计税：平台上有的商家自行维护税率，有的要求通过税务机构服务按买方目的地为每张发票定价，有的完全不收税，而已登记免税的客户无论商家如何配置都不应被计税。这样一次改动会横跨应用的多个部分。

运行环境与初步数据

每个智能体都在隔离的沙箱中运行。任务采用 Harbor 格式，验证器在评分时注入，其来源是代码库中已有的测试套件，或直接照搬这些测试。Specific 使用原生执行框架，评测的是模型与框架的组合，而不是孤立的模型。

公布的一项数据显示：运行时长不足 10 分钟的回合中有 71.4% 失败，而更长回合的失败率为 73.4%。失败案例按观察到的提交行为分类，沿用 DeepSWE 的分类体系，百分比按各模型的失败运行数计算，而非全部运行数。

样例任务集可申请访问。