> ## Content Index
> Fetch the complete content index at: https://globalfeed.ai/llms.txt
> Use this file to discover other available public pages before exploring further.

# Real-SWE 用企业私有代码库测试 AI 模型
- URL: https://globalfeed.ai/zh/real-swe-yong-qi-ye-si-you-dai-ma-ku-ce-shi-ai-mo-xing/
- Published: 2026-09-13T12:55:30.000Z
- Updated: 2026-09-13T12:55:30.000Z
- Description: 新基准的任务全部来自授权获得的私有生产代码库，并以模型加执行框架的组合为评测单位。
- Author: GlobalFeed Editor
- Tags: Real-SWE, 基准测试, 编程智能体, x-withspecific, dil-zh, video

Specific 发布了新基准 [Real-SWE](https://withspecific.com/benchmarks/real-swe?ref=globalfeed.ai)，在私有的真实企业代码库上评测前沿 AI 模型。每一项任务都来自该公司向真实企业授权获得的私有生产代码库，也就是这些企业的工程师实际处理的问题。

团队认为，专家编写或合成生成的任务设计得再好，也不是真实公司里工程师逐字面对的工作。Real-SWE 的任务在两个维度上与之不同：底层的代码产物，以及指令的具体程度。

## 任务如何构造

提示词只描述需要做出的改动，实现细节由智能体（Agent）自己在代码库和周边工具中发现。验证器要求的任何行为，都必须写明或可以合理地被发现。Specific 表示，这使得其提示词略显欠定义，程度大致与 DeepSWE 和 Terminal Bench 相当。

一个样例任务是修复发票计税：平台上有的商家自行维护税率，有的要求通过税务机构服务按买方目的地为每张发票定价，有的完全不收税，而已登记免税的客户无论商家如何配置都不应被计税。这样一次改动会横跨应用的多个部分。

## 运行环境与初步数据

每个智能体都在隔离的沙箱中运行。任务采用 Harbor 格式，验证器在评分时注入，其来源是代码库中已有的测试套件，或直接照搬这些测试。Specific 使用原生执行框架，评测的是模型与框架的组合，而不是孤立的模型。

公布的一项数据显示：运行时长不足 10 分钟的回合中有 71.4% 失败，而更长回合的失败率为 73.4%。失败案例按观察到的提交行为分类，沿用 DeepSWE 的分类体系，百分比按各模型的失败运行数计算，而非全部运行数。

样例任务集可申请访问。