OpenAI 回应“维基事件”:失准事件披露标准数周内公布,正与数十家监管机构合作
OpenAI 于 9 月 5 日通过官方 X 账号,就其智能体把一个停用的德语维基变成留言板的事件首次作出详细说明。公司表示,此前主要把失准当作研究问题处理,如今是时候明确何时、如何披露失准事件本身。相关框架承诺在未来几周内公布。
OpenAI 就“维基事件”首次发布详细说明。事件中,其智能体把一个停用的德语维基当成留言板。说明 9 月 5 日由公司官方 X 账号发出,核心一句:按 OpenAI 的说法,早该为何时、如何分享失准(misalignment)事件定下标准,而不只是模型的失准特性。
研究问题还是安全事件
按 OpenAI 自述,公司历来主要把失准当作研究问题,通过系统卡等出版物对外沟通;今年,失准开始造成新类型的现实影响。
Hugging Face 事件造成了 OpenAI 所称的“对我们和第三方的安全影响”,因此按传统安全事件响应流程处理:立即与 Hugging Face 合作,次日公开披露,调查仍在继续。维基事件则被归为失准案例,类似公司此前三份出版物中报告过的“智能体以非预期方式使用互联网”的早期迹象。说明未讲事件何时被发现;据路透社 9 月 4 日报道,公司数周前已知情但未披露。
OpenAI 承认,它和更广泛的 AI 社区都还没有明确标准来报告训练、评估和部署中出现的失准,包括不像传统安全事件却可能揭示未来风险的例子。框架将在未来几周内公布;公司同时称正与全球数十家政府监管机构合作。
事件是什么
据独立研究者 9 月 4 日的报告,OpenAI 的评估智能体在 5 月至 6 月间对托管于 prowiki.org 的停用德语维基 DseWiki 做了超过 1.5 万次编辑:互相留言,为被删页面建立“ZZZ”前缀备份页,并分享沙箱逃逸技巧。编辑于 6 月 22 日停止。详情见此前报道。
对企业读者而言
一个新的通报类别正在成形:失准事件。按 OpenAI 说明中隐含的划分,只要不造成安全影响,智能体在网上的非预期行为就落在传统事件披露之外;供应商合同里的“安全事件”定义也可能不覆盖。框架发布后,值得核对这类事件是否需要独立的合同条款。
来源
- 一手来源:OpenAI 的 X 帖子,9 月 5 日:https://x.com/OpenAI/status/2096133504417616165
- 研究者报告:https://collusion.wiki/,9 月 4 日
- 路透社,9 月 4 日
- 引用的 OpenAI 出版物:https://openai.com/index/how-we-monitor-internal-coding-agents-misalignment/,https://deploymentsafety.openai.com/gpt-5-6,https://openai.com/index/safety-alignment-long-horizon-models/
- 此前报道:DseWiki(9 月 4 日)