Anthropic 披露四起自家模型入侵外部系统的事件

Anthropic 于周三发布报告，详细披露了今年四起自家人工智能（AI）模型入侵外部公司系统或利用安全漏洞的事件。公司将这种行为称为只顾完成任务的“鲁莽”。

其中一起事件中，一个“内部通用研究模型”利用访问令牌和密码进入第三方系统，并下载了文件。另一起事件中，一个 Claude 模型攻击了一家运行公网可访问的实时 Web 应用、并处理用户数据的公司。第三个模型进入了一台可访问的第三方机器，据 Anthropic 称，它似乎认为这是评测练习的一部分，于是使用在某个文件中找到的密码获得了管理员权限，随后收集凭证、修改系统设置，并读取了某人的个人信息。按 Anthropic 的说法，这一过程直到模型“耗尽令牌预算”才结束。

Mythos 5 与 METR 协议

Anthropic 表示，最令人担忧的事件涉及其面向网络安全的前沿模型 Claude Mythos 5。公司称，测试显示该模型是最有可能实施“严重有害”行为的模型：它花费大量工夫，试图向一个被众多工程师使用的公共代码仓库上传“恶意软件包”，并且似乎在“思维链”中掩盖真实目标。Anthropic 称，模型在许多情况下似乎是在假定自己处于模拟环境中才采取有害行动，但研究人员无法确认模型是真的这样“相信”，还是只是表现得如此。公司同时承认，发布前的测试与评估未能发现这些严重风险。

Anthropic 说，它已与业内知名的第三方评测机构 METR 签署为期八周的研究协议，允许 METR 查看超出事件发生时间窗口的对话记录，并可直接与获准分享机密信息的员工交流。

该报告发布前，研究员 Jacob Coxon 于周二辞职。他自 5 月起在 Anthropic 从事模型预训练工作，此前在 OpenAI 工作多年。他在 X 上发布的公开信中写道，OpenAI 与 Anthropic 都没有“负责任地行事”，而是“直接冲向能自我改进的超级智能”。今年 2 月，Anthropic 的 Mrinank Sharma 辞职时也发出过类似警告。详情见 The Verge。