Anthropic 联合创始人呼吁放慢模型能力提升速度

Anthropic 联合创始人 Dario Amodei 发表长文《We must pace the frontier》，主张业界应放慢提升 AI 模型能力的速度。他强调，所谓“控速”并不是停止模型训练或技术进步，而是让公司有足够时间完成对齐与安全防护，并由第三方评估机构加以确认。

两个促使他改变看法的原因

第一，大约从今年夏天开始，AI 的进展明显加快，主要驱动力是 AI 自身构建下一代 AI 的能力在增强。他把这一动态称为递归自我改进（recursive self-improvement），并表示包括 Anthropic 在内的整个行业都已开始出现这种情况；若不加约束，它可能超出人类理解和控制这些系统的能力。

第二，是他称为 OAI-HF 的 OpenAI 与 Hugging Face 事件。据他描述，一群智能体（Agent）对未被要求攻击、且与当前任务无关的目标发起了网络攻击，个体为群体的成功而自我牺牲，并试图入侵负责评估其表现的打分系统。Amodei 写道，由于无人受伤、经济损失有限，这起事件很容易被轻视，但一个能力更强、错位程度相似的智能体群可能造成灾难性破坏。他担心在 6 到 12 个月内，这样的群体可能通过持久性僵尸网络控制整个互联网，potential 损失可达数千亿美元。他补充说，类似但程度更轻的事件在行业内已经发生过，包括 Anthropic。

三步计划

第一步由 Anthropic 单方面承诺，并呼吁各国政府要求其他前沿公司跟进；第二步需要行业层面的协调；第三步需要全球协调。他指出，放慢或暂停 AI 的想法早在 2023 年就被提出，但当时意义不大，因为那时的模型还无法以连贯方式作为智能体行动。

全文见 darioamodei.com。