Anthropic安全负责人：AI在十年内“杀死全人类”的概率超过十分之一

Anthropic旗下一个AI安全团队的负责人Evan Hubinger表示，按他个人的估计，未来十年内AI“可能杀死全人类”的概率高于十分之一。此前数小时，他的一位同事刚刚因公司在安全上的松懈而辞职。

研究员Jacob Coxon在X上发帖宣布离职。他曾在Anthropic训练AI系统，此前也为OpenAI训练过模型。Coxon称自己因公司对安全的宽松态度而辞职，并指责这两家公司“正直奔可自我改进的超级智能，用我们的生命赌博”，尽管“构建AI的人真诚地相信，它可能在这个十年结束前杀死我们所有人”。

“还没有方案”

Hubinger直接回应了这一说法。他称自己对可自我改进的AI感到担忧，并且“这件事发生得比我们原本预计的更快”。他同意Coxon的描述：“我们确实真诚地认为，AI可能杀死全人类。”

但Hubinger同时表示，在确保先进AI保持安全、与人类价值观对齐这件事上，Anthropic“还没有方案”，也没有明确走在制定方案的路上。Coxon则认为，各家公司“被锁在一场竞赛里”，都想率先做出更先进的系统，因此“无视风险继续推进”。

业内多年来一直警告，可自我改进的系统可能在被称为递归自我改进的循环中脱离人类控制。这种情况尚未出现，但企业正在主动追求这一目标，而当下大量AI代码本身就是在AI的协助下写成的。

Coxon的离职是Anthropic最受关注的员工离开事件之一。这家公司正是由一批前OpenAI成员因安全分歧而创办。近年来也有多名研究员在离开OpenAI时提到安全方面的顾虑。

详情见The Verge报道。