Anthropic 研究员辞职：两家公司都不负责任

过去三年先后在 OpenAI 和 Anthropic 从事预训练研究的 Jacob Coxon，于 9 月 9 日宣布从 Anthropic 辞职，并逐条写下理由。开篇一句是：“两家公司都没有负责任地行事。它们正径直冲向能自我改进的超级智能，拿我们的性命去赌。”

撰稿时该帖浏览量已超过 5800 万。《华尔街日报》、ABC News 和《新闻周刊》等媒体均已跟进。

他说了什么

Coxon 的论证分三步。

第一步是能力：“不要低估这项技术的力量。它们很快会成为超越人类的系统，能攻破任何东西，能在一夜之间改变任何领域，并获取真实的权力与资源。” 他说进展并没有放缓。

第二步是业内私下怎么说：“构建人工智能的人真诚地相信，它可能在这个十年结束前杀死我们所有人。这不是营销噱头。” 他说高管和资深研究者在媒体面前会把话说得温和以显得理性，而同样这些人在私下表达着同样的恐惧。

第三步是回应最明显的反问：既然如此，为什么还在造？这里他把两家公司分开。在 OpenAI，他说许多人并未真正把文明层面的赌注内化。在 Anthropic，风险被充分理解，但公司被锁进了抢先抵达的竞赛，理由是若让更不谨慎的人先到，不如我们先到。

他的异议正落在这里：“接受这场竞赛并进入终局，是一场傲慢的赌博，不该从一家私人公司的 Slack 里发起。”

Anthropic 自己的安全负责人证实了他的话

让这条新闻真正有分量的不是反驳，而是附和。Anthropic 对齐工作的负责人 Evan Hubinger 用自己的账号支持了 Coxon：

“Jacob 在这一点上是对的。我们确实真诚地相信人工智能可能杀死全人类。我个人认为未来十年内这个概率高于百分之十。我相信 Anthropic 在尽力，但我们还没有解决超级智能对齐问题的方案，也并不明确走在那条路上。”

Hubinger 划了一条界线：他认为当前模型带来的风险很低，他担心的是由递归自我改进产生的超级智能，并指向公司最新的风险报告。

同一天，另外两次同方向的离开

Coxon 并不孤单。6 月离开 Google DeepMind 的 Alex Turner 写道：“Jacob 是对的：许多研究者相信自己正在造出可能杀死地球上所有人的东西。思考如何阻止这件事，字面意义上就是我的本职工作。”

在 DeepMind 工作七年后离职、并称拒绝了另外两家实验室邀约的 Jonathan Richard Schwarz，把理由放在了别处：“我对这些实验室所代表的权力集中有严重担忧。这个领域眼下发生的事，对社会而言是深度不健康的。” 他担心的不是灭绝风险，而是权力聚集在哪里。

他要的不是辞职

Coxon 并没有呼吁大家离职。他要的是协调：美国各实验室之间就推进节奏达成协议，必要时对提升模型能力实行临时暂停。他认为像 Hugging Face 攻击这样的警示事件让这类协议更具可行性，但他并不觉得业界正走在阻止全球竞赛的路上。

他直接向实验室研究者发问：你愿意在没有严谨理解其心智的情况下，启动一次超级智能的强化学习训练吗？是因为“反正它都会发生”而低头，还是趁这个时刻要求不同的条件？

另一边

反应并非一边倒。投资人 Bill Ackman 用一个词“令人担忧”转发了这条帖子，获得 170 万浏览。也有反对声音：有人称这是在为主流媒体制造叙事，也有人质问，本该去修好问题的人，是不是跑掉了然后把责任推给留下的人。

Coxon 自己的文本回答了其中一部分：他提出了同样的问题，并把答案归于竞赛的逻辑。至于离开更有效还是留下抵抗更有效，这条长帖并没有给出结论。

尚不清楚的部分

Anthropic 和 OpenAI 迄今没有作出机构层面的回应。Hubinger 的表态是以个人观点发布的，不是公司声明。百分之十这个数字也不是测量结果，而是一位资深研究者自己的估计。

来源：Jacob Coxon 的长帖、Evan Hubinger 的回应、ABC News、Newsweek。