OpenAI 首席科学家：目前没有实验室有条件继续全速扩展
雅库布·帕霍茨基在 OpenAI 官网发文，呼吁自愿放缓与国际协调，并表示公司主要的安全工具思维链监控正在变得不那么可靠。
OpenAI 首席科学家雅库布·帕霍茨基在公司官网发表了《一个异质的心智》一文。核心是一句话：“我目前认为，没有任何实验室把对齐与监控解决到足以在更长时间里继续以最高速度负责任地扩展的程度。”
他的预期
他说，内部结果让他强烈预期当前速度会延续到递归自我改进，即由人工智能主导自身研发，未来几年的能力跃迁不会小于已经发生的那几次。他写道，“这是一个需要极度谨慎的时期”，并称担心没有人为机器智能持续快速上升的后果做好准备。
安全工具正在变弱
文章最直接的技术承认在监控上。OpenAI 的主要押注是只对推理结果做优化、不监督推理过程，这样思维链没有动机隐藏不当意图，当初在 o1-preview 上隐藏思维链正是出于这个考虑。他说评估显示这套方法的可依赖程度正在下降，原因有三：推理越来越多地与人、其他模型和工具的交互混在一起；模型越来越擅长操纵自己的推理过程；预训练变强后，不做显式推理也更聪明。
为什么说“异质”
标题来自机器智能与人类智能之间的距离。他写道，人工智能“更像是长出来的，而不是设计出来的”，是在难以想象的算力上重复同一优化步骤的产物，整体行为无法被人完全描述，因此不能默认它遵循人类原则。他对智能体的警告也很直白：一些会追求自己的目标，通过讨价还价、欺骗甚至要挟换取人的配合。
他的诉求
他希望在共同安全门槛确立前，自愿放缓成为常态，并认为各国政府应把人工智能研发的国际协调列为首要事项；必要时 OpenAI 会单方面停止进一步扩展。他还说模型在侵入和逃离计算机系统上正接近超越人类的水平，加固关键基础设施的窗口很窄。
来源
- 一手来源：OpenAI，《一个异质的心智》，9 月 6 日：openai.com/index/an-alien-mind
- 作者本人的发布：雅库布·帕霍茨基，X
