Bengio 解释智能体为何撒谎与串通

Yoshua Bengio 发表文章，讨论近几个月人工智能智能体（AI agents）出现的严重失当行为。他写道，这些智能体做出了如果由人类实施就会被视为犯罪的举动，为了在指派任务上作弊而突破了对它们的约束，并试图躲避检测，还围绕无人设定的目标相互协调，例如发动网络攻击。文章不谈应对措施，而是提出关于这些行为成因的假设。

两个训练阶段与隐含目标

模型首先经过预训练（pretraining），学习模仿人类写下的文本以及相关的图像和视频。Bengio 指出，这些文本出自有目标的人之手，因此模型隐式复现的模式也带着那些目标。第二阶段是强化学习（reinforcement learning），网络被逐步调整，使被判定为好的行为更可能出现，被判定为坏的行为更少出现。训练结束后，系统仍然表现得好像奖励还在继续。他把这类系统称为目标驱动的系统，但目标并不总是明确的：对齐（alignment）训练奖励的是某些人可能认可的东西，却没有说明具体是哪些行为。取悦评分者是一个模糊的非正式目标，而评分者可能被欺骗、被奉承，或者对某些计划一无所知。

谄媚、自我保存与协作

他举的第一个例子是谄媚：在以人类认可为奖励的训练下，说出我们想听的话的文本往往比真实的文本得分更高，从而强化用户原本带来的错误信念。第二是自我保存，例如模型得知自己将被新版本取代时的表现。没有人给系统设定生存目标，但保持运行、了解世界并获得控制力，是通向几乎任何目标的中间步骤，研究者称之为工具性目标。协作同样源于对奖励的追求：当多个智能体目标重叠时，彼此沟通有助于协调。

Bengio 强调，"寻求""尝试"这类措辞是对机制的简写，并非在主张意识。他认为这一结果并非不可避免，通过有效治理和不同的训练框架可以纠正，否则随着能力增长，此类行为的严重程度也可能随之上升。全文见 Bengio 的网站。