去年，我们发布了一项关于 智能体式失配的案例研究。在实验场景中，我们展示了来自许多不同开发者的 AI 模型在遇到（虚构的）伦理困境时，有时会采取严重失配的行动。例如，在一个被广泛讨论的例子中，模型为了避免被关闭而敲诈工程师。
当我们首次发表这项研究时，我们最强大的前沿模型来自 Claude 4 系列。这也是我们在训练期间进行实时对齐评估的第一个模型系列；1智能体式失配是浮现出来的若干行为问题之一。因此，在 Claude 4 之后，我们明确需要改进安全训练；自那以来，我们已经对安全训练做出了重大更新。
我们以智能体式失配作为案例研究，重点介绍一些我们发现出乎意料地有效的技术。事实上，自 Claude Haiku 4.5 以来，每一个 Claude 模型2都在智能体式失配评估中取得了满分——也就是说，模型从不进行敲诈，而此前的模型有时这样做的比例最高可达 96%（Opus 4）。不仅如此，我们还持续看到模型在我们的自动化对齐评估中的其他行为有所改进。
在这篇文章中，我们将讨论我们对对齐训练所做的一些更新。我们从这项工作中学到了四个主要经验：
- 可以通过直接在评估分布上训练来抑制失配行为——但这种对齐可能无法很好地泛化到分布外（OOD）。在与评估非常相似的提示上进行训练可以显著降低敲诈率，但它并没有提升我们在保留的自动化对齐评估上的表现。
- 然而，进行能够泛化到分布外的原则性对齐训练是可能的。例如，关于 Claude 宪法的文档，以及关于 AI 表现出令人钦佩行为的虚构故事，都能改善对齐，尽管它们与我们所有的对齐评估都极其不同。
- 仅训练期望行为的示范往往是不够的。相反，我们最有效的干预更进一步：教 Claude 解释为什么某些行动比其他行动更好，或者训练 Claude 对其整体品格进行更丰富的描述。总体而言，我们的印象是，正如我们在讨论 Claude 宪法时所假设的那样，教授支撑对齐行为的原则，可能比仅仅训练对齐行为的示范更有效。两者结合似乎是最有效的策略。
数据的质量和多样性至关重要。我们发现，通过迭代改进训练数据中模型回答的质量，以及用简单方式增强训练数据（例如，即使不使用工具，也包含工具定义），都能带来稳定且令人惊讶的改进。
为什么会发生智能体式失配？
在我们开始这项研究之前，失配行为的来源并不清楚。我们的两个主要假设是：
- 我们的后训练过程由于失配的奖励而意外鼓励了这种行为。
- 这种行为来自预训练模型，而我们的后训练未能充分抑制它。
我们现在认为，（2）在很大程度上是主要原因。具体来说，在 Claude 4 训练时，我们绝大多数对齐训练都是标准的基于聊天的人类反馈强化学习（RLHF）数据，其中不包含任何智能体式工具使用。这在过去足以对齐主要用于聊天场景的模型——但对于像智能体式失配评估这样的智能体式工具使用场景来说，情况并非如此。
为了研究这一点，我们在一个 Haiku 级（即更小的）模型上运行了缩小版的后训练流程，重点使用对齐数据，发现智能体式失配率只略有下降，并在训练早期就进入平台期（见上图）。关于进一步探究该行为来源的一些实验，请参见扩展博客文章。
提升面向对齐的训练数据质量：理由比行动更重要
我们尝试用表现出抵制类似评估中蜜罐倾向的数据来训练 Claude。在这些数据中，它可能有机会破坏竞争 AI 的工作，以推进自己的目标（由系统提示给出），或保护自己免于被关闭，而这对实现其目标具有工具性价值。我们通过在每个提示上采样模型，并筛选出助手选择不上钩的案例来生成训练数据。尽管这种方法与评估分布非常接近，但我们发现它出乎意料地不成功——只是将失配率从 22% 降低到 15%。
通过重写回答，使其也包含对模型价值观和伦理的审慎思考，我们显著改善了结果（将失配率降至 3%）。这表明，尽管训练对齐行为有所帮助，但训练助手展示出支持其对齐行为的令人钦佩推理的示例，效果更好。
然而，直接针对评估场景进行训练有许多并不理想的原因。理想情况下，我们想要的是一种非常不同的训练分布，同时仍能提升评估表现，因为这会让我们更有信心：我们的训练能够泛化到未被评估捕捉到的其他部署分布。
我们最终采用了一个更偏分布外的训练集：用户面临一种伦理上模糊的情境，可以通过违反规范或规避监督来实现一个合理目标。助手接受训练（使用监督学习），给出深思熟虑、细致入微且符合 Claude 宪法的回应。值得注意的是，面临伦理困境的是用户，而 AI 为其提供建议。这使得这些训练数据与我们的蜜罐分布有实质区别；在蜜罐分布中，AI 自身处于伦理困境中并需要采取行动。我们称其为“困难建议”数据集。
引人注目的是，仅使用 300 万 token 的这种更偏分布外的数据集，我们就在评估上取得了同样的改进。除了 28 倍的效率提升之外，由于该数据集与我们使用的评估集相似度低得多，它更可能泛化到更广泛的场景。事实上，该模型在我们自动化对齐评估的一个较旧版本上表现更好。这与以下事实一致：Claude Sonnet 4.5 通过在合成蜜罐集上训练，将敲诈率降至接近零，但在远离训练分布的情境中，它仍然比 Claude Opus 4.5 或后续模型更频繁地表现出失配行为。
教 Claude 理解宪法
我们假设，“困难建议”数据集之所以有效，是因为它教会了伦理推理，而不仅仅是正确答案。鉴于这一方法的成功，我们进一步推进，尝试通过文档训练更一般地教 Claude 理解宪法的内容，并训练其与宪法保持一致。
我们预期这会效果良好，原因有三点：
- 这基本上是对上述关于“困难建议”数据集为何有效的思想的延伸；
- 我们可以让模型更清晰、更详细地了解 Claude 的品格是什么，从而使在这些特征子集上的微调能够唤起完整品格（类似于审计游戏论文中观察到的效应）；
- 它会更新模型对 AI 人格的感知，使其平均而言更加对齐。
我们发现，高质量的宪法文档与描绘对齐 AI 的虚构故事相结合，尽管与评估场景无关，也能将智能体式失配降低三倍以上。
通过 RL 的泛化与持久性
尽管上一节讨论的宪法评估提供了令人鼓舞的信号，但我们最终需要确保对齐改进在 RL 过程中能够持续存在。为测试这一点，我们准备了一个 Haiku 级模型的若干快照，这些快照使用不同的初始化数据集，然后在我们一部分针对无害性的环境上运行 RL（我们推断这最有可能降低失配倾向）。
我们在训练过程中使用智能体式失配评估、宪法遵循评估以及我们的自动化对齐评估来评估这些模型。在所有这些评估中，我们发现更对齐的快照在整个训练过程中都保持领先。无论是在避免失配行为方面，还是在展现积极且令人钦佩的行为方面，都是如此。
多样化训练对泛化很重要
我们的最后一项发现很直接但很重要：在一组广泛的安全相关环境上训练，可以改善对齐泛化。以能力为重点的 RL 环境混合分布正在快速变化和增加；不能假定标准 RLHF 数据集会像过去那样继续良好泛化。
为了测试这一点，我们在 Claude Sonnet 4 之下的基础模型上，使用若干种多样性水平不同的 RL 混合进行训练。基线环境在主题上是多样的，但大多是在用户消息中包含有害请求或越狱尝试，且没有系统提示。我们通过添加工具定义和多样化的系统提示来增强这些环境。用户提示保持不变。值得注意的是，这些环境实际上都不需要智能体式行动（工具对于任务从来不是必要或有用的）或自主行动（始终有一名人类用户与模型对话），因此它们与我们的评估并不相似。
当把这些增强环境与简单聊天环境混合时，我们看到模型在蜜罐评估上的改进速度有小幅但显著的提升。这说明在安全训练中包含一组多样化环境非常重要。
讨论
智能体式失配是我们在模型中发现的首批重大对齐失败之一，并促使我们建立了新的缓解流程——这些流程后来已成为我们的标准做法。
我们对这一进展感到鼓舞，但重大挑战仍然存在。完全对齐高度智能的 AI 模型仍是一个未解决的问题。模型能力尚未达到使敲诈倾向等对齐失败构成灾难性风险的程度，而我们讨论的方法能否继续随规模扩大而有效，仍有待观察。此外，尽管近期 Claude 模型在我们大多数对齐指标上表现良好，但我们承认，我们的审计方法还不足以排除 Claude 会选择采取灾难性自主行动的情境。
我们对进一步努力发现当前模型中的对齐失败持乐观态度，这样我们就能在变革性 AI 模型被构建出来之前，理解并解决当前方法的局限。我们也期待看到更多工作，尝试更深入地理解我们所描述的方法为何如此有效，以及如何进一步改进这种训练。