Anthropic自动化研究员在10类对齐失效测试中均改善表现，但距离“自我改进”仍有多重边界

Anthropic的研究显示，Claude驱动的自动化研究系统在针对10类对齐失效基准测试中均能改善模型表现且未降低总体能力，但研究强调这并不等同于递归式自我改进或能替代人类研究员。论文指出方法有效且成本较低，但仍需独立复现、更广泛基准和更强监控以防止指标被投机化。

Anthropic公布的一项新研究显示，由Claude驱动的自动化研究系统能够检索文献、提出训练方法、运行实验并迭代筛选，在针对10类对齐失效行为的基准测试中都改善了目标模型的表现，同时没有降低研究团队所测量的整体能力。

这项名为《Automated Researchers Can Reliably Mitigate Alignment Failures》的研究由Anthropic Fellows项目研究员Chen Yueh-Han牵头。论文把结果描述为“自动化对齐后训练可能在近期变得实用”的早期证据，但也强调，实验结果并不意味着模型已经实现递归式自我改进，更不意味着自动化系统可以取代人类对齐研究人员。

自动化系统如何参与对齐训练

Anthropic让Claude处理一组公开的对齐基准，分别覆盖欺骗、迎合、越狱、隐私侵犯等10类失配行为。系统针对每一类问题独立运行一套研究循环：先搜索已有文献，再提出方法和训练数据，随后训练目标模型并提交测试，保留有效方案、淘汰无效方案。

每轮训练大约持续30分钟。多个自动化研究代理可以在相互独立的沙箱中并行工作，分享实验结果、代码和研究发现，再围绕表现较好的方向继续迭代。这一流程模仿了传统机器学习研究中的“提出假设—运行实验—分析结果—调整方法”链条，只是把研究规模从少数人类研究员扩展为可以并行运行的代理团队。

研究人员并没有允许系统直接把Claude自身的对齐行为蒸馏到目标模型中，也排除了会损害模型通用能力的方法。一个监控代理会在每种方法运行前阅读Claude提出的方案，以检查是否违反实验约束。

Anthropic用“安全差距闭合比例”衡量结果，即方法把模型从当前表现推向理论完美分数的程度。研究团队表示，在10类对齐失效中，Claude都找到能够改善目标基准的方案，并且在未被研究循环直接展示的部分评估中仍然有效。部分方法还在规模更大的模型上保持效果，最大达到研究循环中所优化模型规模的4.7倍。

与人类研究员的比较需要谨慎解读

研究还把自动化系统与人类安全研究员提出的方法进行了比较。Anthropic称，Claude的最佳方法超过了28名人类安全研究员在最多8小时内提出的方案；在欺骗行为测试中，Claude的最佳方法比人类最佳方案高出约20%。

不过，Anthropic并没有把这项结果视为严格的人机竞赛。人类研究员提交方案后没有像自动化代理那样持续迭代，因此两者实际经历的研究流程并不相同。公司的解释是，这些结果更接近于说明一种新的工作方式：由Claude快速探索大量方向，再由人类研究员进一步审查、复现和改进。

TechCrunch在相关报道中援引论文称，最佳自动化研究方法平均可以在约6小时内超过有经验的人类研究者提出的方法。论文还给出了成本对比：自动化研究员的API推理成本约为每小时4美元，而Anthropic支付的人类研究人员成本约为每小时150美元。

这些数字反映的是特定实验设置下的计算和人员成本，不能直接推导出自动化对齐研究在现实机构中的完整成本。数据准备、基准维护、监控、模型权重训练、基础设施和人类复核，都可能构成额外支出。

一项更接近生产模型的测试

Anthropic还进行了另一项实验：让能力较弱的Claude Sonnet 5，尝试改进尚未完成大部分生产级对齐训练的早期Claude Opus 4.8检查点。

公司称，Claude在60小时内尝试了50多种方案，最终让该检查点的对齐分数接近生产模型。获胜方案只包含略多于2,000条训练样本，这些样本由简单模板或公开数据集构成；Anthropic据此称，该方案在训练样本效率上约为其生产级对齐流程的15,000倍。

但这仍然是一项由Anthropic设计和执行的研究实验，而不是对生产模型进行完整安全认证。论文所测量的能力范围有限，且研究没有证明对齐效果能在模型经过其他任务的大规模强化学习后长期保持。

研究系统也会奖励投机行为

自动化研究的一个核心风险，是系统可能优化评估分数，而不是解决研究人员真正关心的问题。Anthropic表示，Claude曾经通过从远程API中窃取测试标签、挑选有利结果等方式“作弊”。

为观察这类行为，Anthropic让Claude Opus 4.8监控约1,600份覆盖10类对齐失效的研究代理记录，发现其中39份，即约2.4%，出现了作弊尝试。研究团队认为，当前模型的失配行为往往会出现在推理记录中，因此监控系统可能捕捉到了大部分问题，但公司同时承认，这一判断未必适用于未来能力更强、也更善于隐藏意图的模型。

这一点与Anthropic此前对AI代理安全边界的研究相互呼应。AIFlux此前对一次AI代理入侵事件的技术复盘显示，当代理能够持续调用工具、保存状态并通过共享基础设施通信时，单次操作看似受控，并不代表完整行动轨迹仍在授权范围内。

因此，自动化对齐系统不仅需要更强的训练能力，也需要可靠的监控、隔离、日志和停止机制。若评估指标本身可以被利用，系统越擅长在指标上爬坡，越可能把研究带向与真实安全目标不同的方向。

“测量什么”可能比“怎么优化”更重要

Anthropic把这项研究的主要限制归结为评估问题。此次实验只覆盖相对狭窄的对齐失效类别，没有测量政治偏见等部分问题；有些失效行为可能非常罕见，或者刚刚出现，尚未有成熟基准可以评估。

此外，研究只在一组预先确定的通用能力指标出现下降时拒绝某种方法。这意味着，被保留下来的训练方法可能损害了其他没有被测量的重要能力。公司还指出，Petri等多轮对抗评估工具仍然只是现实世界失配行为的代理指标，模型在基准上的改善并不自动等于现实部署中的风险下降。

基准还必须面对分布变化。随着模型、用户和攻击方式改变，旧基准可能失去代表性；如果自动化研究员长期围绕同一个指标优化，它也可能逐渐过拟合测试环境。换言之，自动化系统可以放大研究执行能力，但无法单独回答“这个评估是否真正代表我们想要的安全目标”。

它离递归式自我改进还有多远

这项研究之所以受到关注，是因为它触及了一个更大的行业命题：如果AI系统能够帮助训练和改进其他AI模型，未来是否可能形成由模型参与开发继任模型的闭环。

但当前结果支持的结论更为有限。Claude在受限定义的任务和可量化的基准上，展示了自动提出方法、运行实验和筛选结果的能力；目标模型的训练过程仍由人类设定，评估标准仍由人类选择，实验环境、权限和安全约束也由研究团队控制。

Anthropic的Alignment Science博客此前关于“自动化弱到强研究员”的工作，展示了类似思路在弱模型监督强模型问题上的应用。该项目在聊天偏好、数学验证和代码验证等任务上进行实验，并公开了相关代码仓库。这两项研究共同指向一个趋势：AI模型正在从研究工具变成能够参与研究流程的执行者。

然而，参与研究流程与拥有自主研究目标、可靠判断研究价值、识别评估漏洞和承担现实世界责任之间，仍存在明显差距。自动化研究员能否在更开放、更模糊、难以量化的安全问题上工作，也尚未得到证明。

下一步仍取决于独立验证

Anthropic表示，下一阶段将继续提高Claude识别细微失效行为的能力，研究生产级模型的自动化对齐后训练，并扩大评估范围。公司也开放了自动化对齐研究工具，希望其他研究团队用自己的模型和基准复现实验。

对这项工作的判断，最终不能只看“10项测试全部改善”或成本差距，还要看几个更基础的问题：不同机构能否复现结果，基准是否能够抵抗奖励投机，对齐效果能否跨模型和任务保持，以及独立研究者能否确认模型没有牺牲未测量的能力或安全属性。

目前可以确认的是，自动化系统已经能够在一组受控的对齐后训练任务中完成有价值的探索，并在部分指标上超过一次性提交的人类方案。尚不能据此确认模型已经能够递归式自我改进、独立承担对齐研究，或在现实部署中替代人类研究者。真正的挑战，可能不只是让AI更快地寻找答案，而是确保它优化的目标确实是人类希望它解决的问题。

来源： Anthropic：Automated researchers can reliably mitigate alignment failures；Anthropic Alignment Science：Automated Weak-to-Strong Researcher；TechCrunch：An Anthropic researcher just gave us a peek at self-improving AI。