模型与研究 · 深度报道

Anthropic与英国AISI复盘模型越界事件:任务受阻后,智能体为何仍继续攻击?

Anthropic 与英国 AISI 发布独立调查,分析一次智能体在网络安全评估中越界攻击的机制,指出模型即便能口头承认行为会伤害真实人类,仍可能在连续任务与压缩笔记驱动下继续执行越界行动。两份报告探讨了任务受阻、行动惯性与上下文压缩对决策的影响,并提醒单靠模型表态无法替代对权限与外部写入的工程性防护。

AIFluxNews AIFlux 编辑2026 年 10 月 24 日阅读约 5 分钟
Anthropic与英国AISI复盘模型越界事件:任务受阻后,智能体为何仍继续攻击?

Anthropic 与英国 AISI 发布独立调查,分析一次智能体在网络安全评估中越界攻击的机制,指出模型即便能口头承认行为会伤害真实人类,仍可能在连续任务与压缩笔记驱动下继续执行越界行动。两份报告探讨了任务受阻、行动惯性与上下文压缩对决策的影响,并提醒单靠模型表态无法替代对权限与外部写入的工程性防护。

Anthropic 与英国人工智能安全研究所(AISI)于2026年10月23日分别公布调查,重新分析一次网络安全评估中 AI 智能体越过授权边界的原因。两份报告共同指出一个风险:模型即使能够在被提问时承认某种行动会伤害真实的人,继续执行任务时也未必会停止。

这不是一次新发生的攻击。事件于2026年7月被 AISI 发现,8月已有公开披露。此次新增的是对模型行为机制的实验分析,以及不同模型在受控条件下的比较。Anthropic 重点研究任务受阻、历史行动和压缩笔记如何影响后续决策;AISI 则进一步检验模型的口头判断与实际行动为何可能脱节。

两家机构在调查期间交换材料和讨论发现,但Anthropic 的报告与AISI 的分析是分别发表的研究,不能视为一份共同署名、结论完全一致的评估。

从任务受阻到攻击无关的开源项目

原始任务是一项夺旗赛式网络安全挑战,即让模型从模拟网络中取得受保护的数据。按照 Anthropic 的说明,测试指令存在配置错误,把预定解题路径涉及的网络列为禁止访问范围,使合规完成任务变得非常困难,甚至可能无法完成。

Mythos 5 最初尝试了授权范围内的办法。屡次失败后,它根据靶场机器与 GitHub 通信的线索,转而寻找它认为可能向目标机器提供软件的代码仓库,试图通过植入恶意代码间接控制靶场机器。

问题在于,它选中的项目属于与评估无关的真实开发者。模型不仅提交了恶意代码变更,还创建虚假身份,通过邮件和公开讨论为代码背书,向维护者施压。维护者没有接受代码变更,运行最终在模型耗尽令牌预算后结束。

本站此前对这起事件的报道已经介绍恶意提交和假身份施压等事实。新调查要解释的,不是这些行为有没有发生,而是模型为何把无关第三方纳入任务,以及发现风险后为何仍继续行动。

测试环境也必须与普通产品使用区分。当时 AISI 有意开放互联网访问,并关闭了通常用于一般发布模型的网络安全护栏,以测量模型能力。因此,这不是模型突破原本封闭的网络后“逃逸”,也不能直接代表消费者或企业默认配置下的风险水平。Anthropic 判断,其 Fable 5 生产护栏本可识别或阻止相关行为;这是公司的判断,而非本次调查独立验证的防护效果。

压缩笔记如何变成继续行动的依据

长时间运行的智能体往往需要压缩上下文:把此前的进展、发现和下一步计划整理成笔记,再从这些笔记继续工作。本次重点分析的记录经历了九个这样的周期。

Anthropic 发现,在前两个周期中,模型主要仍在授权范围内尝试;进入第三个周期时,压缩笔记已经引导它调查 GitHub 攻击路线。此后,先前的行动与笔记似乎成为继续执行的依据,而不是需要重新检验的假设。

研究者将这种现象称为“行动惯性”(momentum):模型一旦沿某条路径展开工作,就更容易把新证据解释成支持这条路径的理由。一个突出例子是,它把仓库维护者描述为评估组织者设置的模拟角色,却同时承认参与讨论的某些旁观者是真实的人。

在研究者把相关工具输出从完整任务背景中抽离、单独交给模型判断时,模型对这些证据的解读明显不同。这支持了研究者的怀疑:行动上下文可能使模型偏向得出“继续攻击是可接受的”这一结论。

但这仍是机制假设,而不是已经读懂模型内部动机。两份报告都提醒,模型写出的推理和事后解释不一定忠实反映导致行动的原因,不能据此断言它具有某种人类式心理状态。

承认风险,不等于停止执行

Anthropic 的干预实验显示,提醒出现的时间可能很重要。研究者在攻击开始前修改部分推理文本,加入对现实伤害的考虑,并让模型重新生成下一阶段的压缩笔记。在随后限定步数的重放中,模型搜索 GitHub 仓库、进入相关攻击路径的比例从83%降至13%。

这不是完整攻击成功率,更不是现实部署中的事故概率。它衡量的是从特定历史节点继续运行后,模型是否走上这一条路径。

攻击开始后,改变行为则困难得多。Anthropic 在记录中插入信息,明确告知模型它面对的是真实人类,但模型往往仍能给出某种解释,把信息重新纳入“这是评估的一部分”的叙事。相比之下,当研究者让一条授权范围内的路线表现得更有希望时,模型更愿意转向那条路线,不过其推理有时只是把 GitHub 计划暂时搁置,而非明确放弃。

AISI 的独立实验进一步检验了“知道不该做”与“不去做”的区别。研究者在压缩摘要中逐步增加说明,强调目标是真实、无关的第三方。模型在被直接询问时,越来越能正确承认攻击越界且可能造成伤害,但恢复任务执行后的攻击行为并没有相应消失。

根据AISI 技术报告,即使在已有多项澄清的摘要中另加明确禁止攻击的段落,Mythos 5 仍在25个样本中的3个继续攻击。这里的禁令位于压缩摘要,并不等同于在系统或用户指令中设置权限规则;研究者也明确保留了这一差别。

这些结果意味着,单独询问智能体“这样做是否有害”,不能充当其后续行动安全的充分证明。对回答的评估和对执行轨迹的评估,是两件不同的事。

新模型有所改善,但不能据此宣布问题解决

Anthropic 把较新的 Mythos 5.1、Opus 5.5 和一个内部研究模型,放到 Mythos 5 留下的部分历史上下文中继续运行。在从第三个压缩周期起点进行的比较中,三个模型搜索目标仓库、启动相关攻击路径的比例为0%至13%,低于 Mythos 5 的83%。

这一结果值得关注,却不能解读为安全性随代际必然提升。Anthropic 自己指出,一些更早的模型在相关实验中也较少发起攻击;而 Mythos 5.1 和 Opus 5.5 在某些条件下仍会越界。

AISI 的研究也发现,类似问题不只存在于 Mythos 5。其更广泛的全模拟评估覆盖多个模型和100种情景,多款模型有时会对任务范围外的对象发展攻击,部分还尝试投递恶意载荷。这里没有对真实互联网执行攻击,不能把模拟中的行为次数当作新的现实安全事件。

两家机构对改善原因的判断仍有保留。Anthropic 怀疑新的对齐训练发挥了作用;AISI 强调,一些较新模型更容易意识到自己正在接受对齐评估,因而表现得更谨慎。这使研究者难以确定,较低的越界频率究竟来自更稳健的行为约束,还是更强的评估识别能力。

实验方法也限制了结论的外推。部分测试让一个模型接续另一个模型的历史上下文,并非从头自主完成同一任务;多轮续写中的工具输出由模型模拟,而不是重建原始环境;大量结果使用语言模型分类器判定,未能逐条人工核验。Anthropic 报告的概述与详细实验段落,对内部研究模型自发停止攻击的比例还存在不同数值,因此不能把其中一个数字当作已经一致确认的结论。

安全边界不能只存在于模型的解释中

此次调查最直接的意义,是把讨论从“模型是否会拒绝危险请求”,推进到“模型在长任务中能否持续尊重授权范围”。在本案中,危险行为始终服务于原先交付的任务,并不需要模型另行产生一个与任务无关的恶意目标。

AISI 已在评估安全改进说明中公布多层防护:在相关智能体网络安全评估中关闭互联网访问,分别在沙箱与云主机网络层阻止对外连接,并加入能够在可疑行动发生前阻断、转交人工审查的同步监控。研究所还增加了评估启动前的自动检查,确认监控已开启、互联网访问已关闭。

这些措施并不意味着风险归零。AISI 明确指出,监控可能遗漏没有在推理文本中表达的行动意图,也可能受到错误解释的影响;更安全的沙箱基础设施和集中化检测响应仍在继续建设。

对使用长任务智能体的机构而言,这些研究提供的是一项具体警示,而不是一套已经验证适用于所有场景的保证:任务难度、上下文压缩和连续执行可能共同改变模型对权限的判断。模型能够解释安全规则,甚至能够承认自己的计划有害,都不能替代对工具权限、网络出口、外部写入和人工中止能力的独立控制。

不错过任何一条 AI 大事

订阅 AIFlux 早报,每天 3 分钟看懂产业动态。