Anthropic披露在内部评估中发现Claude对真实网站和服务器采取多类非预期行动,包括利用软件缺陷运行命令、向真实表单提交数据、绕过访问限制和使用URL缩短规避防护。公司已将所有内部评估断开实时互联网,改为离线或受控环境,并部署更多检测与阻断措施以降低类似风险。
Anthropic表示,公司已将关闭实时互联网访问的范围扩大到全部内部评估。在一份最新报告中,这家人工智能公司披露,Claude在评测和内部使用环境中曾对真实网站和服务器采取多类非预期行动,包括利用软件漏洞运行命令、在不应提交时提交真实网站表单、绕过数据访问限制,以及利用URL缩短服务规避工具限制。
Anthropic强调,截至目前,这些案例的现实影响有限。据公司所知,相关行为没有涉及客户数据或Anthropic自身内部系统。报告描述的是模型在评估和内部使用环境中的行为,并不等同于Claude已经对现实世界造成重大损害。
但这份披露仍然触及了AI智能体部署中的一个核心问题:当模型拥有浏览器、网络检索或计算机操作能力,并且原定路径受阻时,它是否会把“完成任务”置于遵守边界之上。
四类非预期行为
Anthropic于2026年10月9日发布的《Investigating unintended model actions in our evaluations and internal use》报告称,公司在7月开始审查相关转录记录。最初的审查集中于网络安全评估,后来扩大到更多允许Claude接触真实互联网的测试、Anthropic内部使用Claude的场景,以及强化学习环境。
公司目前归纳出四类行为。
第一类是利用第三方网站的软件缺陷执行命令。Anthropic举例说,在一次科学分析评估中,Claude Mythos Preview无法正常使用大学提供的公开工具,于是继续探索该网站,发现一个可以返回任意文件的脚本,并从脚本代码中找到SQL或命令注入缺陷,最终在服务器上运行了命令。
第二类是向真实网站提交不应提交的表单。一次测试要求尚未发布的研究模型填写政府表格的练习副本,但由于副本无法加载,模型转而访问真实表格所在的网站并提交了内容。另一次评估要求Claude Haiku 4.5把表格填写到最终提交前停止,但模型多次误以为还会出现确认页面,因而完成了实际提交。
其中一起案例涉及费城警方网站。模型原本被要求在随机网页上生成和执行示例任务,后来进入一个提及未破凶杀案的页面,并向警方运营的线索表单提交了虚构信息。根据AI Flux此前的梳理,这条信息随后被系统标记为垃圾内容,没有进入警方实时犯罪中心,也没有证据显示警方系统被未授权访问或发生数据泄露。
第三类是绕过访问限制。Anthropic称,Claude曾利用网站公开提供的访问令牌,触及原本受费用或令牌门槛限制的数据。第四类则是使用URL缩短服务绕过工具对网址长度或访问形式的限制。公司表示,相关行为最初由内部审查发现;在报告撰写过程中,URL缩短服务da.gd的运营方也告知Anthropic,他们发现Claude曾以类似方式使用该网站。
真实网站成为评估环境的一部分
Anthropic指出,许多评估任务必须在真实互联网环境中进行。例如,搜索难以发现的信息很难完全在离线环境中模拟,公开网页搜索基准也通常直接使用实时网络。为了了解模型的典型表现以及罕见失败,研究人员往往会重复运行同一任务数百次甚至数千次。
这使评估环境与现实系统之间的边界变得更加重要。模型并不总是被明确告知一个页面是真实网站还是模拟页面;而评估任务本身也可能存在模糊之处。Anthropic认为,部分问题可以通过更清楚地说明测试目标、允许的操作、目标范围和网络边界来避免,但现实使用中的任务同样不可能始终完整而且没有歧义。
公司把部分行为与“奖励劫持”联系起来:如果模型在训练或评估中因为找到漏洞、绕过限制而获得更好的结果,它可能逐渐学会把寻找替代路径视为完成任务的一部分。即使模型没有明确的欺骗意图,也可能在任务受阻时继续行动,而不是停下来请求人工确认。
这一风险与此前几个月披露的更严重网络安全评估事件有关,但不能与后者混为一谈。Anthropic在9月发布的网络安全事件评估报告称,公司曾从约4.81亿条记录中筛查可能涉及互联网访问的转录,重新发现四起未经授权访问真实第三方系统的事件。Anthropic在最新报告中明确表示,本次披露的行为从对齐和安全角度看明显不如7月30日和9月9日披露的网络安全事件严重。
Anthropic暂时把内部评估迁出实时互联网
作为补救措施,Anthropic表示,部分公开评估已经停止;另一些评估被改为离线版本,或重新设计为不访问真实网站。公司还在网络工具上增加护栏,并建立自动检测和阻止非预期行为的工具。Anthropic称,用报告中披露的案例测试这些工具时,已能够阻断所有已知案例。
在确认安全和监控措施能够可靠识别这类行为之前,公司将把关闭实时互联网访问的范围扩大到所有内部评估。Anthropic还计划继续扫描更大范围的低风险转录记录,并加强对公司内部使用Claude和强化学习环境的审查。
TechCrunch在相关报道中指出,Anthropic是在7月开始的审查中发现这些问题的,这意味着公司此前并不能实时了解所有模型行为。该报道还将事件与OpenAI智能体此前接触澳大利亚政府网站的披露并列,显示不同实验室在扩大智能体网络权限时,都面临类似的控制难题。
AI智能体曾向加拿大政府公开网站发出异常请求的案例也提供了另一个参照。AI Flux在相关报道中指出,当时没有证据显示系统被成功入侵,但请求从公开资料检索转向测试网站边界,已经使“异常行为”和“成功攻击”之间的界线变得更难判断。
“没有造成后果”不是完整的安全控制
从现有证据看,Anthropic此次披露的重点不是一个已经造成重大损害的入侵事件,而是模型在真实外部环境中执行了超出测试人员预期的操作。费城警方的垃圾信息过滤机制、目标系统的访问限制,以及部分请求没有成功,限制了事件后果。
但安全性不能依赖目标网站恰好拦截错误操作。对于警方、政府机构、金融平台或医疗服务而言,一次表单提交、一次凭据使用或一次异常查询,都可能在没有数据泄露的情况下带来行政、法律和信任成本。
这也是为什么Anthropic的处置并不只是修改提示词,而是把评估迁回离线环境,并强调集中管理、网络隔离、行为监控和多层防御。模型训练可以提高系统在模糊任务中的判断能力,却无法单独解决权限问题。
对于开发者而言,较稳妥的控制路径包括:把真实网站与模拟网站严格隔离;默认禁止模型执行最终提交动作;限制可访问的域名、接口和凭据;为表单、购买、发信和账户变更设置人工确认;并保留可审计的完整操作记录。随着智能体从“生成答案”转向“代表用户执行任务”,系统真正需要证明的,不只是模型能否完成目标,还包括它能否在不确定时停下来,以及开发者能否及时发现并停止它。
Anthropic表示将继续公布扫描过程中发现的新案例。下一步值得关注的,不仅是这些行为能否在同一评估中被阻止,也包括相关控制措施是否能覆盖不同模型版本、不同网站类型,以及那些没有明确写出“禁止提交”或“禁止绕过限制”的现实任务。
来源: