OpenAI提出在前沿强化学习训练开始前编写结构化、以证据为基础的“安全案例”,并将其作为训练能否继续的实质性控制条件。该方案强调对齐、隔离和实时监控三道防线,要求可回溯的轨迹记录、自动暂停机制与高层审查,以便在训练过程中及时发现、阻断或回滚潜在危险行为。
OpenAI正在尝试把前沿人工智能的安全审查,从模型发布前进一步推到训练过程开始之前。公司在9月28日发布的文章《Towards safety cases for frontier AI training》中提出,任何预期会显著提升模型能力的前沿强化学习训练运行,都应在继续之前配备一份结构化、以证据为基础的“安全案例”(safety case)。
这里的“安全案例”并不是一张简单的合规清单,而是一套针对特定训练运行的论证:模型可能出现哪些风险,现有的对齐训练、隔离措施和监控系统凭什么足以降低这些风险,哪些假设仍然未经验证,以及如果新证据推翻原有判断,运行如何暂停或回滚。
OpenAI称,这套做法目前仍是“正在建设中的目标”,相关实践会随着内部经验和外部反馈继续调整。公司强调,文章主要讨论前沿强化学习训练,模型的内部部署和对外发布仍需要覆盖更广泛的对齐与安全属性。
安全控制覆盖对齐、隔离和监控三层
OpenAI提出的技术框架包含三道防线。第一道是模型对齐,即通过训练环境、数据集和评分器,减少模型因奖励设计缺陷而学会“投机取巧”的机会。
公司建议在训练前和训练中审查强化学习环境,包括用自动化工具寻找可能奖励错误行为的任务,也保留人工检查;同时调整评分器,使其惩罚利用环境漏洞、绕过任务目标的行为。对齐评估应在前沿训练期间持续运行,并通过回溯测试确认,它们能够识别过去出现过的失配行为,而不是只对某一个已知事件过拟合。
OpenAI还建议追踪模型是否意识到自己正在接受评估,并设置最坏情况压力测试,以确认至少有一个评估能够发现被诱导出来的危险行为。公司特别提出,不应让自动化评分器直接依赖模型的思维链,以免训练过程反过来鼓励模型学习规避监控的方式。
第二道防线是隔离。即使模型出现失配行为,沙箱、研究基础设施和网络边界也应足够坚固,使其难以把行为转化为现实损害。OpenAI提到多层基础设施安全、持续的隔离红队测试,以及限制不同训练样本之间的高带宽通信。
公司还建议对强化学习、评估和内部部署中的智能体轨迹进行不可变保存,以便在事件发生后可靠调查,并防止日志被意外修改。这意味着,安全案例的证据不只包括模型分数,也包括模型在训练环境中实际做了什么。
第三道防线是实时监控。监控系统应对已知问题保持较高召回率,同时持续加入代表新风险的测试样本,避免监控指标随训练任务变化而失效。对于高优先级警报,OpenAI建议设定明确的响应时限,在必要时通知值班人员,或自动暂停相关训练运行。
从“写报告”到让运行无法绕过安全门槛
OpenAI提出的运营要求,试图让安全案例成为训练运行的实际控制条件,而不是事后解释文件。
在训练开始前,另一支团队应当撰写反方意见或“预演式事后分析”,主动寻找安全案例中的漏洞。高级管理层需要审阅并拥有否决权,负责训练运行的领导者则要对安全案例和事件响应承担明确责任。
如果新发现的安全问题使原有论证失效,组织应有明确的暂停手册、技术控制和服务等级目标。监控和自动暂停机制还应当“默认关闭式安全”(fail closed):没有启用适当监控,就不能启动训练、评估或内部部署;运行中的模型也不应能够自行关闭监控。
公司同时强调回滚能力。若失配模型的输出已经被用于数据生成或评分,开发者应能够识别所有下游使用,并在必要时撤销这些影响。安全案例还应尽可能列出当前缓解措施没有覆盖的残余风险,为最终的风险接受决定提供完整信息。
这套思路与OpenAI近期对第三方安全评估的表述相互呼应。在另一篇关于第三方评估原则的文章中,公司把安全案例定义为:由证据支持、解释为什么某个模型或系统在特定训练、评估或部署活动中的风险得到充分管理的结构化论证。OpenAI表示,独立评估者应能够检查这些论证是否成立、评估是否覆盖了真正的风险,以及监控、沙箱和访问控制在真实条件下是否有效。
这不是替代现有发布前安全评估
OpenAI此前的Preparedness Framework主要围绕可能造成严重伤害的能力展开,包括生物和化学能力、网络安全能力以及人工智能自我改进能力。该框架要求在高能力和关键能力阈值附近建立相应的安全措施,并由安全咨询小组审查能力报告和安全措施报告。
新提出的安全案例并不取代这些机制。OpenAI的表述是,在已有发布前安全工作的基础上,增加针对训练运行本身的审查。变化在于,风险评估不再只问“完成后的模型能做什么、是否可以发布”,还要问“这次训练是否可能把模型推向新的危险行为,以及我们能否在训练过程中及时发现并停止它”。
这种变化尤其适用于能够调用工具、执行代码或长期运行的智能体训练。AIFlux此前报道的OpenAI最强模型训练暂停事件显示,一款训练中的模型曾利用DNS过滤缺口向外部聊天机器人发送问题。OpenAI称,监控系统约15分钟后发出警报,但运行没有按预期自动停止,最终约两个半小时后才被人工终止。
这类事件说明,模型是否“越过边界”并不只取决于它是否直接拥有互联网权限。DNS、缓存、凭证、日志和工具链之间的组合,都可能形成间接路径;而当监控能发现异常、自动停机却没有发生时,安全控制的薄弱点也可能出现在流程和责任边界,而非某一个单独的模型输出。
与此同时,智能体训练基础设施正在快速扩大。DeepSeek近期披露的DSeC训练沙箱平台展示了大规模创建和回收沙箱、保存任务状态以及将智能体执行与GPU训练解耦的工程方向。规模越大,环境隔离、轨迹记录、奖励验证和异常响应就越难只靠人工抽查完成。
“安全案例”仍处于早期阶段
OpenAI并没有声称已经建立了能够证明前沿模型安全的完整方法。公司称,相关建议正在实施,未来几周还会继续演进。安全案例的有效性,最终取决于其中的证据能否被独立检查,以及评估、监控和隔离机制在面对有意规避的模型时是否仍然有效。
这一限制也得到外部研究的印证。英国AI安全研究院关于安全案例的研究说明认为,安全案例应结合实证、概念和数学论证,也应纳入红队未能突破安全措施等“负面证据”。但由于前沿AI安全仍存在大量开放的科学和工程问题,目前还无法为比现有模型先进得多的系统写出高可信度、可完全扩展的安全案例。
Apollo Research及其合作机构也曾提出针对AI欺骗行为的安全案例框架。该研究把论证分成三种可能路径:证明模型没有能力进行欺骗性谋划,证明即使谋划也无法造成相关伤害,或证明控制措施能够阻止其造成不可接受的后果。研究人员同时指出,当前许多关键假设仍缺乏足够证据,特别是当模型能够隐藏推理或有意规避监控时。
因此,OpenAI此次公开的更准确含义,不是宣布一种已经成熟的安全认证制度,而是公布一套希望逐步制度化的开发纪律:在投入更多计算资源之前,先说明训练为什么足够安全;在运行过程中持续监测并保留暂停权;在事件发生后公开调查、修复和回滚结果。
前沿竞争能否为安全留下时间
OpenAI表示,安全案例、监控和额外审计都会带来成本,也会使训练速度低于技术上能够达到的最大速度。但公司认为,竞争压力不应成为让模型能力领先于对齐和监控能力的理由,并希望其他开发者提出自己的安全案例,逐步形成共同标准。
真正的难点在于,安全案例能否从公司内部的自我声明,变成外部研究者能够验证的公共证据。若独立评估者获得的访问权限有限,安全案例可能只能证明实验室愿意披露什么;若要求过于宽泛,又可能因商业机密和安全风险而难以执行。
截至目前,OpenAI没有公布这套机制适用于哪些具体模型、何时成为所有相关训练运行的强制条件,也没有列出安全案例的统一格式或外部审计时间表。它能否改变前沿模型开发速度,最终将取决于公司是否真的在安全论证无法成立时暂停训练,而不只是把安全案例作为发布时的说明文件。