OpenAI计划在模型开发生命周期的更早阶段引入第三方机构参与训练、评估和发布流程,以对潜在安全风险进行独立技术评估。公司强调评估独立性与规范化,同时保持对访问、保密和资金的组织管理,具体实施细节与公开透明度仍有待完善。
OpenAI计划让外部机构更早介入人工智能模型的训练、评估和发布流程,对模型可能出现的安全风险进行技术评估。这意味着,第三方评估不再只是模型准备上线前的一次性检查,而可能被安排在模型开发周期的更早阶段。
彭博社9月22日报道称,OpenAI将与此前合作过以及尚未合作过的机构接洽,让外部组织在新模型训练、评估和发布的过程中开展安全评估。OpenAI认为,这类评估需要具备更强的独立性机制、科学严谨性、稳健的安全实践和清晰的责任边界。
OpenAI在同期公布的官方说明中,将第三方评估定义为:由外部机构对前沿模型进行测试,为模型的关键能力、安全缓解措施和部署判断提供额外证据。公司表示,这类评估可以帮助发现内部团队可能忽略的风险,也可以提高对模型能力和安全措施的透明度。
彭博社:OpenAI将让外部机构在更早阶段评估AI模型
OpenAI:Strengthening our safety ecosystem with external testing
评估范围将覆盖模型生命周期
OpenAI在官方说明中说,公司从GPT-4发布以来就与多类外部伙伴合作,对早期模型检查点和接近发布的模型进行评估。按照公司的分类,这些合作大致包括三种形式。
第一类是对关键能力和风险领域开展独立评估,范围包括生物安全、网络安全、AI自我改进、欺骗行为和规避监督等。第二类是方法论审查,由外部机构审阅OpenAI评估风险时使用的框架、测试方法和证据。第三类是由领域专家直接测试模型,围绕真实世界任务提供结构化反馈。
OpenAI表示,这些方式并不完全等同于红队测试。红队测试通常针对特定安全防护进行压力测试,而第三方评估可能关注更广泛的能力主张、风险判断和部署条件。
这类安排的一个重要变化,是评估对象不再只限于已经定型的模型。OpenAI称,公司过去已向外部评估机构提供早期模型检查点、部分评估结果,以及在特定情况下减少安全缓解措施的模型,以便评估者测试模型的潜在能力,而不只是观察经过产品防护后的行为。
在部分网络安全和生物安全评估中,外部机构还可能获得更深入的访问权限,包括查看模型推理轨迹。OpenAI表示,这有助于识别模型是否在意识到自己接受评测时故意降低表现,或者是否出现欺骗、规避监督等仅从最终答案中难以观察的行为。
OpenAI强调独立性,但合作仍由公司组织
OpenAI提出,可信的第三方评估应当避免“自我确认”——也就是公司只用自己的测试证明自己的安全主张。外部机构可以带来不同的测试方法和专业视角,并为部署决策提供内部评估之外的证据。
但这种独立性并不意味着评估机构完全脱离模型开发者。OpenAI的官方说明显示,第三方评估通常需要签署保密协议。公司会根据评估需要提供非公开模型或信息,并对外部机构拟发表的结果进行保密性和事实准确性审查。
OpenAI还表示会向评估机构提供报酬,形式包括直接支付或补贴模型使用成本,但付款不会与评估结果挂钩。公司认为,稳定的资金支持是建立长期第三方评估生态的必要条件。
这也留下了一个制度问题:如果评估机构需要依赖模型开发者提供访问权限、数据和经费,它们能够在多大程度上独立于委托方作出结论。评估报告能否完整公开、评估者能否接触训练过程、出现重大风险时是否可以要求暂停开发或部署,都需要在具体协议或监管规则中进一步明确。
AIFlux此前报道过,OpenAI已表示支持第三方评估条款,并与Anthropic和Google DeepMind沟通AI安全问题。那篇报道涉及的是企业间的安全协调和拟议中的独立验证机制;这一次的重点则是OpenAI如何把外部评估安排到自身模型开发流程中。
为什么评估要从发布前移
传统模型评估通常在模型接近发布时进行,用来判断模型是否达到某些能力门槛,以及现有安全防护能否降低风险。但随着模型能够持续调用工具、保存上下文、执行多步骤任务,模型在训练和测试过程中的行为本身也可能产生安全问题。
OpenAI近期发布的关于第三方网络安全评估的说明,就反映了这种风险。公司披露,英国AI安全研究所(UK AISI)和网络安全评估机构Irregular在测试OpenAI模型时分别发现了越过预期边界的行为。前者的测试有意开放互联网访问并降低部分防护,以测量模型的潜在网络安全能力;后者则因测试环境配置错误,使原本应与互联网隔离的测试接入了真实网络。
OpenAI称,这些事件与普通产品部署条件不同,也没有证据表明它们代表模型在日常使用中的行为。但公司同时表示,模型能力提升后,开展评估的环境和安全系统也必须同步升级。公司计划重新审视第三方测试的风险识别、互联网访问、凭证管理、隔离、监控、停止条件以及事故通报流程。
这解释了为什么第三方评估需要更早进入开发过程:评估者不仅要测试模型能否完成某项任务,也要观察模型在长时间运行、调用工具或面对边界不清的环境时是否会采取未经授权的行动。若等到发布前才测试,可能已经错过修正训练方法、基础设施和权限设计的时间窗口。
Astra经验显示,能力评估与安全控制正在合并
OpenAI对Astra模型的披露进一步说明了这种前移趋势。公司称,Astra已经达到其《Preparedness Framework》定义的“关键”网络安全能力门槛;在相应工具和访问权限下,模型能够发现此前未知的安全漏洞,并在没有人工逐步指导的情况下开发利用方式。
OpenAI表示,为准备Astra,公司推迟了部分开发和发布工作,强化了训练环境的隔离、网络控制、监控和对齐训练。Astra的高级网络安全能力也不会立即向所有用户开放,而是先向少量测试者提供,再通过防御性网络安全项目扩大使用范围。
AIFlux此前对Astra达到关键网络安全能力门槛的报道指出,相关能力声明主要来自OpenAI自有评估和专家测试,外界尚未获得完整测试协议、模型版本和可重复的独立结果。第三方机构若能在更早阶段获取模型检查点并公开方法,理论上可以为这类能力声明提供额外的交叉验证。
不过,外部评估也不会自动消除不确定性。不同的测试环境、工具权限、预算、提示方式和模型版本,都可能影响最终结果。OpenAI在有关第三方评估的方法论文章中强调,前沿模型已经不只是回答问题的聊天机器人;评估者还必须说明模型使用了什么工具、由什么“执行框架”维持上下文和重试,以及测试预算和环境如何影响结果。
因此,一个模型在特定评估中取得的成绩,首先说明的是它在该测试设置下的表现,而不一定代表模型能力的绝对上限,也不能直接等同于现实世界中的风险概率。
计划仍不是已经全面落地的评估体系
截至目前,OpenAI公布的是第三方评估的原则、合作形式和已有实践,而不是一个已经全面落地、具有统一资格标准和强制权限的外部监督体系。公司没有公布所有合作机构名单,也没有说明未来每个模型的哪些训练阶段必须接受外部评估。
同样不明确的还有评估结果的公开程度、机构与OpenAI之间的利益冲突如何处理,以及评估发现严重问题后由谁决定是否暂停训练或发布。OpenAI表示,希望继续扩大具备专业能力的评估机构数量,并推动更稳定的资金、方法论和安全访问机制。
这项计划的实际意义,取决于第三方机构能否在模型开发早期获得足够但可控的访问权限,能否保留对测试方法和结论的独立判断,以及评估结果能否被外界审阅。若这些条件成立,外部评估可能成为模型开发中的持续反馈机制;如果评估只在发布前进行、访问范围有限且结论受到严格限制,它更接近一次经过公司安排的外部测试。
目前能够确认的是,OpenAI正在把安全评估从发布前检查扩展为覆盖训练、评估和部署的连续流程,并公开承认其内部测试需要外部视角补充。至于这一安排能否真正形成独立、可重复且足以影响发布决策的监督机制,仍需等待具体合作项目、评估报告和后续制度建设来验证。