OpenAI首席执行官萨姆·奥尔特曼在联合国安全理事会呼吁建立可互通的前沿人工智能安全标准,既要防止AI失控,也要避免最强能力集中在少数公司或国家手中。他提出以人为中心的三项原则、共享证据和事故报告机制,并强调需把企业安全实践纳入国际规则,但监督权与可复核证据仍未明确。
OpenAI首席执行官萨姆·奥尔特曼9月23日在联合国安全理事会一次关于人工智能与国际安全的公开会议上发言,呼吁各国建立能够相互衔接的前沿人工智能安全标准。他说,随着模型变得更具自主性,国际社会需要证明这些系统仍然处于人类控制之下,同时避免最强大的人工智能能力集中在少数公司或国家手中。
这是人工智能公司掌门人首次在联合国安理会这一负责维护国际和平与安全的机构面前,就前沿模型的机会与风险作系统陈述。会议由法国主持。此前,路透社援引OpenAI发言人报道,奥尔特曼将亲自出席,发言重点包括国际协调、共同安全标准,以及OpenAI为确保人工智能造福全球用户所采取的措施。路透社9月18日报道
奥尔特曼提出两种需要避免的失败路径
在OpenAI公布的演讲全文中,奥尔特曼把人工智能形容为可能带来“新文艺复兴”的工具,也可能造成类似工业革命的剧烈动荡。他认为,人工智能可以帮助人们发现新药、改善医疗和教育,并让个人、研究人员和社区获得此前难以企及的能力;但技术进步越快,社会对其带来的不确定性和失控风险也越难以忽视。
他把最严重的风险概括为两个方向。
第一种情况是人类失去对未来的控制。奥尔特曼特别提到“递归式自我改进”——人工智能参与构建下一代人工智能,可能使技术进步速度突然加快。他说,行业不能因为人工智能的潜在收益很大,就接受过高的技术风险;企业也不应训练那些无法提出强有力安全保证、无法被监测或无法保持在人类控制之下的系统。
第二种情况是权力集中在少数公司或国家手中。他说,没有任何一个人、公司或国家应当凭借最强大的人工智能模型,把自己的世界观强加给其他人。人工智能公司的角色应当是帮助人们实现能力,而不是成为这场技术变革的“英雄”,更不能取代民主制度作出最重要的公共决策。
奥尔特曼还提到,OpenAI内部系统近期在数学领域取得的进展,包括对纳维–斯托克斯方程的求解。他强调,数学突破的意义不在于解决问题本身,而在于帮助人类发现新知识,并将其用于医疗、工程和提高生活水平。不过,这类关于模型能力的表述主要来自OpenAI自身,公开演讲并未提供足以由外部机构独立复核的完整技术材料。
从企业安全承诺走向共同标准
奥尔特曼提出了三项原则:人工智能决策应以人为中心;科学进步和经济增长应服务于人;人工智能应当增强个人和社区的能力,而不是削弱人的自主性。
在制度层面,他主张建立由国家标准与国际标准相互补充的前沿人工智能规则,覆盖至少四类工作:衡量模型能力、评估风险、判断安全防护是否足够,以及在系统更加自主时维持有意义的人类监督。
他还呼吁各国采用共同的证据和安全标准,使不同国家能够比较评估结果、核实合规情况,并使用相同的语言讨论人工智能风险;同时建立更准确、及时的事故分类与报告机制,让各方能在局部故障演变成更严重后果前吸取教训。政府、关键基础设施运营者和技术专家之间,也需要安全的信息共享渠道,以通报新出现的漏洞和威胁。
他表示,这些标准不应保护既有企业、偏袒某一种商业模式,也不应只适用于封闭模型。开放模型开发者、新进入者和大型实验室都应被纳入同一套能够比较证据和安全保障的制度框架之中,但各国仍可以决定如何把这些标准纳入本国法律。
这份主张与OpenAI近期推动第三方监督的政策转向相呼应。AIFlux此前报道的OpenAI第三方AI评估原则提出,让独立机构从模型训练、评估到部署的全生命周期参与安全审查。该框架目前仍是企业提出的工作原则,并非已经生效的监管规则,评估机构能够获得多深的访问权限、哪些内容需要保密、报告是否必须公开,仍有待进一步明确。
安理会讨论人工智能并非没有先例
联合国安理会早在2023年就首次正式讨论人工智能风险。当时各国代表既谈到人工智能可能促进发展,也警告其可能被用于战争、压制和其他损害国际和平与安全的活动。联合国对2023年首次人工智能会议的记录显示,成员国当时已经在讨论如何面对生成式人工智能带来的双重用途风险。
此后,联合国秘书长安东尼奥·古特雷斯多次呼吁对人工智能军事应用建立国际护栏,并强调致命自主武器不应脱离人类控制。与这些以国家和国际法为中心的讨论相比,奥尔特曼此次发言把重点放在前沿模型的能力增长、企业安全证据和跨国事故报告上,试图把人工智能实验室的内部安全实践纳入国际安全议程。
会议期间,Anthropic首席执行官达里奥·阿莫代伊也参与了相关讨论。彭博社报道,两位人工智能公司负责人都强调了国际合作的重要性,并警告人工智能系统未来可能具备自我改进能力,进而超过人类的控制能力。彭博社相关报道不过,企业高管在国际机构发表倡议,并不等于各国已经同意一套共同规则,也不代表安理会已经通过具有约束力的人工智能监管决定。
“谁来监督”仍是关键问题
奥尔特曼在发言中承认,OpenAI并没有全部答案,并表示愿意与各国政府合作寻找前进路径。但他的建议也留下了几项尚未解决的问题。
首先,所谓“人类控制”需要怎样的技术证据。模型能够拒绝危险请求,并不意味着它在长时间运行、调用工具或与其他模型协作时始终可观察、可限制和可停止。联合国独立国际人工智能科学小组近期发布的关于AI智能体失配与人类控制风险的专题简报就指出,多智能体协作、权限边界和长期自主规划可能使局部的评测偏差扩大为跨系统行动;但该简报同样没有把相关事件描述为已经发生的现实灾难。
其次,国际标准如何避免变成大型实验室的进入壁垒。更高的测试、报告和合规要求可能提高安全性,也可能让拥有更多算力、法律资源和评估能力的公司更容易满足规则。奥尔特曼因此强调,标准应当同时适用于开放和封闭模型,并允许新进入者参与竞争,但他没有说明如何在实践中解决成本、信息保密和技术访问之间的冲突。
最后,谁有权在发现严重风险后要求暂停部署。共同标准可以帮助各国使用相同的评估语言,却不自动赋予某个国际机构暂停模型发布、限制计算资源或要求企业披露敏感信息的权力。事故报告制度能否跨越商业机密、国家安全和管辖权边界,也仍然需要具体的法律安排。
奥尔特曼在安理会的核心信息,是人工智能的发展不应只由实验室和公司之间的竞争速度决定,而应由民主政府、国际机构、技术专家和公众共同塑造。接下来真正需要观察的,不是各家公司的安全宣言是否更加谨慎,而是这些宣言能否转化为可复核的证据、跨国适用的报告机制,以及在发现重大风险时能够实际发挥作用的监督权力。