英伟达在GTC Berlin扩展Cosmos平台,连接数据准备、模型训练、交互式仿真与部署工具,提供面向自动驾驶、机器人和工业视觉的端到端开发闭环;更新引入五类数据蓝图、Cosmos Framework扩展与Cosmos 3 Nano仿真变体,但合成数据与仿真仍需通过真实环境验证以确保安全性。
英伟达在2026年10月的GTC Berlin期间扩展Cosmos平台,将数据准备、模型训练与优化、交互式仿真和部署工具进一步连接起来。此次更新的重点不是单独推出一个视频生成模型,而是为自动驾驶、机器人和工业视觉团队提供一套从数据到测试的开发流程。
根据英伟达官方公告,更新包括五类Cosmos Data Factory数据蓝图、面向更多开放模型的Cosmos Framework训练工具,以及用于自动驾驶和双臂机器人策略评估的Cosmos 3 Nano仿真变体。公司还宣布了Cosmos 3 NIM推理微服务和Metropolis视频分析工具的性能改进。
这些工具试图解决物理AI开发中的一个现实难题:正常驾驶和正常生产的数据相对容易积累,但危险路况、设备缺陷、液体泄漏等真正需要系统识别的异常,往往既少见,又不适合为了采集数据而人为制造。合成数据和仿真可以补充这些空白,却不能自动成为真实环境安全性的证明。
五类数据蓝图,围绕难以采集的场景展开
Cosmos Data Factory官方仓库将这一项目描述为由智能体驱动的蓝图和可组合技能集合,用于筛选、丰富、标注、增强和生成训练数据。其五类参考蓝图覆盖不同的数据缺口。
自动驾驶数据集生成蓝图先检索和整理相关驾驶片段,再补充特定场景的合成变体;图像属性增强通过调整服装、颜色等外观条件,为人物搜索和再识别提供更多样本;事件视频生成从一张参考图像出发,生成带有指定异常变化的视频。其余两类分别用于生成电路板、金属和玻璃等材料的缺陷图像,以及在保留场景结构的同时改变现有视频的天气、光照等条件。
这意味着,开发者不必只按“再生成一段视频”的方式使用世界模型,而可以围绕具体工程问题组织流水线,例如寻找某类驾驶场景、补足雨天样本、检查生成内容,再导出带标注的数据。
但“蓝图”并不等于无需基础设施的一键服务。仓库列出的完整部署前提包括Kubernetes集群、对象存储、可推送镜像的容器仓库,以及相关模型服务的访问凭据;GPU需求则随蓝图和模型部署方式变化。它还引入Cosmos Evaluator,对幻觉、物体一致性、属性和物理合理性进行检查。这些质量检查是筛选机制,不意味着生成数据已经被证明适用于所有真实任务。
从模型适配到仿真,强调可重复的开发闭环
在模型开发环节,英伟达称,扩展后的Cosmos Framework将训练、优化和部署工具及操作配方,以智能体技能的形式提供给更多开放模型。公告提到GR00T、Alpamayo、Qwen和π0.5等模型,涉及微调、强化学习、蒸馏和量化。
这些方法承担不同任务:微调和强化学习用于调整模型行为,蒸馏和量化则着眼于减小模型或降低推理开销。支持某个模型家族,并不意味着它在所有算法、硬件和任务上都已完成验证。具体项目仍需核对相应配方、数据接口和运行配置,而不能把平台层面的支持理解为任意模型可以直接互换。
新仿真变体则让模型生成的观察结果能够响应策略的后续动作,形成“策略采取行动、环境返回观察、策略再次决策”的闭环。
按照Cosmos3-Nano-Sim-Auto模型卡,自动驾驶版本通过世界场景地图控制和文本条件,生成同步的多摄像头视频及激光雷达观察,最多支持11个摄像头视角。它按小块潜在帧生成内容,并结合缓存历史和新的驾驶控制输入,使后续画面随控制变化。
Cosmos3-Nano-Sim-Bimanual模型卡描述的双臂机器人版本,则从初始图像和机器人动作、摄像头轨迹出发生成视频,支持在同一序列中交替改变视角和执行操作。其当前列出的支持机型为AgiBot;适配其他机器人需要额外的后训练,不能直接视为通用机器人仿真器。
两份模型卡均将版本发布日期列为2026年10月20日。因此,这些模型应被理解为此次平台更新所介绍的已发布组件,而不是在报道当天首次出现。模型卡也明确区分输出视频的播放帧率和实际推理吞吐量:视频按每秒30帧播放,不代表系统在任意GPU上都能以相同速度实时生成。
与此前报道的SimReady Central三维仿真资产库相比,此次Cosmos扩展关注的是另一层开发问题:不仅要有可组合的场景资产,还要把训练数据、模型适配、动作响应和评估流程连接起来。
客户案例提供线索,也暴露合成数据的取舍
汽车领域的案例来自保时捷及其合作伙伴。微软的一手说明称,保时捷正与大众集团品牌及CARIAD构建由整车厂掌控的共享自动驾驶数据循环,通过Azure上的Voxel51使用Cosmos Data Factory。
微软预计,这项合作可将重复的实体测试驾驶最多减少90%,将AI回归测试周期最多缩短85%。这里的85%指的是微软所述的AI回归测试周期,不应扩大为整个汽车开发周期已经缩短85%;这些数字也仍是预期收益,而非本文独立验证的生产结果。微软同时强调,仿真不能证明道路安全,也不能替代所有真实世界测试。
工业巡检案例提供了更具体的测试信息。Encord披露的ANYbotics合作案例称,团队从410张参考图像生成了超过1500段视频,覆盖九类场景变化,用于校准巡检机器人的异常检测模型。
该案例所列评估日期为2026年9月25日,早于此次平台公告。其表格显示,在接受合成数据的25个巡检点上,所有类别的平均召回率从0.50升至0.62。这是合作方披露的特定场景评估,不是第三方对Cosmos整体能力的通用测评。
更值得注意的是,Encord同时报告,引入合成异常也提高了正常场景的误报率,一些变化类型没有得到有意义的改善。ANYbotics认为,在真实异常数据确实存在时,它们仍是更强的校准依据;合成数据主要为那些少见、尚未发生或缺乏样本的异常提供提前准备。
这一结果说明,判断合成数据是否有用,不能只看生成了多少样本或召回率是否上升,还需要同时检查误报、真实异常上的表现,以及新增数据是否扭曲了正常场景的分布。
推理加速不等于安全验证完成
部署方面,英伟达称,更新后的Cosmos 3 NIM在经过验证的配置下,推理速度最高可达到此前的两倍,且质量不降低;基于Cosmos NIM的Metropolis视频搜索与摘要蓝图VSS 3.3,则宣称可用相同GPU监控多40%的视频流。
这些是厂商披露的性能指标,需要保留“最高”和“经过验证的配置”等限定。它们不能直接换算为所有模型、所有输入和所有部署环境中的同等收益,也不能说明更快的视频分析已经具有更高的现场安全可靠性。
此次更新的实质,是英伟达把物理AI开发的重点从单个模型的生成效果,进一步延伸到数据筛选、领域适配、交互式测试和部署效率。对工程团队而言,可复用的工具链有助于组织实验,但最终验收仍应落在具体任务上:合成数据是否改善真实测试,仿真中的策略表现能否迁移,模型压缩后是否保留关键能力,以及误报和漏报是否处于可接受范围。
世界模型可以让更多危险或罕见场景进入测试流程,但生成一个看起来合理的世界,与证明系统能够安全地在真实世界中行动,仍是两件不同的事。