模型与研究 · 深度报道

英伟达披露GR00T 2:联合预测视频与动作,少样本适配距工业可靠性还有多远

英伟达披露GR00T 2世界动作模型,将未来视频预测与机器人动作生成结合,探索跨机器人技能迁移和少样本适配。厂商报告每项五个示范后,50项经筛选任务的平均成功率达95%,但该结果未经独立复测,也不能代表长期、规模化工业生产的可靠性。

AIFluxNews AIFlux 编辑2026 年 11 月 10 日阅读约 5 分钟

英伟达披露GR00T 2世界动作模型,将未来视频预测与机器人动作生成结合,探索跨机器人技能迁移和少样本适配。厂商报告每项五个示范后,50项经筛选任务的平均成功率达95%,但该结果未经独立复测,也不能代表长期、规模化工业生产的可靠性。

英伟达于2026年11月9日在机器人学习会议(CoRL)相关公告中披露GR00T 2,一种将未来视频预测与机器人动作生成结合的“世界动作模型”。它试图解决的不只是机器人该做什么,还包括动作执行后,物体和环境应如何变化。

根据英伟达公告,GR00T 2建立在Cosmos技术基础上,面向抓取、装配和接线等操作。公司报告,在一组50项任务的测试中,每项提供五个目标机器人示范后,平均成功率达到95%。不过,这一结果来自厂商指定的任务和实验条件,不能理解为任意工业作业都已达到相同可靠性;技术白皮书对这组任务的筛选方式,也给出了重要限定。

让机器人同时预测画面与动作

官方研究页介绍,GR00T 2读取近期视频、自然语言指令及机器人自身状态,再联合生成未来画面和一段动作。机器人执行动作后重新观察,继续下一轮预测,而不是一次生成整套动作后不再检查现场。

其核心是同一个扩散Transformer同时处理视频与动作:未来画面描述模型预期发生的变化,动作则对应如何促成这些变化。研究团队希望,这种联合学习能让人类视频中呈现的物理交互经验,也服务于机器人的操作学习。

这里的“预测”仍需与真实结果区分。研究页展示的未来视频是模型生成的画面,不是机器人已经完成任务的录像;看起来合理的预测,也不等于动作一定能够准确落地。

这种方向与此前Cosmos世界模型工具链的扩展有关,但报道对象不同:此前更新侧重数据、模型训练与闭环仿真工具;此次GR00T 2披露的重点,则是直接联合生成观察与动作的模型,以及它在跨机器人迁移和少量示范适配中的结果。

95%的成功率,究竟测了什么

英伟达的2026年11月技术白皮书说明,50项任务使用的是Dexter平台,即配备两只22自由度Sharpa灵巧手的Tianji机器人。这些任务没有出现在目标机器人的相应训练数据中,但曾出现在YAM机械臂数据、人类视频,或两者之中。因此,这里的“零样本”指没有目标机器人执行该任务的示范,并不意味着模型此前从未接触过这类任务。

直接使用预训练模型时,50项任务的平均成功率为40%;其中40项任务至少成功过一次。两者衡量的不是同一件事:“有过一次成功”的任务数量,不能替代多次试验中的平均成功率。

每项加入一个目标机器人示范后,平均成功率升至71%;加入五个后升至95%,其中37项任务在该轮评估中每次都成功。研究页称,五个示范合计不足三分钟机器人数据,每项适配通过单张RTX 5090进行约30分钟LoRA微调。这是已有预训练模型的任务适配成本,不是从零训练整个模型的成本。

更关键的是,白皮书图2的说明明确指出,这50项任务是模型在五个示范条件下能够学会、成功率至少达到80%的任务。因此,95%应被理解为这组经过筛选的任务上的结果,而不是对任意未见任务随机抽样后得到的通用成功率。较高的平均值显示了少样本适配的潜力,却不能单独回答模型能覆盖多大范围的实际工作。

少量示范背后,是大规模预训练

“只需五个示范”并不意味着机器人只看过五次操作。研究页列出的预训练数据包括402,730小时人类第一视角视频、10,184小时手持UMI夹爪示范,以及23,500小时机器人遥操作数据。少样本结果建立在这些既有经验之上。

公告提到的10万小时开放人类视频,是研究页所述人类视频数据中对外提供的一部分,不是全部预训练数据的规模。开放部分训练数据,也不等于模型权重已经可以下载;本次核验材料不足以据此确认GR00T 2权重的实际下载与许可状态。

跨机器人迁移是这套设计的另一项重点。研究团队展示了从人类示范、手持夹爪以及可穿戴采集设备向机器人转移技能的实验。例如,仅以人类演示相关任务时,双手机器人完成铺放滤纸并用洗瓶润湿的任务,报告成功率为65%。这说明经验可以在不同身体结构之间迁移,但也显示迁移后的表现仍因任务而异。

从单项技能到完整作业,仍需要纠错

操作能力之外,研究团队还将GR00T 2接入高层推理智能体:智能体拆解任务、观察进展,并在零件掉落或执行停滞时调用恢复技能,随后把操作交回模型。

研究页报告,在YAM机械臂连续装配三种玩具的测试中,加入智能体后,每种玩具的100次试验分别成功98、97和97次。这些是包含规划、监控和恢复机制的整套系统结果,不应归为GR00T 2单独执行时的成绩,也不应与前述50项少样本任务的95%混为同一组评估。

英伟达公告称,富士康正将GR00T 2用于服务器制造的工厂自动化,西门子正在评估工业应用,Nexuni则在测试衣物处理。这些描述表明企业正在探索应用,但公告没有提供足以证明长期、规模化生产可靠性的运行数据。

GR00T 2此次披露的实质,是把视频中的物理经验、跨机器人技能迁移和少量现场示范连接起来,并借助高层智能体处理长流程中的失败。它为减少逐任务采集数据提供了研究依据;距离工业验收仍需回答的,则是换一批任务、物体和现场条件后表现如何,以及失败能否被及时发现并安全处理。本文所述性能均来自英伟达披露,未经过独立复测。

不错过任何一条 AI 大事

订阅 AIFlux 早报,每天 3 分钟看懂产业动态。