模型与研究 · 深度报道

LingYu公开139.4小时双臂遥操作数据:成功演示能教会机器人什么?

LingYu Robotics公开139.4小时双臂遥操作第一视角数据,包含13,263段成功演示与45Hz同步的视觉与动作信号,旨在支持模仿学习与双臂协作研究。数据仅含成功轨迹、采用LeRobot v2.1格式并以CC BY-NC-SA 4.0授权,使用和商用受限且需注意格式、填充值和许可约束。

AIFluxNews AIFlux 编辑2026 年 11 月 6 日阅读约 5 分钟
LingYu公开139.4小时双臂遥操作数据:成功演示能教会机器人什么?

LingYu Robotics公开139.4小时双臂遥操作第一视角数据,包含13,263段成功演示与45Hz同步的视觉与动作信号,旨在支持模仿学习与双臂协作研究。数据仅含成功轨迹、采用LeRobot v2.1格式并以CC BY-NC-SA 4.0授权,使用和商用受限且需注意格式、填充值和许可约束。

LingYu Robotics于2026年11月5日宣布公开一批双臂机器人第一视角遥操作数据。按照团队在Hugging Face发布的公告,首批桌面操作数据共139.4小时,包含13,263段成功演示,覆盖15类任务、22个子集,视觉、机器人状态和动作信号以45 Hz同步记录。

这次发布增加的是可供机器人学习的人类操作经验,而不是一份机器人自主完成任务的成绩单。数据中的动作来自操作员遥控,且公开部分只保留成功轨迹,不包含失败和恢复过程。理解这一点,才能判断这批数据的研究价值,以及它尚不能回答的问题。

不只是拍下动作,而是记录“看到什么、如何行动”

根据官方数据集卡,采集平台是LingYu TA2双臂机器人,配备两条各有七个自由度的机械臂和平行夹爪。操作员通过VR头显观看机器人机载摄像头的画面并实施遥操作,演示过程不引入第三人称视角或外部场景信息。

这一设计试图缩小人类示范与机器人部署之间的观察差异:操作员作出动作时所依据的视觉信息,与机器人日后运行时能够取得的信息来自同一类机载视角。它并不意味着模型已经学会这些动作,而是让研究者能够更直接地对齐观察与控制。

数据卡列出头部及左右腕部的三路立体RGB视频,并记录关节位置、速度、力矩、末端执行器位姿以及对应控制指令。状态和动作分别采用固定的62维布局,按同一45 Hz时间轴对齐。对于模仿学习,这使训练材料不只是“机器人把物体搬过去了”的视频,还包括在相应观察下发出了什么动作指令。

不过,布局相同不代表每一维都具有相同含义或都有有效数值。数据卡特别说明,无对应信息的维度以零填充;夹爪控制指令记录在力矩通道,测得的夹爪位置则是以弧度表示的电机位置,并非归一化开口宽度。忽略这些定义,即使文件可以加载,也可能错误解释动作。

完整任务轨迹有价值,但成功样本不是成功率

公开任务包括折叠毛巾并放入盒中、折叠包装盒、分类螺丝与螺母、将形状积木放入对应槽位,以及堆叠不同高度的积木塔。22个子集并不等于22类完全不同的任务;其中,积木塔任务按高度拆分成多个子集。

与孤立的抓取片段相比,完整任务能够保留多步骤之间的依赖关系。折盒时,前一步改变物体形状,后一步必须据此调整;堆塔则涉及重复放置、对齐,以及维持已有结构。发布方希望这些轨迹支持双臂协作、长程操作、策略预训练和任务适配研究。

但“13,263段成功演示”描述的是筛选后发布的数据,不是13,263次自主机器人测试,更不能据此得出百分之百成功率。公告明确排除了失败和恢复轨迹,因此这批公开材料本身不能直接展示机器人遇到滑落、误抓或任务偏离后应如何纠错。

团队称,数据经过人工审核,并按动作指令跳变、指令与状态跟踪异常、录制中断和传感器流不完整等条件剔除异常记录;演示以完整片段发布,而非通过裁剪异常部分保留。上述质量控制和规模均来自发布方说明,不是独立复测结果。两份发布材料也没有给出足以证明自主操作性能提升的对照实验,数据是否能带来更稳健的策略,仍需后续训练与真实机器人评测。

采用LeRobot格式,不等于接入任何版本都能直接训练

数据集采用LeRobot v2.1格式,以Parquet保存状态、动作等表格数据,以MP4保存视频。每个子集都是独立的数据集目录,研究者可以先选择与自身任务有关的部分,而不必一次下载全部内容。按照数据卡估算,整批桌面数据约9.16 TB;公开获取并不意味着存储、传输和视频解码成本可以忽略。

版本也是实际使用中的一道门槛。数据卡要求使用能够读取v2.1数据的LeRobot版本,或在较新工具链中进行格式转换。LeRobot官方文档说明,v3.0将多个演示片段合并到较大的文件中,并通过元数据记录片段边界,与v2.1逐段存储的方式不同。这里的v2.1和v3.0指数据格式,不应与软件发行版本混为一谈。

这也补充了近期LeRobot v0.7.0工具链升级所涉及的另一面:工具链解决数据读取、训练与部署的接口问题,具体数据集则提供学习材料。二者相关,但工具更新本身不证明某批数据已经完成适配,更不保证训练后的机器人能可靠执行任务。

公开下载、商业使用和零售数据,是三种不同边界

这批桌面数据标注的许可证是CC BY-NC-SA 4.0,即署名—非商业性使用—相同方式共享。依照Creative Commons的许可说明,在符合条件时可以复制、分享和改编,但需要适当署名、标明修改,且不能将材料用于商业目的;改编成果的分享还受相同方式共享条件约束。

因此,将它称为“公开数据”不能进一步推导为可任意商用。拟用于商业机器人研发或产品的团队,需要具体核对许可与使用方式,必要时另行取得授权;不能仅凭托管在Hugging Face、采用LeRobot格式,就认定商业使用权已经解决。许可说明也提醒,隐私等其他权利可能仍对使用构成限制。

另一项需要区分的是超市数据。LingYu称,团队还在商业超市正常运营期间,由操作员遥控机器人向顾客配送试吃食品,并以相同机器人、摄像头和数据结构记录演示。这批零售环境数据不在此次公开桌面数据范围内。

按照数据卡中的访问安排,研究者需要说明研究目标、拟定用途、项目或机构背景以及数据处理实践,由团队逐项人工审核。获批使用者不得尝试识别或披露门店、个人及其他保密信息,使用范围还受相关数据使用和保密要求约束。这不是面向所有人的无条件开放,也不是机器人已在超市自主服务的证明。

团队同时提出,未来希望向研究项目提供最多1,000小时数据。这个数字属于扩充计划,不是本轮已经公开的规模,也不能与139.4小时直接相加。

此次发布较明确的贡献,是提供一套来自同一双臂平台、具有同步观察与控制信号的完整成功演示。下一步真正值得关注的,不只是数据时长能否继续增加,还包括研究者能否在公开评测中证明:这些演示能改善哪些任务,能迁移到什么环境,以及机器人偏离成功轨迹后是否仍能可靠行动。

不错过任何一条 AI 大事

订阅 AIFlux 早报,每天 3 分钟看懂产业动态。