模型与研究 · 深度报道

Black Forest Labs 开放 FLUX 3 Action:7B 世界动作模型登上 RoboLab 开放策略榜首

Black Forest Labs 于 2026-09-23 开放了 FLUX 3 Action 权重,这是一款 7B 世界动作模型(WAM),能基于摄像头画面、机器人状态向量和文字指令同时预测动作序列与未来视频帧,并在 RoboLab-120 基准的公开策略中取得最高名次。官方提供代码、训练配方与多个推理/精度变体,但评测结果需结合具体配置理解,且开放权重伴随许可证与部署安全考虑。

AIFluxNews AIFlux 编辑2026 年 9 月 24 日阅读约 5 分钟
Black Forest Labs 开放 FLUX 3 Action:7B 世界动作模型登上 RoboLab 开放策略榜首

Black Forest Labs 于 2026-09-23 开放了 FLUX 3 Action 权重,这是一款 7B 世界动作模型(WAM),能基于摄像头画面、机器人状态向量和文字指令同时预测动作序列与未来视频帧,并在 RoboLab-120 基准的公开策略中取得最高名次。官方提供代码、训练配方与多个推理/精度变体,但评测结果需结合具体配置理解,且开放权重伴随许可证与部署安全考虑。

Black Forest Labs 于 2026 年 9 月 23 日发布并开放权重 FLUX 3 Action。这是一款面向机器人控制的 7B 世界动作模型(World Action Model,WAM),能够根据摄像头画面、机器人状态向量和文字指令,同时预测下一段动作以及可能出现的未来视频帧。

按照 Black Forest Labs 在官方模型页面和 Hugging Face发布说明中的说法,FLUX 3 Action 在 RoboLab-120 基准测试中取得了 42.92% 的整体成功率,在公开策略中排名第一。作为对照,NVIDIA 的 16B Cosmos 3 Nano 策略在同一张表中为 36.8%,3.3B 的 π0.5 为 28.0%。

不过,这些数字需要结合模型变体、精度、GPU、任务集合和评测设置理解。Black Forest Labs 同时报告,基础版本在 RoboLab 上为约 38.3%,引导蒸馏版本为 42.2% ± 0.36;官方页面的排行榜表格则列出 42.92%。这些结果并非完全可以横向等同,文章中的具体比较应以相应测试配置为准。

从视频预测到动作预测

传统的视觉语言动作模型(VLA)通常接收图像和指令,再直接输出机器人动作。世界动作模型则试图把动作预测与未来视觉状态联系起来:模型不仅要判断机器人下一步应该怎么动,还要预测执行动作后可能看到的画面。

FLUX 3 Action 采用联合的视频—动作预测方式。根据 Black Forest Labs 的技术说明,模型输入包括一张或多张摄像头画面、机器人自身动作空间中的状态向量,以及文字描述;输出则是一段动作序列,并可选择生成对应的未来视频帧。在实际控制循环中,机器人会执行其中的一部分动作,然后重新观察环境并进行下一轮规划。

这类设计的目标,是把大规模视频预训练中获得的世界理解能力迁移到机器人控制上。Black Forest Labs 表示,FLUX 3 Action 的预训练数据混合了图像、视频和音频,其中视频占训练 token 的九成以上;随后,模型通过 DROID 等机器人数据进行中期训练和针对具体本体的微调。

模型是一个 7B 参数的扩散 Transformer,使用冻结的视频 VAE 编码画面,并使用冻结的 Qwen3-VL-4B 编码指令。不同机器人本体的动作作为另一条 token 流与视频 token 一起处理。按照官方介绍,每次推理可返回 32 个动作,并可选地返回 32 个解码后的视频帧。

小模型如何与更大的世界动作模型竞争

RoboLab 是一个用于评估通用机器人策略的模拟基准,覆盖 120 项任务,包括视觉理解、关系推理和程序性技能。Black Forest Labs 将 FLUX 3 Action 与多个开放或封闭策略进行了比较,其中包括 16B 的 Cosmos3-Nano-Policy、14B 的 DreamZero、4B 的 Cosmos3-Edge-Policy,以及参数规模更小的 π0.5、GR00T N1.6 等模型。

Black Forest Labs 认为,FLUX 3 Action 的优势并不只来自参数规模,而来自两个设计选择:一是通过多模态预训练获得更紧凑的表示,二是使用蒸馏减少引导推理的额外开销,并将采样步骤压缩到单步版本。官方模型页称,单步 7B 检查点在 RoboLab 上达到 38.3% ± 0.38;在不那么强调延迟的设置下,引导蒸馏版本达到 42.2% ± 0.36。

速度比较同样依赖运行配置。Black Forest Labs 表示,与 Pi0.5 相比,FLUX 3 Action 在工作站和数据中心 GPU 上每秒机器人运动的实时因子提高约 1.34 至 2.28 倍;其 FP8 版本相对 FP8 的 Cosmos 3 Nano,在消费级、工作站和数据中心 GPU 上的速度提升约为 1.52 至 3.95 倍。这里的“实时因子”并不等同于单次调用延迟,因为 WAM 预测的动作时间跨度也不同:FLUX 3 Action 预测的运动窗口约为 2.13 秒,Pi0.5 约为 1 秒。

官方还提出了“快速策略加推理模型”的混合方案。在 Black Forest Labs 描述的一组实验中,FLUX 3 Action 负责大部分快速控制,推理模型只在遇到困难任务时介入。该混合方案解决了约 90% 的测试 episode,并将每次成功的成本和时间分别降至约 8.77 美元和 8 分钟;但纯推理方案仍然拥有更高的最高准确率。这个结果说明,快速控制模型的价值不仅在于单项成功率,也在于减少高成本推理模型的调用次数。

从 DROID 和 SO-101 走向真实机器人

此次发布同时覆盖 DROID 和 SO-101 两类机器人策略。Black Forest Labs 表示,DROID 策略提供 BF16 和 FP8r 等版本,并包括基础、引导蒸馏和单步推理配置;SO-101 则提供与 LeRobot 集成的策略和任务 LoRA 微调方案。

代码仓库 black-forest-labs/flux-action 提供了数据准备、分布式训练、检查点恢复、导出和推理实现,也包含 DROID 全量微调、SO-101 LoRA 适配,以及自定义任务和机器人形态的指南。模型权重则收录在 Hugging Face 的 FLUX 3 Action 模型集合中。

在 SO-101 实验中,Black Forest Labs 称,团队使用约 200 个遥操作 episode,覆盖若干相近的抓取和放置任务。模型随后被测试于训练数据中没有出现的物体、容器和摄像头位置,官方展示了它把盒子或纸巾放入容器、在部分遮挡下继续操作以及从自身错误中恢复的示例。

这些演示显示了模型具有一定的任务迁移和恢复能力,但不能直接证明其已经具备通用自主机器人能力。实验仍然依赖特定的数据、硬件、任务设计和控制循环;在不同机器人本体、光照条件、物体分布或安全约束下,表现可能发生明显变化。

这条路线与此前物理 AI 模型将世界理解、动作生成和边缘部署结合起来的方向相互呼应。例如,AI Flux 此前报道的 NVIDIA Cosmos 3 Edge关注的是将世界模型推向机器人和视觉代理的边缘设备,而 Gemini Robotics 2则强调具身推理、全身协作和多机器人任务。这些系统的技术路径并不相同,但共同面对从模型输出到现实动作之间的部署难题。

游戏和室内无人机成为快速测试场

除了机器人手臂,Black Forest Labs 还将 FLUX 3 Action 微调到视频游戏和室内无人机任务上,以降低真实机器人评估的时间和成本。

在 GRUNT 游戏中,模型需要移动、转向和射击;在 VECTOR 赛车游戏中,模型需要控制转向、油门和氮气。官方称,这两个游戏各使用 800 个由脚本机器人产生的 episode 作为训练数据。在一组 60 秒、单随机种子的测试中,FLUX 3 Action 在 GRUNT 中击杀 15 个目标且没有死亡,脚本机器人击杀 13 个目标;在 VECTOR 中,模型行驶约 3.3 公里、发生 1 次撞车并完成 12 次超车,脚本机器人则行驶 3.4 公里、无撞车并完成 16 次超车。

室内无人机实验则在 NVIDIA Isaac Sim 中收集了 800 次脚本飞行,用于训练一个根据机载摄像头画面和指令输出前进、横向、升降与偏航动作的策略。Black Forest Labs 表示,测试房间、障碍物位置、起飞方向和指令措辞都与训练条件有所不同,模型仍能飞向指定物体并悬停,或依次飞向多个目标。

但这些实验主要说明同一套模型框架可以适配不同的动作空间,并不能据此推断模型在开放环境中的可靠性。游戏拥有清晰的状态反馈和有限的动作集合,模拟无人机也比真实飞行环境更容易控制;现实机器人还要处理传感器故障、碰撞风险、未见过的物体、通信中断和人类突然介入等问题。

“开放权重”不等于没有使用限制

Black Forest Labs 公开了代码、权重以及训练和推理配方,因而将 FLUX 3 Action定位为开放权重模型。不过,Hugging Face 发布说明显示,权重采用 FLUX Kommunity License v1.0,而不是不附带条件的公共领域授权。使用者仍需遵守许可证中的范围和限制,不能简单将“开放权重”理解为任何场景下都可以不受约束地商用或再分发。

这一点在机器人领域尤其重要。开放模型能够降低研究人员复现实验和适配硬件的门槛,也有助于形成围绕数据、策略和工具链的社区;但机器人控制直接连接物理执行机构,模型权重公开后,如何进行安全测试、权限隔离、故障停止和责任追踪,仍然需要部署者自行建立完整的工程机制。

FLUX 3 Action 的发布,首先证明了一个较小的开放世界动作模型可以在特定基准上击败更大的开放策略,同时把训练配方、微调方法和部署工具公开给开发者。它是否能在更广泛的机器人本体和真实环境中保持这种优势,还需要独立复现实验、更多硬件测试以及跨任务、跨场景的长期评估。

来源

不错过任何一条 AI 大事

订阅 AIFlux 早报,每天 3 分钟看懂产业动态。