Mundo团队提出了一条从多视角图像恢复可编辑三维场景、用物理引擎计算运动并由视频模型生成画面的研究流程，展示了将环境重建与仿真、视频渲染分离并连接的可行性。作者强调目前系统仍属研究演示：重建与渲染耗时较长、物体检测与物理参数存在不确定性，实时交互与真实机器人部署尚未达到可用水平。
几张房间照片，能否变成一个既可以换角度观察，又能让物体发生碰撞、让机器人尝试行动的虚拟环境？Mundo研究团队在2026年10月23日发表的技术博客中展示了一条路径：先从图像恢复可编辑的三维场景，再用程序和物理引擎计算运动，最后交给视频模型生成画面。
这项工作由Yihang Luo等研究者共同署名，博客发布在Hugging Face平台，并非Hugging Face公司推出的新产品。它的重点也不是单纯让视频更逼真，而是把“环境里有什么”“物体如何运动”和“画面看起来怎样”分开处理，再将三者连接起来。
但这仍是一套研究展示。作者披露，典型场景的重建通常需要10至20分钟；在八张A800 GPU、20步推理的配置下，视频渲染速度约为每秒生成1.5帧。目前的Mundo不能因此被称为实时交互系统，演示效果也不等于已经验证了真实机器人的部署能力。
先搭一个能被修改的世界
Mundo从多视角图像或视频出发，先恢复相机位姿和场景几何，再用三维检测器为主要物体生成初始包围盒。包围盒不是物体的精细表面模型，而是近似表示其位置、朝向和尺寸的三维框。
这种简化有明确目的：如果任务只是沿着房间移动视角，或模拟不依赖精细接触面的刚体运动，系统未必需要先重建每一道纹理和每一处曲面。涉及更细致的接触操作时，团队才为相关物体补充更详细的几何，或引入生成、检索得到的三维资产。
初始检测也并不可靠。物体可能漏检、标签可能错误，一个框还可能同时覆盖两个物体。Mundo为此加入视觉语言模型智能体：它修改场景程序，从输入相机的视角重新渲染代理场景，再与原图比较，判断下一轮应修正什么。
智能体主要负责识别错误、选择证据，数值优化则负责调整位置、尺寸和偏航角。作者称，拟合结果还要与没有参与拟合的视角相符，才会被保留；另一个审查智能体会检查所有输入视角。循环可能因结果获接受、几何不再改善，或达到编辑与时间上限而停止。因此，加入智能体并不意味着每个场景都能自动收敛到准确的重建。
物理引擎计算运动，视频模型负责外观
重建之后，场景以程序形式保存。对象名称、位姿、尺寸以及质量、摩擦等物理属性，都可以成为显式状态；脚本则规定动作、外力和状态如何随时间变化。
团队表示，大部分仿真使用MuJoCo，也可以由其他引擎或自定义脚本承担相似角色。MuJoCo官方文档将其定位为面向机器人等研究领域的通用物理引擎，负责关节结构与环境接触等动力学计算。Mundo并不是用视频扩散模型替代这些计算，而是让计算结果约束视频生成。
具体来说，仿真中的对象运动和相机轨迹先被渲染成按类别着色的简化代理视频。代理视频、原始参考图像和相机信息再送入视频模型，生成具有场景外观的画面。前一层决定“状态怎样变化”，后一层负责“变化看起来怎样”。
这让开发者有机会直接修改物体属性、相机位置或动作时间，而不只是反复改写文字提示。但其物理可信度仍受输入几何、参数估计和仿真模型约束：团队由智能体推导质量、摩擦等参数，并不代表这些数值已经在真实环境中测量。即便仿真轨迹合理，最终生成的像素也仍可能偏离它。
这与本站此前报道的AMD Micro-World 2流式交互视频方案关注的问题有所不同：后者着重将控制输入接入持续视频生成，Mundo则突出具体环境的显式三维状态与物理仿真。两者都被放在“世界模型”的讨论中，却不能仅凭演示画面或帧率直接判断谁更准确。
从房间探索到机器人仿真
在项目页中，团队展示了三类主要用途：沿指定相机路径探索环境、在重建场景内模拟物体交互，以及生成机器人导航和操作的观察画面。
对于真实地点的空间探索，团队展示的输入范围为1至12张参考图像；更大的场景则可以使用数十张图像。系统也能从单张图片或绘画生成新视角，但原图没有拍到的区域必须由模型推断。增加视角可以减少这种推断，不能把推断出的隐藏区域当作已经测得的真实结构。
机器人示例包括重建一层酒店环境，让机器人在仿真中从大堂前往房间，以及在重建的洗衣房中生成探索和打开洗衣机门的画面。三维代理同时提供对象是什么、位于何处的信息，供高层任务规划使用。
团队将其应用方向称为Real-to-Sim，即把真实环境转入仿真，用于测试或训练。这里需要分清两步：从照片生成可操作的仿真场景，与证明在其中训练的策略能够安全、有效地迁移到真实机器人，并不是同一项成果。当前公开演示支持前一种研究方向，不能据此推导出后一种部署结论。
长视频不等于长期记忆，也不等于实时
按照技术博客，Mundo的渲染器基于MiniMax-H3的Ref2VA进行微调，训练数据约为四万对视频，覆盖真实室内扫描、合成室内场景、驾驶、手与物体交互、单物体、游戏画面及团队自行渲染的数据。训练片段为124帧，分辨率为640×480。这是渲染器的训练配置，不是从零训练一个通用世界模型的说明。
较长的视频采用分块生成：每块124帧，将上一块最后34帧重新编码为下一块的固定前缀，并随相机路径选择合适的参考视图。这有助于衔接相邻片段，但只是生成与上下文管理方法，不能据此称系统具备长期记忆。
作者明确承认，Mundo尚无长时程记忆机制。静态参考图像可以帮助保留房间外观，但经过较长时间的动态变化，或被遮挡区域再次出现时，细节仍可能不一致。小物体也容易在重建场景中漂浮，视频模型在精细操作中可能产生幻觉。
性能数字同样需要保留条件。每秒约1.5帧描述的是作者在八张A800、20步推理下报告的生成速度，不是最终视频的播放帧率，也不是单张消费级显卡的性能。分块输出可以让长视频逐段产生，却不自动意味着用户操作能得到实时响应。这些表现来自团队披露，尚不能当作独立复测结果。
代码与权重仍是后续计划
截至本次核验，Mundo公开仓库主要提供项目说明和展示素材，待办清单将代码与权重的发布列在11月底。这个时间表是团队计划，不是已经完成的交付；项目页存在“Code”入口，也不代表完整实现和模型权重已经可供复现。
Mundo目前最具体的贡献，是展示如何把环境重建、可编辑程序状态、物理仿真和视频生成接成同一条流程。它把一部分控制权从视频模型的隐式生成转移到可查看、可修改的三维状态中，但尚未解决参数真实性、精细接触、长期一致性和计算成本等问题。
对希望将其用于机器人或交互场景的开发者来说，下一步值得检验的，不只是生成画面是否逼真，还包括代理几何是否准确、生成结果是否忠实遵循仿真状态，以及这些误差会怎样影响实际任务。只有这些问题获得更系统的评估，演示中的“可探索世界”才有可能成为可靠的测试环境。