ROBOVERSE: Towards a Unified Platform, Dataset andBenchmark for Scalable and Generalizable Robot Le

核心贡献针对机器人学习中数据难规模化、模拟器碎片化、基准不统一的问题提出一个大一统框架包括MetaSim统一模拟基础设施大规模高质量合成数据集统一基准测试Benchmark目标是打造机器人领域的“ImageNet”支持高效的模仿学习IL、强化学习RL、世界模型等并改善sim-to-real转移。1. 动机与问题真实世界数据收集昂贵、硬件依赖、难标准化。现有模拟器Isaac Sim、MuJoCo、SAPIEN 等接口不统一数据/模型迁移难导致生态碎片化。缺少大规模、多样化、高保真合成数据集和跨平台基准。RoboVerse通过MetaSim抽象统一接口实现跨模拟器无缝迁移、混合模拟、跨形态转移。2. 核心框架结构MetaSim论文重点MetaSim 是 RoboVerse 的核心基础设施位于具体模拟器之上提供三层架构见论文 Fig. 3三层架构①Universal Configuration System(MetaConfig)统一配置系统MetaConfig这是“描述世界”的地方。论文把一个仿真环境拆成agents、objects、tasks、sensors、physics parameters五类。也就是谁在动、场景里有什么、任务是什么、怎么观测、遵循什么物理规则。用嵌套 dataclass统一描述任何模拟场景的核心组件模拟器无关Agents机器人形态、控制器。Objects/Assets场景物体、URDF/MJCF 等。Tasks指令、成功判断、奖励函数。Sensors相机、力传感器等。Physics Parameters重力、摩擦等。支持可选的模拟器特定超参e.g., solver 类型兼顾通用性和灵活性Fig. 4。位置架构的最基础部分配置层。负责内容用一个统一的、模拟器无关的嵌套 dataclass来描述任何模拟场景。核心组件包括Agents机器人、控制器Objects/Assets物体、场景资产Tasks任务指令、成功判断、奖励Sensors相机、力传感器等Physics重力、摩擦等参数对应功能标准化描述不管你在哪个模拟器都用同一套配置写场景。支持可选的模拟器特定参数不牺牲各模拟器的独特优势。为后续层提供“输入蓝图”。②Aligned Simulator Backends(Handler类)模拟器后端 / Handler这是“把统一描述翻译成具体模拟器动作”的地方。它负责launch()、get_states()、set_states()、step()、render()、close()这类生命周期接口所以不同 simulator 只要各自实现一个 handler就能接到同一套上层接口里。每个模拟器实现一个Handler统一实现核心 APIlaunch()、get_states()、set_states()、step() 等。生命周期标准化初始化场景、加载资产、物理步进、获取观测、判断成功等。伪代码示例Gym Env 基于 Handler 实现。位置中间核心层。负责内容为每个模拟器实现一个Handler类。Handler 实现了一套统一的接口simulator-agnostic API例如launch()启动环境get_states() / set_states()读写状态step()物理步进加载资产、获取观测、判断任务成功等。对应功能翻译器把 MetaConfig 的通用配置“翻译”成具体模拟器的命令。对齐不同模拟器让 MuJoCo、Isaac Sim 等看起来“行为一致”。实现MetaSim 的三大关键能力Cross-Simulator Integration跨模拟器迁移Hybrid Simulation混合物理渲染Cross-Embodiment Transfer跨机器人形态复用轨迹③User-Friendly Environment Wrapper环境封装 / Gym wrapper这是“给算法用”的地方。它把底层 handler 包成类似 Gym 的reset()/step()/render()/close()接口方便你直接接 RL、IL、world model 训练代码。将 Handler 封装成标准Gym Envreset()、step()、render()、close()。支持并行环境便于 RL 训练。位置最上层直接面向用户/算法。负责内容把中间层的 Handler 进一步封装成标准 Gym Env接口reset()、step(action)、render()、close()支持并行环境vectorized env。对应功能最简单使用方式研究者只需像用普通 Gym 环境一样写代码就能运行在任意支持的模拟器上。便于直接接入现有 RL/IL 框架Stable-Baselines3、rsl_rl 等。MetaSim 的三大关键能力CapabilitiesCross-Simulator Integration任务/轨迹在不同模拟器间无缝迁移e.g., Meta-World 任务在 Isaac Gym 并行训练再去 Isaac Sim 渲染。Hybrid Simulation同时使用一个模拟器的物理引擎 另一个的渲染器e.g., MuJoCo 物理 Isaac Sim 渲染兼顾准确性和真实感。Cross-Embodiment Transfer通过末端执行器姿态重定向在不同夹爪/机器人形态间复用轨迹。整体数据流水线Fig. 3 迁移Migration 遥操作Teleoperation AI 生成Generative AI Real-to-Sim → 数据增强Trajectory Augmentation Domain Randomization → 高质量数据集 统一基准。3. 数据集构建ROBOVERSE Dataset来源大规模迁移现有基准ManiSkill、RLBench、CALVIN、Meta-World、GraspNet 等共 276 类任务。规模操纵任务~510k 轨迹、5.5k 资产。其他导航VLN-CE、人形HumanoidBench等。增强方法Trajectory Augmentation基于 MimicGen按物体中心子任务分解生成大量变体。Domain Randomization桌子/墙/灯光/相机/材质随机在 Isaac Sim handler 实现。额外采集遥操作键盘、手机 App、VR、Mocap。AI 辅助任务生成大模型生成合理场景配置。Real-to-Sim视频重建 → Gaussian Splatting Mesh VLM 推物理属性 → URDF。4. 统一基准ROBOVERSE Benchmark模仿学习基准4 级泛化协议90% 训练 / 10% 测试Level 0任务空间泛化固定视觉。Level 1环境随机化。Level 2相机随机化。Level 3灯光/反射随机化。强化学习基准集成 PPOStable-Baselines3 / rsl_rl支持多模拟器、人形等。标准化基线Diffusion Policy、ACT、OpenVLA、Octo 等。5. 实验验证IL/RL基线在 RoboVerse 上表现良好验证数据质量。世界模型合成数据 真实数据混合显著提升物理一致性。Sim-to-Real直接在 RoboVerse 上训练 OpenVLA实现零样本真实世界抓取等。Sim-to-Sim-to-Real人形控制等任务泛化良好。数据增强轨迹增强随数据量增加显著提升性能。6. 限制与未来非刚体物体支持不足。未在大规模数据集上预训基础模型资源限制。基线实现可能非最优欢迎社区贡献。