2026/4/7 8:59:39
网站建设
项目流程
二维码网页制作免费网站制作,小学生手工制作大全图,虚拟主机怎么设计网站吗,微信crm是什么系列文章目录
目录
系列文章目录
前言
一、Isaac Lab-Arena 概述与核心优势
二、生态系统开发
三、未来Isaac Lab-Arena增强计划
四、如何使用Isaac Lab-Arena大规模设置任务并评估策略
4.1 环境创建与多样化
4.1.1 高效扩展任务以适应不同机器人、对象和场景
4.2 可…系列文章目录目录系列文章目录前言一、Isaac Lab-Arena 概述与核心优势二、生态系统开发三、未来Isaac Lab-Arena增强计划四、如何使用Isaac Lab-Arena大规模设置任务并评估策略4.1 环境创建与多样化4.1.1 高效扩展任务以适应不同机器人、对象和场景4.2 可选策略后训练4.3 在并行环境中执行评估五、开始使用 NVIDIA Isaac Lab-Arena前言通用机器人策略必须适用于多样化的任务、实体和环境这需要可扩展、可重复的基于模拟的评估。建立大规模策略评估过程繁琐且依赖人工操作。若缺乏系统化方法开发者需构建高开销的定制基础设施而现有任务库在复杂度和多样性方面仍显不足。本文介绍NVIDIA Isaac Lab-Arena——一个用于高效、可扩展的模拟机器人策略评估的开源框架。该框架由Lightwheel与NVIDIA Isaac Lab联合开发作为后者的扩展模块提供任务整理、多样化处理及大规模并行评估的简化API。开发者现可跳过系统构建环节直接原型化复杂基准测试。本文同时展示端到端示例工作流涵盖环境搭建、可选策略后训练及闭环评估环节。一、Isaac Lab-Arena 概述与核心优势我们宣布 Isaac Lab-Arena 预Alpha版正式发布诚邀社区共同参与其路线图的制定。同时我们正与基准测试作者合作将其评估方案移植至 Isaac Lab-Arena 并开源从而在统一核心上构建日益壮大的生态系统——提供即用型基准测试与共享评估方法。Isaac Lab-Arena的核心优势包括简化任务整理流程、实现自动化多样化、支持大规模基准测试、与数据生成及训练无缝集成等具体详述如下简化任务构建0到1模块化以乐高式架构取代单一任务描述通过独立的物体、场景、具身化及任务模块即时组合Isaac Lab环境。通用性基于可操作性系统如可开启、可按压实现标准化交互使任务能跨物体扩展。可扩展性记录的指标与数据具备扩展性用户可根据需求精细控制仿真与分析过程。自动化多样化1到多轻松组合组件将单一任务应用于不同机器人或物体——例如从家用汽水罐任务切换至工业管道任务——无需重写代码。未来团队计划利用基础模型自动生成多样化且真实的任务。大规模并行策略无关基准测试在数千个并行环境中评估任意机器人策略实现高吞吐量的GPU加速评估。当前版本支持同构并行环境含参数变体。基于统一核心访问社区基准测试与共享评估方法。开源商业许可开发者可自由使用、分发并参与框架开发。与数据生成及训练的无缝集成尽管Isaac Lab-Arena的核心功能是任务设置与评估但它与数据生成和训练框架紧密集成形成无缝闭环工作流。这包括Isaac Lab-Teleop、Isaac Lab-Mimic以及NVIDIA Isaac GR00T N模型的训练后推理。灵活部署支持本地工作站或云原生环境如OSMO部署以实现CI/CD亦可集成至LeRobot Environment Hub等排行榜与分发平台。图1. NVIDIA Isaac Lab-Arena 是一个开源框架用于在仿真环境中高效且可扩展地评估机器人策略。二、生态系统开发英伟达正与基准测试开发者合作基于Isaac Lab-Arena构建评估体系并发布经模拟到现实验证的评估方法、任务及数据集供社区在统一核心上复用与扩展。覆盖范围将横跨移动性、操作性及移动操作性三大领域的工业与科研基准测试。Lightwheel公司联合开发并采用Isaac Lab-Arena框架通过Lightwheel-RoboCasa-Tasks和Lightwheel-LIBERO-Tasks任务套件创建并开源了250余项任务未来将致力于将其确立为行业基准。该公司还基于Isaac Lab Arena开发了RoboFinals工业基准测试该测试能真实模拟复杂的现实环境。图2. 基于Isaac Lab-Arena构建的Lightwheel任务套件中丰富且可泛化的厨房环境Isaac Lab-Arena环境现已集成至Hugging Face LeRobot环境中心开发者可在此无缝注册基于IsaacLab-Arena构建的自定义环境并利用不断扩充的环境库对机器人策略进行后训练与评估包括Isaac GR00T N、pi0、SmolVLA等模型。更多详情请参阅LeRobot文档。NVIDIA通过Hugging Face平台向数百万开发者开放机器人模型与数据集助力机器人技术成为该平台增长最快的领域。RoboTwin正利用Isaac Lab-Arena构建RoboTwin 2.0的扩展版本——该平台是大型具身模拟基准测试系统同时开发其他复杂长时域基准测试。该项目计划开源目前正积极推进研究成果提交与代码更新。此外NVIDIA旗下通用具身智能实验室GEAR等研究机构正借助Isaac Lab-Arena平台对Isaac GR00T N系列视觉语言动作模型进行大规模通用类人推理与技能评估。英伟达西雅图机器人实验室SRL正将其在语言条件化任务套件及通用机器人策略评估方法的研究成果整合至Isaac Lab-Arena平台。三、未来Isaac Lab-Arena增强计划当前预Alpha版本刻意设计为功能有限的早期框架雏形旨在为贡献者提供实践起点用于实验、反馈共享及影响未来设计方向。近期将新增构建复杂任务库的核心能力包括基于自然语言的物体放置、通过链式原子技能实现复合任务、强化学习任务配置以及并行异构评估例如在并行环境中分别放置不同物体。更长远的目标是探索更具智能体意识和神经网络特性的评估扩展方案例如利用NVIDIA Cosmos实现世界模型驱动的神经模拟与场景生成以及运用NVIDIA Omniverse NuRec构建真实世界映射的仿真环境。社区参与和反馈对这些发展至关重要。四、如何使用Isaac Lab-Arena大规模设置任务并评估策略本节展示端到端示例工作流在Isaac Lab-Arena中使用GR1机器人评估Isaac GR00T N模型执行操作技能——打开微波炉门。涵盖环境设置、可选策略后训练及闭环评估流程。图3. GR1机器人在Isaac Lab-Arena中开启微波炉门4.1 环境创建与多样化遵循GR1微波炉开门任务的先决条件克隆仓库并运行Docker容器。随后在Isaac Lab-Arena中创建环境将对象微波炉与可操作性可开启、可按压在场景厨房中结合通过具身化实体GR-1机器人执行任务开门。用户可选择性配置基于遥操作的数据采集方案。获取资产background self.asset_registry.get_asset_by_name(kitchen)() microwave self.asset_registry.get_asset_by_name(microwave)() assets [background, microwave] embodiment self.asset_registry.get_asset_by_name(gr1_pink)(enable_camerasargs_cli.enable_cameras) teleop_device self.device_registry.get_device_by_name(avp)()更多详情请参阅资产设计与可操作性设计。定位对象microwave_pose Pose( position_xyz(0.4, -0.00586, 0.22773), rotation_wxyz(0.7071068, 0, 0, -0.7071068), ) microwave.set_initial_pose(microwave_pose)构思场景scene Scene(assetsassets)创建任务task OpenDoorTask(microwave, openness_threshold0.8, reset_openness0.2)任务封装了目标、成功标准以及终止逻辑、事件和指标。欲了解更多信息请参阅任务设计。最后将所有组件整合为一个完整可运行的环境isaaclab_arena_environment IsaacLabArenaEnvironment( nameself.name, embodimentembodiment, scenescene, tasktask, teleop_deviceteleop_device, )接下来使用测试数据集运行环境。下载测试数据集hf download \ nvidia/Arena-GR1-Manipulation-Task \ arena_gr1_manipulation_dataset_generated.hdf5 \ --repo-type dataset \ --local-dir $DATASET_DIR运行环境python isaaclab_arena/scripts/replay_demos.py \ --device cpu \ --enable_cameras \ --dataset_file ${DATASET_DIR}/arena_gr1_manipulation_dataset_generated.hdf5 \ gr1_open_microwave \ --embodiment gr1_pink机器人将替换NVIDIA收集的遥操作数据以开启微波炉。有关创建新环境的全面技术细节和设计原则请参阅教程文档。4.1.1 高效扩展任务以适应不同机器人、对象和场景本节提供多个示例展示如何轻松修改任务中的对象或机器人——无需重建环境或管道。示例 1 – 将对象从微波炉改为电钻background asset_registry.get_asset_by_name(kitchen)() embodiment asset_registry.get_asset_by_name(gr1_pink)() power_drill asset_registry.get_asset_by_name(power_drill)() assets [background, power_drill]图4. 该物体已从微波炉变为电钻。示例 2 – 将具体实施例从 GR1 改为 Franka 机械臂并将对象改为 cracker_boxbackground asset_registry.get_asset_by_name(kitchen)() embodiment asset_registry.get_asset_by_name(franka)() cracker_box asset_registry.get_asset_by_name(cracker_box)() assets [background, cracker_box]图5. GR1机器人已更换为Franka机械臂示例 3 – 将背景从厨房改为工业包装台background asset_registry.get_asset_by_name(packing_table)() embodiment asset_registry.get_asset_by_name(gr1_pink)() cracker_box asset_registry.get_asset_by_name(power_drill)() assets [background, cracker_box]图6. GR1机器人置于工业环境中而非厨房环境。4.2 可选策略后训练虽然 Isaac Lab-Arena 的核心功能是任务设置和策略评估但该环境可无缝对接数据采集、数据生成及后训练流程——若您的策略需在评估前进行后训练。您可执行以下操作使用 Isaac Lab Teleop 采集演示数据通过 Isaac Lab Mimic 将演示数据扩展为大型合成数据集使用生成的数据集对Isaac GR00T N模型或任意机器人策略进行后训练4.3 在并行环境中执行评估下一步是评估训练后的策略。需特别说明的是该框架可评估任何训练完成的机器人策略。方案1 – 在单一环境中测试策略python isaaclab_arena/examples/policy_runner.py \ --policy_type gr00t_closedloop \ --policy_config_yaml_path isaaclab_arena_gr00t/gr1_manip_gr00t_closedloop_config.yaml \ --num_steps 2000 \ --enable_cameras \ gr1_open_microwave \ --embodiment gr1_joint方案2 – 在多个并行同质环境中测试策略python isaaclab_arena/examples/policy_runner.py \ --policy_type gr00t_closedloop \ --policy_config_yaml_path isaaclab_arena_gr00t/gr1_manip_gr00t_closedloop_config.yaml \ --num_steps 2000 \ --num_envs 10 \ --enable_cameras \ gr1_open_microwave \ --embodiment gr1_joint五、开始使用 NVIDIA Isaac Lab-ArenaIsaac Lab-Arena 预发布版采用开源模式诚邀您参与指导其未来的设计与开发。访问 GitHub 代码库和文档即可开始体验 Isaac Lab-Arena 预发布版。通过创建 GitHub 问题报告来反馈意见可用于提交错误报告或建议功能与设计改进通过创建拉取请求来贡献代码可用于提出修改方案。在Isaac Lab-Arena上创建任务或经实证验证的模拟-现实基准测试并将其开源助力构建共享的即用型机器人学习任务生态系统。将任务发布至排行榜或评估中心如LeRobot环境中心使其在共享管道和注册库中可被发现并轻松运行。