IsaacSim Unity3D - 播放模式入门

IsaacSim允许您将Unity3D用作Isaac机器人技术的仿真环境。IsaacSim Unity3D提供了可扩展的测试环境，以评估Isaac导航堆栈的性能。它还为机器学习提供了过程生成的，完全注释的培训数据的无限流。功能包括传感器硬件和机器人基础模型的仿真，场景随机化和方案管理。

有关安装IsaacSim Unity3D的详细信息，请参见Isaac SDK 设置页面。

Unity3D概述图

播放模式入门

本节说明如何通过Isaac SDK使用IsaacSim Unity3D的“播放模式”。

“播放模式”构建包含两个场景：“ small_warehouse”和“ medium_warehouse”。要选择要运行的场景，请使用--scene命令行选项，后跟场景名称。

首先，使用“ small_warehouse”场景启动模拟器：

bob@desktop:~/isaac_sim_unity3d$ cd builds
bob@desktop:~/isaac_sim_unity3d/builds$ ./isaac_sim_unity3d.x86_64 --scene small_warehouse

接下来，使用Carter导航堆栈运行Isaac SDK应用程序：

bob@desktop:~/isaac$ bazel run //apps/navsim:navsim_navigate

“ navsim_navigate”应用程序类似于真实机器人的Carter应用程序。代替启动硬件驱动程序的硬件子图，“ navsim_navigate”应用程序使用navsim子图，该子图通过TCP套接字与模拟器进行通信。上面的其他参数指定了模拟仓库图和模拟中使用的机械手的配置文件。

下面是运行“ small_warehouse”模拟时Isaac Sight中自上而下的Unity摄像机视图：目标姿势显示为半透明的绿色Carter，全局和局部计划分别显示为红线和蓝线。

小型仓库高架摄像机

Sight还显示以下窗口：

小型仓库的视线输出

一旦运行了IsaacSim Unity3D场景，您就可以使用Isaac SDK“ navsim_viewer_tcp”应用程序通过NavSim发布的Websight摄像机数据进行可视化。要启动NavSim查看器，请运行以下命令：

bob@desktop:~/isaac$ bazel run packages/navsim/apps:navsim_viewer_tcp

请注意，摄像机的数量和类型因场景而异：例如，“ small_warehouse”和“ medium_warehouse”场景仅具有一台彩色摄像机和一台深度摄像机，而“ rng_warehouse”场景也具有实例和标签摄像机。在Websight中只能查看已启用的通道。

builds/isaac_sim_unity3d.x86_64下面详细介绍了其中的示例场景：

现场	描述	艾萨克应用
small_warehouse	一个小型仓库环境，用于测试和演示Isaac导航堆栈。默认情况下，此场景使用Carter，但是您也可以使用其他机器人和场景。	apps/carter/navsim /navsim_navigate
medium_warehouse	一个用于测试和演示Isaac导航堆栈的中型仓库环境。默认情况下，此场景使用Carter，但是您也可以使用其他机器人和场景。	apps/carter/navsim /navsim_navigate
pose_estimation_training	一个样本场景，用于为自动编码器体系结构的姿势估计模型生成训练样本。默认情况下，此场景使用多莉模型并每帧随机分配相机位置，背景等。	packages/object _pose_estimation/ /apps/training. app.json
pose_estimation_codebook _generation	一个示例场景，用于为自动编码器姿态估计训练模型生成一个码本。该场景接收相机位置的隐形传送坐标，并从所有方向捕获生成的对象的视图。的	packages/object _pose_estimation/ apps/codebook _generation
object_detection_training	DetectNetv2 GEM的对象检测使用此场景生成模拟图像（用于对象检测的正样本和负样本），以馈入TLT训练管道。	packages/ml/apps/ generate_kitti _dataset