在Kaya上运行Isaac SDK
安装
完成构建自己的NVIDIA Kaya机器人后,本指南将指导您运行Isaac SDK所需的软件设置。
1.为Jetson Nano安装操作系统。请按照Jetson Nano入门指南中的步骤完成Jetson Nano Developer Kit的安装。
- 请遵循《安装指南》安装Isaac SDK及其所有依赖项。
3.获取机器人的IP地址。连接键盘,鼠标,显示器并启动机器人。在终端提示下,输入以下命令:
bob@jetson:~/$ ip addr show
- 在机器人上安装所有软件依赖项。从桌面运行以下命令:
bob@desktop:~/isaac$ engine/build/scripts/install_dependencies_jetson.sh -u <jetson_username> -h <jetson_ip>
其中<jetson_username>是您机器人上的用户名,而<jetson_ip>是机器软的IP地址。
5.此步骤是可选的,但使开发更容易。确保台式机上有SSH密钥。然后使用与以下命令类似的命令,使用用于登录机器人的用户名和IP将SSH身份复制到机器人:
bob@desktop:~/isaac$ ssh-copy-id <username_on_robot>@<robot_ip>
其中<username_on_robot>是您在机械手上的用户名,而<robot_ip>是机械手的IP地址。
运行您的第一个应用程序:操纵杆
以下步骤将部署一个简单的操纵杆应用程序,该应用程序使用配对的操纵杆来控制机器人。相同的步骤可用于在机器人上部署和运行其他应用程序。
1.要(//apps/kaya:joystick)
在机器人上运行操纵杆应用程序,请使用以下命令从桌面将软件包部署到机器人:
bob@desktop:~/isaac$ ./engine/build/deploy.sh --remote_user <username_on_robot> -p //apps/kaya:joystick-pkg -d jetpack43 -h <robot_ip>
其中,<robot_ip>是机械手的IP地址,而<username_on_robot>是您在机械手上的用户名。
注意
如果未使用–remote-user选项指定用户名,则使用的默认用户名是nvidia
。
该选项指定您正在使用Jetpack 4.3版构建并部署到Jetson设备。-d jetpack43
- 登录到机器人以运行该应用程序:
bob@jetson:~/isaac$ ssh ROBOTUSER@ROBOTIP
- 转到机器人上的部署文件夹并运行该应用程序:
bob@jetson:~/$ cd deploy/<bob>/joystick-pkg/
bob@jetson:~/deploy/<bob>/joystick-pkg$ ./apps/kaya/joystick
其中<bob>是您在主机系统上的用户名。
操纵杆上的按钮用作自动扳机。仅在按下触发器时,机器人才会遵循操纵杆命令。
应用-跟我来(Follow Me)
以下步骤将部署一个应用程序,以使Kaya机器人自动移向指定的AprilTag基准点。该应用程序结合了AprilTag检测,路径规划,控制和Kaya驱动程序。它需要一个有效的Realsense摄像机来进行AprilTag检测和路径规划,并需要一个操纵杆来启用自主模式。
cd deploy/<your_username>/follow_me-pkg/
./apps/kaya/follow_me
-
在<nano_ip>:3000的桌面浏览器上打开Isaac Sight。在右侧的“应用程序配置”面板中,单击fiducial_as_goal,然后将target_fiducial_id(默认为“ tag36h11_9”)更改为使用中的AprilTag的ID。
如果将AprilTag放置在realsense相机的视野内,则应该在“跟随者Kaya-相机”窗口中看到检测到4月标签,并且从Kaya机器人到4月标签的蓝线显示了计划的路径。
-
如果按住操纵杆上的R1按钮,则Kaya机器人将进入自主模式,并朝着4月标签移动。移动四月标签,同时使其保持在相机的视野内,然后Kaya跟随它。
映射应用程序(Mapping)
gmapping应用程序演示了如何使用Kaya机器人构建其环境的占用地图。Kaya使用Intel RealSense摄像头感知障碍物深度,并使用车轮里程表和IMU更新其自身状态。障碍物深度和机器人状态信息将发布给主机以构建地图。
该应用程序包含两个部分:在Kaya机器人上运行的gmapping_distributed_kaya和在主机上运行的gmapping_distributed_host。
cd deploy/<your_username>/gmapping_distributed_kaya-pkg/
./apps/kaya/gmapping_distributed_kaya
在<nano_ip>:3000的桌面浏览器上打开Isaac Sight。您应该能够看到相机的RGB和深度图像,以及机器人状态的曲线图。
-
使用操纵杆来驱动Kaya,您应该会看到机器人状态正在更新。
-
在桌面系统上,打开
app/kaya/gmapping_distributed_host.app.json
并将tcp-subscriber主机从“ YOUR_NANO_IP_HERE”更改为机器人上Jetson Nano的IP地址(<nano_ip>)。 -
使用以下命令构建并运行主机应用程序:
bazel build //apps/kaya:gmapping_distributed_host
bazel run //apps/kaya:gmapping_distributed_host
-
在桌面上打开Isaac Sight
localhost:3000
。您应该能够看到Kaya正在制作的地图。使用操纵杆驾驶Kaya并观察地图更新。如果您看到地图更新的性能问题,请转到Isaac Sight网页的“Kaya”页面,并禁用相机RGB和深度可视化(取消选中“通道-查看器(Channels - viewer)”)。
网友评论