在 ROS 中提取 Kinect 图像信息

引言

在机器人和计算机视觉领域，微软的游戏外设 Kinect 是非常流行的感知设备。它可以同时提供普通的 RGB 图像，红外图像、深度图像以及 RGB图像与深度图像的点集匹配 （point set registration 或者称为 point matching）。

Kinect 有两个比较常见的版本：

• Kinect for XBOX 360，一般称为 Kinect v1，即第一代 Kinect，外观如下：

  
  kinect1.jpeg

• Kinect for XBOX ONE，一般称为 Kinect v2，外观如下：

  
  kinect2.jpeg

在本项目中我们选用 Kinect v2。

为了将 Kinect 的图像信息发布到 ROS 中，需要做两方面的工作

1. 安装 Kinect 的驱动
2. 安装 Kinect 相关的 ROS package

本文主要参考了下边的文章，并对其中的部分内容做了修改、更新
https://github.com/code-iai/iai_kinect2
https://github.com/OpenKinect/libfreenect2

平台

• Ubuntu 16.04
• ROS Kinetic 版本
• USB 3.0

尽管我们的机子上有 Nvidia 显卡，也装了 CUDA，但是在之前的使用中经常出现与 CUDA 相关的问题。所以为了避免麻烦，我们在后续的编译过程中将禁用 CUDA。

安装 Kinect 开源驱动程序 libfreenect2

1. 安装编译工具

   sudo apt-get install build-essential cmake pkg-config
   

2. 安装 libusb，用来与 usb 设备交互

   sudo apt-get install libusb-1.0-0-dev
   

3. 安装 TurboJPEG，用于 JPEG 格式图片编码与压缩

   sudo apt-get install libturbojpeg libjpeg-turbo8-dev
   

4. 安装 OpenGL

   sudo apt-get install libglfw3-dev
   

5. 安装视频硬件加速 API — VAAPI

   sudo apt-get install libva-dev libjpeg-dev
   

6. 安装 OpenNI2

   sudo apt-get install libopenni2-dev
   

7. 下载 libfreenect2 源文件并编译

   git clone https://github.com/OpenKinect/libfreenect2.git
   cd libfreenect2
   mkdir build 
   cd build
   cmake .. -DCMAKE_INSTALL_PREFIX=$HOME/freenect2  -DENABLE_CUDA=OFF
   make
   make install
   

   其中 -DENABLE_CUDA=OFF 参数就是禁用 CUDA。
   在编译过程中如果出现了与 libusb 有关的错误，可能是 ubuntu kernel 的问题，换一个 kernel 就可以了。可以用软件 ukuu 安装新的 kernel，图形界面操作，非常直观。
8. 权限设置。一般情况下要与硬件设备交互需要超级用户权限，即用 sudo 。为了避免这种麻烦，我们用如下的方法设置权限：

   sudo cp ../platform/linux/udev/90-kinect2.rules /etc/udev/rules.d/
   

9. 测试。重新插拔一下 Kinect，然后执行如下程序：

   ./bin/Protonect
   

   执行以上程序时，当前目录依然是 build 文件夹。
   如果一切顺利，会出现 viewer 窗口，包括四个画面，分别是 RGB，红外，深度，以及深度与 RGB 的点匹配画面。

安装 Kinect 相关的 ROS package

1. 下载 package

   cd ~/catkin_ws/src/    
   git clone https://github.com/code-iai/iai_kinect2.git
   

   上边第一行命令是假设本机已有了 ROS workspace。设置 workspace 的方法可以参考我们之前的文章。
2. 安装 ROS package 的依赖

   cd iai_kinect2
   rosdep install  --from-paths .  --ignore-src
   

3. 编译 ROS package

   cd ~/catkin_ws
   catkin_make
   

   如果在编译时报错找不到 libfreenect2 文件，则将 catkin_make 命令修改为：

   catkin_make -Dfreenect2_DIR=$HOME/freenect2/lib/cmake/freenect2
   

   即指明了前边安装的 freenect2 库的路径。
4. 测试

   roslaunch kinect2_bridge kinect2_bridge.launch
   rosrun kinect2_viewer kinect2_viewer kinect2 sd image
   

   如果一切顺利，则会看到 RGB 图片。这里参数可以选
   • sd： 512x424 像素
   • qhd: 960x540 像素
   • hd: 1920x1080 像素
   • ir: 红外图像
   • image: 以图像的形式显示
   • cloud : 以点云的形式显示
   • both: 一起显示
5. 在 rviz 中显示
   我们也可以在 rviz 中可视化 kinect 发布的图像信息。实际上，当运行

   roslaunch kinect2_bridge kinect2_bridge.launch
   

   的时候，kinect 已经在向 ROS topic 上发布信息了，可以通过 rqt_graph 查看，部分显示如下：
   ros_graph.png
   既然有了 topic，就可以很简单的在 rviz 中将对应的 topic 显示出来。
   启动 rviz

   rviz
   

   添加 topic 如下

   
   rviz.png
   

   点击 OK 之后就可以看到 Kinect 发布的图片了。

有了 Kinect 发布的 RGB 和 Depth 图像，后续就是具体的项目应用了，这部分内容将在其他文章中介绍。