YolactEdge：首个开源边缘设备上的实时实例分割（Jets

编译 | CV君

报道 | 我爱计算机视觉（微信id：aicvml）

YolactEdge 是第一个可在小型边缘设备上以实时速度运行的有竞争力的实例分割方法。

在550x550分辨率的图像上，以ResNet-101为主干网的YolactEdge 在Jetson AGX Xavier上的运行速度高达30.8 FPS（在RTX 2080 Ti上的运行速度为172.7 FPS）。

YolactEdge: Real-time Instance Segmentation on the Edge (Jetson AGX Xavier: 30 FPS, RTX 2080 Ti: 170 FPS)

论文：https://arxiv.org/abs/2012.12259

代码：https://github.com/haotian-liu/yolact_edge

单位：亚马逊；加利福尼亚大学戴维斯分校

作者：Haotian Liu, Rafael A. Rivera Soto, Fanyi Xiao, Yong Jae Lee

该文主要在YOLACT算法基础上进行了两个方面的改进：

(1) TensorRT 程序优化，权衡速度和精度； 

(2) 提出一种新的特征 warping 模块，以利用视频中的时间冗余。

作者已经提供了YouTube VIS 、COCO数据集上训练的众多模型：

可以直接跑起来。

对于做研究的同学来说，作者也提供了简单方便的在主流数据集上评估方法，方便改进后模型比较。

另外，该代码提供了详细的在已有和新数据集上的训练方法，方便做工程的同学自己训练。

相关演示Demo:

https://www.bilibili.com/video/BV1SV411h7qi/

总之，对于做实例分割的同学来说，YolactEdge是近期非常值得参考的算法。