在人工智能领域有一句很流行的话：“有多少人工，就有多少智能”。这确实是一个很尴尬的问题，计算机的理解能力是建立在大量的人工标注数据之上的。我们知道，数据标注需要很高的成本，特别是像素级的图像，而且在复杂场景之下，也非常容易出错。
俗话说，人民的智慧是无穷的。为了改善或者解决这个问题，弱监督和无监督学习得到了用武之地。
好了，说到这篇论文，本文讨论的是弱监督学习的问题，主要内容是利用bounding box和少量的mask来进行图像的语义分割。
看一下论文的具体内容：
3. Baseline
BoxSup方法可以应用在所有的基于cnn的mask监督的语义分割网络中。作者采用的是FCN网络，然后使用条件随机场对结果进行优化。（ps：其实，就是FCN那一套，这篇论文也是在FCN的基础上做了一些改进）
而且，在FCN中，目标函数是这样的：
这篇论文既然是在FCN上进行的改进，那么目标函数肯定是要变一变的，具体怎么变，后面具体说。
4. Approach
4.1. Unsupervised Segmentation for Supervised Training
首先使用无监督方法产生一些candidate segments，然后利用这些candidate segments去更新网络参数。接下来，更新之后的网络又会产生一些更好的candidate。这个过程一直迭代进行下去，下面来张图来描述这个过程：
是不是很形象？这里有一点要注意的是，产生region proposal的步骤只出现在训练的过程中，在测试的时候，直接把网络的前向传播跑一遍就完事了。
4.2. Formulation
这部分只有两个公式，就是把FCN的目标函数按照这个思路稍微改造一下就可以了。
稍微解释一下这个公式，首先给产生的所有candidate segments一个类别标签，其中lB表示：bouding box的类别标签，lS表示：semantic label，如果两者相等，那么
是不是和FCN的目标函数很像？其实就是把标注的mask换成了我们自己生成的candidate segments。
最终的目标函数就变成了这样滴：
其中，
从结果中可以看出，只使用bounding box的话，平均IoU和其他两种方法稍微逊色。只使用mask信息和semi方法（同时使用bounding box和mask信息）得到的结果几乎差不多。但是，semi方法的优势在于bounding box数据和mask数据的比例为1：9。也就是说：这里只使用了少量的mask数据，就达到了和全部都使用mask数据差不多的效果，节约了很多成本。
Error Analysis
从作者的分析中，得到了一个很有意思的结论：将bounding box的信息应用在网络中，对于物体边缘的识别效果提升有限，而对于物体内部信息的识别效果可以得到很大程度的提高。
也就是说，应用bounding box的信息之后，网络在物体内部（特别是物体中心）的特征提取能力得到了很大的提高，最后反而会使得物体的分类精度得到提高。当然，这也会提高网络segmatic segmentation的表现。
网友评论