| titile | Libra R-CNN: Towards Balanced Learning for Object Detection |
|---|---|
| url | https://arxiv.org/pdf/1904.02701.pdf |
| 动机 | 追求sample level、feature level和objective level的balance |
| 内容 |
问题： 目标检测的性能受训练过程imbalance的影响。 训练过程中的主要问题： 1、sample level：IoU-balanced sampling选择的样本是否有代表性。 mining方法：对噪声类别敏感，有memory和计算损耗。 Focal loss：对二阶段R-CNN几乎没提升，因为easy negatives被两阶段过滤。 2、feature level：balanced feature pyramid 提取的features是否充分利用。 现有方法中integrated features更关注相邻分辨率，更少关注其他分辨率。在信息流中，integrated应包含非相邻级别中的语义信息。 3、objective level：balanced L1 loss设计的objective function是否最优。 classification and localization not balance,会有次优的性能，与easy和hard examples相似。 
IoU-balanced Sampling：
1、采样的样本分布中hard negtive更多。2、参数K对结果影响不大。 3、负样本：增加hard negatives，将samples根据IOU分成K个bin，然后从每个bin取等量的negatives，IOU大的更容易选择，如果有的bin不够N/K个，就会再从所有samples中选择。 4、正样本：每个gt_box类对应的boxes为一个bin，每个gt_box的boxes取相同数量的boxes，不够则随机选择。 Balanced Feature Pyramid： 整个过程分为四步：rescaling, integrating, refining and strengthening，将多层语义信息进行整合。 1、Obtaining balanced semantic features： (1)将C2-C5层resize到C4的大小（max pooling或插值）。 (2)对rescale之后的features取均值，balanced semantic features。 
(3)使用相同但相反的过程rescale整合的特征，增强原始特征。每种分辨率的特征都可以从其他分辨率中获得相同的信息。(4)性能提升，参数没有增加 2、Refining balanced semantic features： 卷积或non-local模块均可用来refine，non-local更稳定，所以采用embedded Gaussian non-local attention，加强特征整合。 
Balanced L1 Loss： 
Faster rcnn的loss直接增加localization的权重，会增加outlier的影响(loss大于等于1的样本)localization(均为正样本)过程中outlier是hard examples会影响训练过程，inlier的easy examples在训练过程中相比与outlier只占30%的梯度贡献。 
Balanced L1 Loss设计：1、传统L1 smooth通过拐点来区别outlier和inlier。 2、Balanced L1提升重要的回归梯度，即gradients from inliers (accurate samples)。 3、训练中localization和classification更均衡。 
较小α增加inlier梯度，outlier梯度不变。γ调整回归误差的上限，帮助目标函数平衡任务。 b确保等式中两个公式x = 1时有相同值。 
|
| 实验 |
Implementation Details： 8 GPUs (2 images per GPU) ，12 epochs，initial learning rate 0.02, 8和11 epochs学习率乘0.1。 Main Results： 
Ablation Experiments：Overall Ablation Studies 
ResNet-50 FPN Faster R-CNN baseline(1)IoU-balanced Sampling： 
(2)Balanced Feature Pyramid(3)Balanced L1 Loss Ablation Studies on IoU-balanced Sampling 
Ablation Studies on Balanced Feature Pyramid：
Ablation Studies on Balanced L1 Loss：
|
| 思考 | 在我自己的数据集，retinanet加balanced L1，增大regression权重可以涨1.7个点，IoU-balanced sampling无效果，掉点；faster rcnn默认值训练也可涨 |
| 补充知识 | non-local:
参考
|
网友评论