GHM总结

论文名称：Gradient Harmonized Single-stage Detector
论文地址：传送门

Introduction

single-stage detector虽然面临着训练时的不协调，如正样本和负样本、易分类目标和难分类目标之间质量的巨大差异，但其不失为一种优雅且有效的方法。
在本文中，作者将这种不协调性归结到梯度问题，并提出了一种梯度协调机制（Gradient Harmonizing Mechanism，GHM）来解决这种不协调。GHM可以与分类和回归Loss function相结合，如Cross Entropy、Smooth L1 Loss。

我们知道在one-stage方法的训练过程中，最大的挑战就是正样本和负样本、易分类目标和难分类目标之间的不平衡性，大量易分类的背景样本使得模型并不能学习到目标的真正特征。如果一个目标很容易区分，那么模型并不能从中受益。

梯度范数等效于梯度的大小，范数越大，则梯度就较大。作者通过对梯度范数的分析，发现梯度范数较小时聚集了大量的样本，而这些样本即代表易分类的样本，它们对模型的训练并没有太大的帮助；同时我们还发现有许多梯度范数及其大的样本，他们对目标的分类也没有太大的作用。

因此如果能够对梯度范数十分小的样本和十分大的样本（异常值，outliers）down-weight，那么每个样本的贡献都是均衡的。

Gradient Harmonizing Mechanism

对于二分类问题的Loss函数：Cross Entropy

假设，那么：

接着我们定义：

Gradient Dentisy

接着定义梯度密度协调参数，其中N是样本总数。

GHM-C Loss

将GHM加入到分类Loss当中：

GHM-C Loss

GHM-R Loss

在回归当中使用的L1 Loss：

Experiments