深度学习之 hard negative mining （难例挖掘）

Hard Negative Mining Method 思想

hard是困难样本，negative是负样本，hard negative就是说在对负样本分类时候，loss比较大（label与prediction相差较大）的那些样本，也可以说是容易将负样本看成正样本的那些样本。

例如roi里没有物体，全是背景，这时候分类器很容易正确分类成背景，这个就叫easy negative；
如果roi里有二分之一个物体，标签仍是负样本，这时候分类器就容易把他看成正样本，即假阳性(false positive)，这时候就是hard negative。

hard negative mining就是多找一些hard negative加入负样本集，进行训练，这样会比easy negative组成的负样本集效果更好。主要体现在虚警率更低一些（也就是false positive少）。因为它相当于一个错题集。

如何判断它为困难负样本呢？也很简单，我们先用初始样本集去训练网络，再用训练好的网络去预测负样本集中剩余的负样本，选择其中得分最高，即最容易被判断为正样本的负样本为困难样本，加入负样本集中，重新训练网络，循环往复，然后我们会发现:咦！我们的网络的分类性能越来越强了！假阳性负样本与正样本间也越来越相似了！(因为此时只有这些妖怪区域能迷惑我们的分类器了)。

Hard Negative Mining Method 使用

通常使用 Hard Negative Mining Method 的方法为：

迭代地交替训练，用样本集更新模型，然后再固定模型来选择分辨错的目标框并加入到样本集中继续训练。传统，我们会使用 SVM + Hard Negative Mining Method 进行训练
Hard Negative Mining Method 缺点

那么传统的 Hard Negative Mining Method 有什么缺点呢？

Hard Negative Mining Method 很难应用到 end-to-end 的检测模型。因为 Hard Negative Mining Method 需要迭代训练，如果我们将他使用到 end-to-end 的卷积神经网络，需要每次将网络冻结一段时间用来生成 hard negative。而这对于使用线上优化的算法来说是不可能的，例如 SGD (随机梯度下降算法)。使用 SGD 来训练网络需要上万次更新网络，如果每迭代几次就固定模型一次，这样的速度会慢得不可想象。

我们可以观察到在 fast rcnn 和 faster rcnn 中都没有用到 Hard Negative Mining Method。这就是因为如上的原因，一般使用 SVM 分类器才能使用此方法（SVM 分类器和 Hard Negative Mining Method 交替训练）