BorderDet（论文解读）

Introduction & problem

目前主流的SSD,RetinaNet,FCOS的目标检测主要的pipleline就是在多尺度的特征图上做分类和回归，而这种single-point（直接对特征图点），并不能有足够多的信息去完整表达实例以及实例的边界信息。之前也有很多work比如说roialign 或者deformable Conv 也是利用了bounding box 里边的其他的信息，但是往往许多是冗余的，不是显式的或者不直接。之前没有工作是显式的直接提取边界的特征信息。

自己的理解：之前就是预测出来的框直接是结果了，只是用了特征图上该点的信息。那么输出出来的这个框中的有效信息还能不能再利用呢？显然是可以的，但是怎么去利用是一个关键，对于细节的定位来说去找到边界的信息直观上是很重要的，然后拿到边界的特征信息再作用回生成该框的特征图的对应点，就相当于对信息的又一次利用，再去那这个加强后的点去预测。这个过程就对应于文章的singer point inhancement.

Motivation

首先通过FCOS为pipleline做了一系列的实验证实，通过对bounding box区域特征的提取enhancement singer point的方法确实work,如下图。

增强的方法就对bounding box 进行采样，然后根据不同的采样方法进行特征提取（取最大值）通过add操作到singer point,就不仅仅有之前网络提取的特征，还有对应的bounding box的更加细节特征，发现（d）所示只对边界中心点进行提取，采样点很少的情况下，也能够达到和提取整个region特征点的效果一样。

沿着这个思路，present 了一个Border Align Moudle，提取边界点的峰值点加强于singer point，如第一幅图的（a）

Idea

首先，使用FCOS一样的流程，Coarse Cls Score and Coarse Box Reg 就是之前网络输出粗糙的分类以及回归参数。有了回归参数就相当于有了对应的于该点的Anchor框。将这个回归参数fed到提出的Border alignment Moudle 里。
Border alignment Moudle 为了保证实验的严谨性，只是用了1X1 Conv 进行升维，将通道数上升至5C，每C个通道表示原始的singer point,left ,top,right,bottom五个feature sensitive map。然后对应的BorderAlign模块取出之前FCOS生成的每一个点生成的回归参数，找到对应anchor的边界
下图就是对应的channel对应5C的sensitive图，为啥时5C作者后边也给了对比实验。
对于每一个singer point,分别对应每一个边界取对应该边界的Channel上去进行采样N个点。然后做Channel wise maxpooling，那么每一个边界的输出相当于是1x1xC,分别对应origin,左右上下五个通道，然后将五个得到的结果concat之后放到singer point对应的位置，所以输出也是WH5C。然后再1*1 Conv降维。就和之前的特征图一样了，这一个流程就相当于是做一次特征图的增强了，对应的singer point就包含了对应chanor 边框的extrame点的feature。
损失函数：就是两次检测的回归分类的loss之和。

Experiments

验证该模块对于分类以及回归的各自的影响，从表格中看对于Iou高的情况更加work，说明边框的信息更加能够对于Iou的提升。

第二个消融实验室采样点个数的选取。

第三个是对于升维的卷积通道到底是5*C还是C一个探讨

第四个是对于chanel wise maxpooing的验证

第五个就是关于bounding box中各种singer point inhancement的方式比较

第六个实验就是模块work对iou的影响，可以看出对于iou阈值大的情况提升还是非常明显

对模型的general验证

state of the art 方法展示

Conclusion

提出了一种目标检测算是新的思路，通过对边界框信息的提取能够能加有效的提取目标，也提出了一种全新的边界提取模块，也是一种泛化性能好并且复杂度很低的网络。