Pyramidal Feature Shrinking for Salient Object Detection

核心思想

现况

现有的做法大多数是通过包含细节的底层特征与包含语义的高层特征简单地大分为聚合实现特征的融合，而这种操作往往回引入噪声对输出造成不良影响。

本文

逐层融合相邻特征节点信息，使细节和语义融合更为高效，忽略干扰信息；这种做法不像其他的做法，其他做法跨级过多，信息差异大，网络无法很好的分辨出噪声与大差异的信息点，因而经常将具有显著差异的信息融合。

该网络只关注相邻信息点的融合，网络相对更能分辨出大差异但关键的信息与噪音，通过多级相邻融合，最后输出需要的输出。

一些需要提到的

跳级融合

对FPN经过可视化可以发现，较大差异的特征直接组合回产生噪声造成网络的性能下降

许多的特征融合网络都进入了如此的误区

相邻融合

受到物种进化的启发，在自然选择的约束下，只有相似的物种之间才能产生真正可繁殖的可长期繁衍下去的后代；自然选择会增强适应环境的基因，抑制不适应环境的基因；

特征融合的其他研究

----这些论文之后需要去看

----U-Net逐步的调节链接将编码器的特征补充到解码器中

----通过空间注意力和通道注意力让网络自主选择更适合当前样本的特征

----通过局部和全局特征来预测显著区域

----通过损失函数优化

----通过结合池化操作捕捉特征

----AIM模块–>相邻特征提取多尺度信息–>SIM

---- Interactive Two-Stream Decoder, ITSD 充分利用显著目标边界图与显著目标图的关系

本文思想

基本结构

相邻融合

----在骨干网络的输出处进行融合，相邻才融合，通过多层的融合选择作用，最适合当前训练环境的输入特性被保留下来，使用AFM模块进一步进行融合与强调。

PSD

基本原理

----是整个模型的名字

----解码器逐层聚合相邻特征，拒绝任何隔离特征融合的操作，避免引入噪声点

实现代码

…

WCAT

基本原理

实现

----将两个输入进行拼接–>所得a

----对a进行1x1卷积的处理后与a进行乘法运算

----通过3x3卷积进行进一步的特征提取

AFM

基本原理

----相邻融合模块

----首先对相邻特征进行空间互补，对不同的特征赋予不同的权值，通过卷积对特征进行压缩

----强调对合适特征的增强与不合适特征的弱化

实现

----输入两个不同大小的特征图a、b，通过上采样使得特征图对齐【b–>b`】

----使a、b`相乘，相乘的结果与原先的两个输入进行相加的操作

----分别使用3x3卷积进行进一步的特征处理

----然后将所得输入WCAT模块

SEM

基本原理

----是对骨架网络的各层输出进行处理

----使用SEM加强输入特征的的丰富性，充分利用输入的原始特征，同时强调大小、多尺度；

----强调输入特征的多尺度性

实现

----对输入进行逐层的邻近融合

----又不断地将高层的融合所得传入底层与低层融合

----逐层前推–>类似数据结构中冒泡排序算法的做法