Spatial-Channel Sequeeze Excitation (SCSE)-8-June-2018【论文理解】

文章目录

前言
SE（cSE）
sCE
scCE
模型复杂度分析
分割结果展示
参考

前言

在分割领域，目前的网络改进方式一般是改进encoding层，或者是改进跨层连接的方式；但是此篇论文受到SE(squeeze&excitation)模块的提示，提出了另外三种模式sSE,cSE,scSE，来对网络特征进行调整，重视（加大权重）重要的特征图或者是特征通道，减小不重要特征的影响，从而改善图像分割结果。其实第三种就是第一种和第二种的粗暴结合。实验了在大脑MRI分割中的效果。

SE（cSE）

SE(squeeze&excitation)[1]核心思想在于通过网络根据loss去学习特征权重，使得有效的feature map权重大，无效或效果小的feature map权重小的方式训练模型达到更好的结果。当然，SE block嵌在原有的一些分类网络中不可避免地增加了一些参数和计算量，但是在效果面前还是可以接受的。模块如下图所示：

具体可以过程可以参考博客[2]，过程其实和[1]是一样的。此处的SE即cSE，Spatial Squeeze and Channel Excitation Block，核心操作是全局池化层以及两层全连接层。本论文中图如下：

输入特征图为U=[u1,u2,...,uc]U= [u_1,u_2,...,u_c]U=[u1,u2,...,uc]，其中每个通道uiu_iui,ui∈RH∗Wu_i \in\mathbb{R}^{H*W}ui∈RH∗W，U经过全局池化层（GAP）之后得到向量z，z∈R1∗1∗Cz \in\mathbb{R}^{1*1*C}z∈R1∗1∗C
每个位置k的值为：

得到的向量经过两次全连接层，W1W_1W1,W2W_2W2分别为全连接层的权重，过程如下：

此处与[1]略有不同，[1]使用的是16，即C∗C16C*\frac{C}{16}C∗16C，此处为2。之后经过ReLU,这个过程增强了各个通道之间的独立性。对z^\hat{z}z^经过sigmod层，归一化到0到1之间得σ(z^)\sigma(\hat{z})σ(z^)。整个过程可以用如下公式来代表：

zi^\hat{z_i}zi^代表的信息就是第i个通道uiu_iui的重要性程度。

sCE

先在通道上进行压缩，再在空间部分上进行Excitation ，如下图所示：

对于输入层的一个特征图，U=[u1,1,u1,2,....,ui,j,.....,uH,W,]U = [u^{1,1},u^{1,2},....,u^{i,j},.....,u^{H,W},]U=[u1,1,u1,2,....,ui,j,.....,uH,W,]，H,W分别为特征图的尺寸，（i，j）为特征图的空间位置，通过卷积实现空间挤压操作，此处的卷积为1×1的卷积，且输出通道数为1，如下：Wsq∈R1∗1∗C∗1W_{sq}\in\mathbb{R}^{1*1*C*1}Wsq∈R1∗1∗C∗1，操作如下：

输出为q，q为通道为1的特征图，再经过sigmod对其进行归一化操作到[0-1].操作如下：

其中σ(qi,j)\sigma(q_{i,j})σ(qi,j)代表特征图中空间位置坐标（i,j）的重要性。

scCE

Spatial and Channel Squeeze & Excitation Block (scSE),即以上两者的结合，如下图所示：

还是比较通俗易懂的操作。

模型复杂度分析

【TODO】

分割结果展示

参考

[1]Hu, J., Shen, L. and Sun, G. Squeeze-and-excitation networks. In CVPR 2018.
[2]https://blog.csdn.net/yimingsilence/article/details/79233650