[HSI论文阅读] | SSRN：Spectral-Spatial residual network for HSI classification

写在前面

论文：

Z. Zhong, J. Li, Z. Luo and M. Chapman, “Spectral–Spatial Residual Network for Hyperspectral Image Classification: A 3-D Deep Learning Framework,” in IEEE Transactions on Geoscience and Remote Sensing, vol. 56, no. 2, pp. 847-858, Feb. 2018, doi: 10.1109/TGRS.2017.2755542.

代码：

https://github.com/zilongzhong/SSRN

本文整理的论文SSRN(光谱-空间残差网络)发表于2018年2月份，是基于CNN的HSI分类中一篇比较经典的论文。

⭐️ 出发点：在当时前人提出的基于三维卷积分类模型的基础上，引入了残差网络的skip connection的思想⇒\Rightarrow⇒好处则是可以使用更深层的神经网络，提升分类性能。

⭐️ 思路：针对输入的三维立方体高光谱数据邻域块，设计单独的光谱残差块和空间残差以提取丰富的光谱和空间特征；而且网络组织顺序为：首层卷积→\rightarrow→光谱残差块→\rightarrow→空间残差块→\rightarrow→线性层，这种结构被SSRN后续很多论文参考借鉴。

⭐️ 论文写作：使用图片、文字和公式很清晰地描述了三维卷积、BatchNormalization、Residual Connection的计算过程，整体网络结构介绍得也很清晰，这一点我非常喜欢。

⭐️ 实验组织：由于作者设计了两种残差块，在实验的过程中，分别验证了这两种残差的作用(去掉任何一个，网络性能都会下降)

1 Introduction

这部分主要是介绍前人的工作：基于特征工程的分类模型和基于深度学习的分类模型。

通过这部分，可以看出作者的研究思路：当时已经有基于三维卷积神经网络的HSI分类模型，残差网络的设计思想也得到了大家的认可，所以结合二者提出SSRN。

2 数据划分

这部分内容比较容易理解，数据划分就是将整个数据集划分为：训练集、验证集和测试集，分别用于更新模型的参数、验证中间模型的分类准确率和度量模型的泛化能力。

3 SSRN结构细节

3.1 整体网络基于三维卷积运算，同时在每层三维卷积后设置了BN层：

HSI是三维数据，记三个维度为：宽度、高度、深度；那么三维卷积与二维卷积相比，增加了一个维度，意味着卷积核不仅要在输入特征图的宽度和高度方向移动计算卷积值，还要在深度方向移动。

3.2 光谱残差块–>提取光谱特征：

设计细节：

每层的基本运算：3.1节中介绍的三维卷积→\rightarrow→Batch Normalization；
卷积核：1∗1∗m1*1*m1∗1∗m→\rightarrow→宽度和高度方向卷积核尺寸为1，光谱维度方向卷积核尺寸为m；好处是既可以提取光谱特征，也可以避免三维卷积参数的急剧增长；
残差连接：在每两个三维卷积层之间使用残差连接；
padding：卷积计算时，设置padding，确保输出的特征图尺寸相同，方便残差连接时对应的值相加；

3.3 空间残差块–>提取空间特征：

设计细节：

卷积核：a∗a∗da*a*da∗a∗d→\rightarrow→卷积核光谱维度尺寸d与空间残差块输入特征图的光谱维度尺寸d相同；
这里的图有一点小问题：w×w×dw \times w \times dw×w×d的输入与nnn个a×a×da \times a \times da×a×d的卷积核进行卷积运算(加padding)，得到的输出特征图应该是w×w×nw \times w \times nw×w×n。但影响不大，因为具体在实现时，作者设置了d=nd=nd=n；

3.4 整体结构
以IndiaPines数据集为例，展示了整体的网络结构：

设计细节：

在光谱特征学习部分：最后一层卷积卷积核的光谱维度大小等于输入特征图光谱维度大小；在图中，最后一层卷积输入为7×7×977 \times 7 \times 977×7×97，卷积核尺寸为1×1×971 \times 1 \times 971×1×97；
图中的一个小问题：

4 实验设计

4.1 参数设置

除了基本的超参数设置外，作者还考虑到了影响模型容量的卷积核数量，即残差块中每层卷积的卷积核个数(kernel_number)。
数据预处理：在送入网络之前，进行了减去均值除以方差的预处理。

4.2 对比实验

一方面是与其他已有分类模型进行对比，对比OA、AA和Kappa这三个定量指标；
另一方面考虑不同的输入大小、不同的训练样本数量、不同残差块的数量对结果的影响，以充分验证设计的模型具有良好的泛化能力；
此外对比训练和测试时间，基于残差连接的网络确实需要比较长的训练时间。

5 小结

这篇论文其实看得很早，是我入门HSI时学习的论文，当时由于相关的英文单词都看不懂，忽略了很多细节：比如数据的预处理(减去均值除以方差)、比如光谱学习块和空间学习块连接处的卷积和尺寸设计；在经历了自己设计网络和调参后，发现细节真的很重要！
要敢于质疑：以前看到感觉有点不对的地方，总是怀疑是不是自己想错了；有时候论文不可能完美地毫无瑕疵，出现一些小问题也很正常，自己要敢于质疑！保持好奇~

小插曲：分享此刻听到的音乐~

回首望路遥遥多少脚印深深 ~
抬头看路漫漫理想依然在召唤 ~