深度残差收缩网络：（一）背景知识

总共六篇文章：

　　深度残差收缩网络：（一）背景知识深度残差收缩网络：（一）背景知识_马鹏森的博客-CSDN博客

　　深度残差收缩网络：（二）整体思路深度残差收缩网络：（二）整体思路_马鹏森的博客-CSDN博客

　　深度残差收缩网络：（三）网络结构深度残差收缩网络：（三）网络结构_马鹏森的博客-CSDN博客

　　深度残差收缩网络：（四）注意力机制下的阈值设置深度残差收缩网络：（四）注意力机制下的阈值设置_马鹏森的博客-CSDN博客

　　深度残差收缩网络：（五）实验验证深度残差收缩网络：（五）实验验证_马鹏森的博客-CSDN博客

深度残差收缩网络：（六）代码实现深度残差收缩网络：（六）代码实现_马鹏森的博客-CSDN博客

深度残差收缩网络（Deep Residual Shrinkage Network）是深度残差学习（Deep Residual Network, ResNet）的一种改进，发表在IEEE Transactions on Industrial Informatics上，面向的是数据包含噪声的情况。

简单地讲，深度残差收缩网络就是，将软阈值化作为可训练的模块，嵌入到ResNet之中。

（1）噪声的含义

如上所述，深度残差收缩网络面向的是数据包含噪声的情况。事实上，这里的“噪声”，可以有更宽泛的解释。“噪声”不仅可以指数据获取过程中所掺杂的噪声，而且可以指“与当前任务无关的信息”。比如说，我们在训练一个猫狗分类器的时候，如果图像中存在老鼠，那么老鼠就可以理解为一种噪声。

或者说，在故障诊断领域，对于一个复杂的机械系统，可能存在很多个激振源。许多个轴、轴承、齿轮和联轴器等的旋转或啮合都可能会激发振动。这些振动成分都混杂在所采集的振动信号中。如果我们的目的是检测某一零件（比如某一个齿轮）是否发生故障，则其他零件所激发的振动，在一定程度上，都可以理解为噪声。

从这个角度来讲的话，深度残差收缩网络可能有着更宽广的应用场景。

（2）软阈值化（soft thresholding）

软阈值化是信号降噪里一个非常常见的概念，它指的是将一段信号的值，朝着“零”的方向进行收缩。比如，在下面的这张图片里，横轴x表示输入，纵轴y表示输出。那么，相较于输入信号，输出信号就朝着“零”发生了收缩。

　　这种降噪方式有一个前提。那就是，接近于零的部分是噪声，或者说，是不重要的，可以被剔除掉。然而，事实上，对于很多信号，接近于零的部分，可能包含着许多有用的信息，不能直接被剔除掉。所以，现在通常不会直接对原始信号进行软阈值化处理。

　　针对上面这个问题，传统的思路是将原始信号进行某种变换，将原始信号转换成其他形式的表征。理想情况下，在这种转换后的表征里，接近于零的部分，是无用的噪声。在这个时候，再采用软阈值化对转换后的表征进行处理。最后，将软阈值化处理之后的表征，重构回去，获得降噪后的信号。举个例子，小波分析经常作为信号的变换方法。一种经典的小波降噪流程是“小波分解→软阈值化→小波重构”。通过这种方式，就可以实现信号的降噪。

　　然而，这种信号降噪方式有一些悬而未决的问题。首先，在小波分析中，如何构建最适合当前信号的小波函数，或者说滤波器、局部滤波算子，一直是一个很困难的问题。换句话说，在小波分解之后，可以获得一个信号表征（一组小波系数）；在这个信号表征里面，接近于零的部分，未必就是噪声，可能还包含着许多有用的信息；对这个表征进行软阈值化，可能会将有用信息给一并删除了。其次，如何设置软阈值化的阈值，也是一个很困难的问题。

（3）深度残差学习（ResNet）

　　相较于传统的小波分析，深度学习算法（尤其是卷积神经网络）可以自动地学习所需要的滤波器，在一定程度上解决了构建合适滤波器的问题。深度残差网络ResNet是一种改进的卷积神经网络，通过引入跨层连接，降低了模型训练的难度，见下图：

　　在跨层连接的作用下，网络参数的训练难度大幅降低，从而更容易训练出效果很好的深度学习模型，因此ResNet成为了一种非常知名的方法。深度残差收缩网络就是ResNet的一种改进。

reference：深度残差收缩网络：（一）背景知识 - yc_9527 - 博客园