深度残差网络_深度残差收缩网络:(三) 网络结构
1. 回顾一下深度残差网络的结构
在下图中,(a)-(c)分别是三种残差模块,(d)是深度残差网络的整体示意图。BN指的是批标准化(Batch Normalization),ReLU指的是整流线性单元激活函数(Rectifier Linear Unit),Conv指的是卷积层(Convolutional layer),Identity shortcut指的是跨层的恒等映射,RBU指的是残差模块(Residual Building Unit),GAP是全局均值池化(Global Average Pooling),FC是全连接层(Fully Connected Layer)。
C表示特征图的通道数,W表示特征图的宽度,1表示特征图的高度始终为1(这是因为这篇文章以一维的振动信号作为输入)。
在Conv后的括号中,K表示卷积层中卷积核的个数。当K=C时,输出特征图的通道数为C。当K=2C时,输出特征图的通道数为2C。/2表示的是卷积核每次移动的步长为2,从而使得输出特征图的宽度减半。
我们可以看到,在图(a)中,输入特征图的尺寸为C×W×1,输出特征图的尺寸也是C×W×1,也就是说,特征图的尺寸保持不变。在图(b)中,输出特征图的尺寸减小为C×(0.5W)×1,换言之,宽度减小为原先的一半。在图(c)中,输出特征图的尺寸变为2C×(0.5W)×1,即不仅宽度减小为原先的一半,而且通道数增加了一倍。
2. 深度残差收缩网络的网络结构
在该论文中,提出了两种深度残差收缩网络(Deep Residual Shrinkage Networks,简称DRSN)。第一种是“通道之间共享阈值的深度残差收缩网络(Deep Residual Shrinkage Networks with Channel-shared Thresholds,简称DRSN-CS)”,第二种是“逐通道不同阈值的深度残差收缩网络(Deep Residual Shrinkage Networks with Channel-wise Thresholds,简称DRSN-CW)”。
在下图中,(a)表示一种改进后的残差模块,名为“残差收缩模块-通道之间共享阈值(Residual Shrinkage Building Unit with Channel-shared thresholds,简称RSBU-CS)”;(b)表示的是DRSN-CS的整体结构示意图;(c)表示另一种改进后的残差模块,名为“残差收缩模块-逐通道不同阈值(Residual Shrinkage Building Unit with Channel-wise thresholds,简称RSBU-CW)”;(d)表示的是DRSN-CW的整体结构示意图。
其中,M表示的是全连接层神经元的个数。M=C表示神经元的个数与之前特征图的通道数相等,M=1表示神经元的个数为1。Absolute表示对特征图中的每个元素取绝对值,Average表示求特征图内所有元素的平均值。
可以看出,深度残差收缩网络的整体结构,和传统的深度残差网络,没有区别。其区别在于残差模块的不同。在改进后的残差模块中,不仅有一个软阈值化函数作为非线性层,而且嵌入了一个子网络,用于自动地设置软阈值化所需要的阈值。
前两篇的内容:
深度残差收缩网络:(一)背景知识
深度残差收缩网络:(一)背景知识 - yc_9527 - 博客园www.cnblogs.com
深度残差收缩网络:(二)整体思路
深度残差收缩网络:(二)整体思路 - yc_9527 - 博客园www.cnblogs.com
M. Zhao, S. Zhong, X. Fu, B. Tang, and M. Pecht, “Deep Residual Shrinkage Networks for Fault Diagnosis,” IEEE Transactions on Industrial Informatics, 2019, DOI: 10.1109/TII.2019.2943898
Deep Residual Shrinkage Networks for Fault Diagnosisieeexplore.ieee.org
深度残差网络_深度残差收缩网络:(三) 网络结构相关推荐
- 深度学习深度前馈网络_深度学习前馈网络中的讲义第4部分
深度学习深度前馈网络 FAU深度学习讲义 (FAU Lecture Notes in Deep Learning) These are the lecture notes for FAU's YouT ...
- python实现胶囊网络_深度学习精要之CapsuleNets理论与实践(附Python代码)
摘要: 本文对胶囊网络进行了非技术性的简要概括,分析了其两个重要属性,之后针对MNIST手写体数据集上验证多层感知机.卷积神经网络以及胶囊网络的性能. 神经网络于上世纪50年代提出,直到最近十年里才得 ...
- 深度学习深度前馈网络_深度学习前馈网络中的讲义第1部分
深度学习深度前馈网络 FAU深度学习讲义 (FAU Lecture Notes in Deep Learning) These are the lecture notes for FAU's YouT ...
- 深度学习 图像分类_深度学习时代您应该阅读的10篇文章了解图像分类
深度学习 图像分类 前言 (Foreword) Computer vision is a subject to convert images and videos into machine-under ...
- 深度强化学习_深度学习理论与应用第8课 | 深度强化学习
本文是博雅大数据学院"深度学习理论与应用课程"第八章的内容整理.我们将部分课程视频.课件和讲授稿进行发布.在线学习完整内容请登录www.cookdata.cn 深度强化学习是一种将 ...
- lgg7深度详细参数_深度学习平均场理论第七讲:Batch Normalization会导致梯度爆炸?...
前言 Batch Normalization (BN)对于深度学习而言是一项非常重要的技术.尽管BN在网络训练的过程中表现力非常强大,但是大家始终没有一个很好的理论上的清晰理解.今天我们就试图解读这篇 ...
- 深度学习算法_深度学习算法
人工智能领域广泛,存在时间较长.深度学习是机器学习领域的一个子集,而机器学习是人工智能领域的一个子集.一般将深度学习网络与"典型"前馈多层网络从如下方面进行区分: 深度学习网络具有 ...
- 对抗生成网络_深度卷积生成对抗网络
本教程演示了如何使用深度卷积生成对抗网络(DCGAN)生成手写数字图片.该代码是使用 Keras Sequential API 与 tf.GradientTape 训练循环编写的. 什么是生成对抗网络 ...
- 深度信念网络_深度学习如何感知跟踪位置变化
位置感知能力是基于位置的服务(LBS)的核心.但是,准确估计目标的位置有时候并不是一件容易的事.全球定位系统(GPS)是户外最好的位置感知计算使能者,能够直接输出地理空间坐标,但其误差可能会超出某些应 ...
最新文章
- 基于Bootstrap里面的Button dropdown打造自定义select
- Oracle的SQL语句
- python虚拟环境中文件分部_Python之虚拟环境管理
- ECCV 2020 亮点摘要(上)
- linux缩小lv发生文件系统错误
- compress()方法
- pHp30充电宝能用快充吗,65W快充 30分钟充满电 是时候淘汰充电宝了吗?
- 敏捷系列情景剧 | 如何“正确”开每日站会
- 『线性同余方程和中国剩余定理』
- XXE漏洞 解决方案(JAVA版本)
- Logism · 八位可控加减法器 实验
- MyBatis入门到精通
- 为什么我的echarts字体样式这么丑?Echarts 柱状图、饼图 等标签、字体、样式调整
- 计算机中数据的表现形式
- Exchange如何配置安装导入SSL数字证书
- Python数据挖掘:利用聚类算法进行航空公司客户价值分析
- 什么情况下会出现笛卡尔积
- sunspot solr
- 前端:页面内容不够,始终把footer固定在底部
- Time Out“全球超酷街区”榜单新鲜出炉
热门文章
- Excel2013的PowerView报表
- 高斯求和1+2+3+······+n-1+n=?
- iphone three20 保存本地的图片
- linux下Oracle 10g的安装
- 《抉择与命运》读后感
- 华为机试HJ65:查找两个字符串a,b中的最长公共子串
- hive jdbc 访问 配置_Hive入门级教程(详细)
- snmp是什么层协议_计算机网络基础:TCP/IP协议相关知识笔记?
- mysql 建模教程 pdf,PowerDesigner 15 系统分析与建模实战 PDF扫描版[50MB]
- fiddler模拟不同的IP