梯度消失、爆炸产生的原因以及解决方法

梯度消失和梯度爆炸的原因：

1.深度网络：神经网络的反向传播是逐层对函数偏导相乘，因此当神经网络层数非常深的时候，最后一层产生的偏差就因为乘了很多的小于1的数而越来越小，最终就会变为0，从而导致层数比较浅的权重没有更新，这就是梯度消失。

梯度爆炸就是由于初始化权值过大，前面层会比后面层变化的更快，就会导致权值越来越大，梯度爆炸的现象就发生了。

网络层之间的梯度（值大于 1.0/值小于1）重复相乘导致的指数级增长会产生梯度爆炸/梯度消失。

2.采用了不合适的激活函数：通常神经网络所用的激活函数是sigmoid函数，这个函数有个特点，就是能将负无穷到正无穷的数映射到0和1之间，并且对这个函数求导的结果是f′(x)=f(x)(1−f(x))。因此两个0到1之间的数相乘，得到的结果就会变得很小了。

解决方法：

1.与训练加微调

2.梯度剪切，正则化

3.采用relu，leakrelu等激活函数

4.batchnorm

5.残差结构

梯度消失、爆炸产生的原因以及解决方法相关推荐

梯度消失和梯度弥散现象形成的原因和解决方法
1 梯度消失和梯度爆炸产生的原因 https://blog.csdn.net/yhily2008/article/details/80790476 https://zhuanlan.zhihu.com ...
梯度消失与梯度爆炸产生原因及解决方法
1 .什么是梯度消失和梯度爆炸在反向传播过程中需要对激活函数进行求导,如果导数大于1,那么随着网络层数的增加梯度更新将会朝着指数爆炸的方式增加这就是梯度爆炸.同样如果导数小于1,那么随着网络层数的增 ...
深度学习100问之深入理解Vanishing/Exploding Gradient（梯度消失/爆炸）
这几天正在看梯度消失/爆炸,在深度学习的理论中梯度消失/爆炸也是极其重要的,所以就抽出一段时间认真地研究了一下梯度消失/爆炸的原理,以下为参考网上的几篇文章总结得出的. 本文分为四个部分:第一部分主要 ...
谈谈RNN的梯度消失/爆炸问题
尽管 Transformer 类的模型已经攻占了 NLP 的多数领域,但诸如 LSTM.GRU 之类的 RNN 模型依然在某些场景下有它的独特价值,所以 RNN 依然是值得我们好好学习的模型.而于 R ...
iphone屏幕突然变暗_iPhone或iPad在使用中发热厉害吗?以下是原因和解决方法
你的iPhone或iPad是工作很辛苦的设备,尽管它小到可以装进口袋或包里.但与台式电脑或笔记本电脑不同的是,它没有散热器或风扇来调节温度,保持凉爽.任何设备长期高负荷运行时都会产生热量. 但摸上去感 ...
Win7系统桌面右下角托盘图标不显示原因和解决方法
有位Ghost win7系统用户说开机桌面右下角托盘图标不见了,不显示托盘图标对操作有所影响,每次需要点击"←"按钮才可以显示,过一会又自动消失,什么原因导致的呢?出现这样的情况是 ...
Linux系统盘爆满根目录100%，又找不到占空间的大文件原因与解决方法
最近一位朋友他的Linux(Centos7)根目录一直100%,也就是系统文件磁盘已经爆满了.虽然通过:df -h, du -sh * 等指令配合使用,发现当前系统任然存在大量可以使用的空间(6.5G ...
win10网络计算机终止,win7换win10系统总是断网的几种原因和解决方法
因为win7的更新全面终止了,许多用户将操作系统换成最新的win10系统,安装后发现一个问题,那就是总断网,特别关键时刻断网,总让人头疼不已,小编觉得断网可能是因为系统网卡驱动问题.不管什么原因引起的 ...
系统错误计算机中丢失文件,电脑文件丢失了怎么办？电脑文件丢失原因以及解决方法都在这了！...
原标题:电脑文件丢失了怎么办?电脑文件丢失原因以及解决方法都在这了! 现在人们的数据保护意识是越来越强了,就前阵子的英特尔漏洞事件,其实人们更关心的不是电脑变慢,而是电脑中的数据隐私泄露.虽然现在人们 ...

梯度消失、爆炸产生的原因以及解决方法

梯度消失、爆炸产生的原因以及解决方法相关推荐

最新文章

热门文章