梯度消失和梯度爆炸_梯度消失和梯度爆炸详解

在中文搜索引擎搜索梯度爆炸或者梯度消失，出现的往往是一篇文章复制黏贴多次，而且这篇文章讲的并不清晰，比方说下面这种在文章中出现的图一，反正我是根本看不懂这张图描述的实什么，因此那篇被复制黏贴无数次的文章我压根看不懂。现在就由我来换个角度来讲述梯度消失和梯度爆炸吧。

图一

首先我放出图二

图二

图二代表一个没有bias，四层深，每一层只有一个神经元，激活函数为sigmoid函数的神经网络。每一层的权值为

，每一层的输入为

，输出为

，最后输出是

，损失函数为C，总之就，就是

。现在我们来求C对

的偏微分，

其为

，

最终我们可以得到

，

由于

都是随机初始化的，因此如果刚开始的时候

都初始化的很大（比方说都是10以上），那么就是

以上，如果

又没有特别小，整个梯度就会超级超级大，于是就有了梯度爆炸。但是如果刚开始初始化的时候

又都初始化的很小，就会导致梯度接近0，于是就有了梯度消失。

如果觉得这篇文章有帮助，请点赞收藏喜欢哦（）

梯度消失和梯度爆炸_梯度消失和梯度爆炸详解相关推荐

32通过tcp发送数组_【干货】TCP协议详解
关注我,你的眼睛会怀孕为什么会有TCP/IP协议在世界上各地,各种各样的电脑运行着各自不同的操作系统为大家服务,这些电脑在表达同一种信息的时候所使用的方法是千差万别.就好像圣经中上帝打乱了各地人的 ...
高斯消元法java语言设计_高斯消元法(Gauss Elimination)【超详解模板】
高斯消元法,是线性代数中的一个算法,可用来求解线性方程组,并可以求出矩阵的秩,以及求出可逆方阵的逆矩阵. 高斯消元法的原理是: 若用初等行变换将增广矩阵化为 ,则AX = B与CX = D是同解方程 ...
java判断颜色合法_判断颜色是否合法的正则表达式(详解)
判断颜色是否合法的正则表达式(详解) "^#([0-9a-fA-F]{6}|[0-9a-fA-F]{3})$"; 意思是:以#开头,后面是数字和a-f的字符(大写或小写),这个值是 ...
python处理nc数据_利用python如何处理nc数据详解
利用python如何处理nc数据详解来源:中文源码网浏览: 次日期:2018年9月2日 [下载文档: 利用python如何处理nc数据详解.txt ] (友情提示:右键点上行txt ...
notification源码分析_状态栏通知Notification、NotificationManager详解（源码）----转载...
在Android系统中,发一个状态栏通知还是很方便的.下面我们就来看一下,怎么发送状态栏通知,状态栏通知又有哪些参数可以设置? 首先,发送一个状态栏通知必须用到两个类: NotificationMan ...
shmget物理内存_共享内存的常用函数详解shmget shmat
共享内存区域是被多个进程共享的一部分物理内存.如果多个进程都把该内存区域映射到自己的虚拟地址空间,则这些进程就都可以直接访问该共享内存区域,从而可以通过该区域进行通信.共享内存是进程间共享数据的一种最 ...
centos7镜像加速_虚拟机 Linux CentOS7 安装Docker 详解：使用阿里云Yum源；附加云镜像加速器...
Docker 要求 CentOS 系统的内核版本高于 3.10 ,先检查一下,如内核版本不符合,不建议参考该贴安装!(CentOS版本大于7.0以上版本,一般都可以:建议先查询系统内核版本) 如系统 ...
oracle 监听程序当前无法识别连接描述符中请求的服务_最新版Web服务器项目详解 04 http连接处理（上）...
点击关注上方＂两猿社＂设为＂置顶或星标＂,干货第一时间送达. 互联网猿 | 两猿社本文内容在服务器项目中,http请求的处理与响应至关重要,关系到用户 ...
asp.net尚未在web服务器上注册_最新版Web服务器项目详解 00 项目概述
点击关注上方＂两猿社＂设为＂置顶或星标＂,干货第一时间送达. 互联网猿 | 两猿社 TineyWebServer Linux下C++轻量级Web服务器,助 ...
cwinthread*线程指针怎么销毁结束_最新版Web服务器项目详解 01 线程同步机制封装类...
点击关注上方＂两猿社＂设为＂置顶或星标＂,干货第一时间送达. 互联网猿 | 两猿社基础知识 RAII RAII全称是"Resource Acq ...

梯度消失和梯度爆炸_梯度消失和梯度爆炸详解

梯度消失和梯度爆炸_梯度消失和梯度爆炸详解相关推荐

最新文章

热门文章