　　在深度神经网络（DNN）反向传播算法(BP)中，我们对DNN的前向反向传播算法的使用做了总结。里面使用的损失函数是均方差，而激活函数是Sigmoid。实际上DNN可以使用的损失函数和激活函数不少。这些损失函数和激活函数如何选择呢？下面我们就对DNN损失函数和激活函数的选择做一个总结。

1. 均方差损失函数+Sigmoid激活函数的问题

　　　　在讲反向传播算法时，我们用均方差损失函数和Sigmoid激活函数做了实例，首先我们就来看看均方差+Sigmoid的组合有什么问题。

　　　　首先我们回顾下Sigmoid激活函数的表达式为：

σ(z)=11+e−zσ(z)=11+e−z

　　　　σ(z)σ(z)的函数图像如下：

　　　　从图上可以看出，对于Sigmoid，当zz的取值越来越大后，函数曲线变得越来越平缓，意味着此时的导数σ′(z)σ′(z)也越来越小。同样的，当zz的取值越来越小时，也有这个问题。仅仅在zz取值为0附近时，导数σ′(z)σ′(z)的取值较大。

　　　　在上篇讲的均方差+Sigmoid的反向传播算法中，每一层向前递推都要乘以

深度神经网络（DNN）损失函数和激活函数的选择相关推荐

【2】深度神经网络的损失函数/激活函数
文章目录 1.平方差损失函数 && Sigmoid激活函数 1.1 Sigmoid函数 1.2 平方差损失函数在反向传播时的Wl和blW^l和b^lWl和bl梯度更新式 2.交叉熵损失 ...
多层感知器及常见激活函数-深度神经网络DNN及计算推导
多层感知器在之前的博客中,我们了解到,感知器(指单层感知器)具有一定的局限--无法解决异或问题,即线性不可分的问题. 将多个单层感知器进行组合,就可以得到一个多层感知器(MLP--Multi-Lay ...
理解深度神经网络——DNN(Deep Neural Networks)
深度神经网络--DNN 是深度学习的基础. 要理解DNN最好先搞清楚它的模型.本篇博文主要对DNN的模型与前向传播算法做一个易于理解的总结. 1.从感知机到神经网络的理解. 感知机是这么一种模型:一个 ...
深度神经网络DNN的理解
1.从感知机到神经网络上图是一个感知机模型,有若干个输入和一个输出(输出的结果只可以是1或-1) 输入和输出有一个线性关系: 神经元激活函数:(二分类) 由于这个简单的感知机只可以进行二分类,则对于 ...
TensorFlow2.0(四)--Keras构建深度神经网络(DNN)
Keras构建深度神经网络(DNN) 1. 深度神经网络简介 2. Kerase搭建DNN模型 2.1 导入相应的库 2.2 数据加载与归一化 2.3 网络模型的构建 2.4 批归一化,dropout ...
深度神经网络DNN的多GPU数据并行框架及其在语音识别的应用
http://www.csdn.net/article/2014-07-11/2820628-DNN 深度神经网络(Deep Neural Networks, 简称DNN)是近年来机器学习领域中的研究 ...
dnn神经网络_OpenCV3.3深度神经网络(DNN)模块
今天,甜菇凉整理了一下电脑里面OpenCV深度神经网络(DNN)模块-应用视频教程,这个是贾志刚老师的视频,学习视觉的同学应该都知道贾志刚老师吧,他的视频很适合想要入门计算机视觉图像处理的小白学习,那 ...
一篇文章理解深度神经网络5个常用激活函数
一篇文章理解深度神经网络5个常用激活函数 1.Sigmoid 2.Tanh 3.ReLU 4.Leaky ReLU 5.Maxout 小结 1.Sigmoid Sigmoid非线性激活函数的数学表达式 ...
讯飞输入法将深度神经网络DNN技术应用于语音识别达到业界领先水平
10月20日,以"语见更好的我们"为主题的"讯飞输入法10周年 A.I.输入沙龙"在北京举办.记者从活动现场了解到,自2010年10月上线至今,讯飞输入法的日语 ...

深度神经网络（DNN）损失函数和激活函数的选择

1. 均方差损失函数+Sigmoid激活函数的问题

深度神经网络（DNN）损失函数和激活函数的选择相关推荐

最新文章

热门文章