神经网络之BP算法，梯度检验，参数随机初始化

neural network(BackPropagation algorithm,gradient checking,random initialization)

一、代价函数(cost function)

对于训练集，代价函数（cost function）（这个代价函数是用于分类的）定义为：

其中红色框起的部分为正则项，k：输出单元个数即classes个数，L：神经网络总层数，：第层的单元数（不包括偏置单元），：表示第层边上的权重。

二、误差逆传播（BackPropagation，简称BP）

有了代价函数

，我们的目标显然是找到能使

最小的参数，为了使用梯度下降或者其他优化算法，我们需要计算：和。

直接用上面的公式就可以求出，关键是如何计算

。BP算法可以求出最佳权值

，下面来看看BP算法的基本原理。先来看一下forward propagation（就不画图了，直接给出Ng画的图），使用BP的前提是先正向传播计算出假设函数。

接下来看BP算法：定义为第L层单元i的残差。BP算法的目标是最小化。而对于样例（x，y）来说，其均方误差（用于回归的代价函数，回归的bp推导稍微简单些，如果想看分类的代价函数的求导，请移步我的另一篇关于softmax回归的博客）为：

在梯度下降中，每一次迭代都按如下公式对参数

更新：

BP算法的思路如下：给定一个样例，先根据前向传导（forward propagation）计算出神经网络中的所有激活值。针对第层的每一个节点，我们可以计算出其“残差” ，该残差表明了该节点对最终输出值的残差产生了多少影响。对于最后一层输出层，我们可以直接计算出神经网络的输出与实际类别值之间的残差。那么重点是对于隐藏层该如何处理？我们将基于节点第层的残差的加权平均值计算出，这些节点以作为输入。

因此，对于最后一层输出层L(用L表示最后一层输出层)来说：

对于隐藏层来说：

因此可得：

这样，我们就可以求得偏导数：和。

关于BP算法的公式推导已经介绍完了，大家可以自己在纸上推导一下。下面来总结一下，BP算法的执行过程（直接盗用ng的图吧） ：

以上就是BP算法的细节原理。概括来讲就是：

1、利用forward propagation计算出每一层的“激活值”。

2、计算出最后一层即输出层每个输出单元的残差。

3、计算出第层节点的残差。

4、计算出我们需要的偏导数。

如果用向量化描述以上步骤，则为：

1、利用前向传导计算各层的“激活值”

。

2、对于输出层，计算：

3、对于其他各层，计算：

4、计算最终的导数值：

最终得到更新权重的公式：

注：在实际应用中有个注意点：

讲了这么多，大家来看看NG举得例子，可行更加形象化的让大家体会下BP算法的执行过程细节：

三、梯度检验（gradient checking）

BP算法细节繁多，而且甚是复杂，因此非常容易出错，很难检查出来。因此需要使用梯度检验，梯度检验能够非常的确信的检验你实现的BP算法是否正确。梯度检验如下图所示（图片来自ng machine learning 课）：

因此，对于每个参数使用梯度检验：

因为在BP算法执行过程中，我们就可以将这个近似值与的导数相比较，如果两者相同或者非常接近，则可以确认我们实现的BP算法是正确的。有个注意点：当你训练BP神经网络时，一定要关闭gradient checking，因为梯度检验的执行速度非常非常慢。

四、参数随机初始化（random initialization）

我们在线性回归和logistic回归中都可以把初始化为zeros(n,1)，这样做是可以的。但是在神经网络中这样做却是不可以的，因为如果初始化的参数一样，意味着隐藏层的每个单元的输入权重是一样的，因此每次更新后隐藏层的单元值将会是一样的。这就意味着所有的隐藏层单元都在计算相同的特征，这是完全多余的。来个图形象化的理解一下：

因为在神经网络参数（权重）初始化的时候，需要随机初始化，就是把的值随机初始化，范围为[0-1]。

关于神经网络的BP算法，梯度检验，参数随机初始化就介绍完了，其实BP就是个求导过程，只不过是倒过来逆向的求导，因此需要前向传播求解出激活值，然后再用BP来求解参数的导数（梯度）。大家可以结合我的上一篇神经网络的入门知识http://blog.csdn.net/u012328159/article/details/51143536看，相信能够对神经网络有个基本的理解。

注：提供一些参考资料给大家，能够更好的帮助大家更好的理解神经网络。

讲反向传导算法http://deeplearning.stanford.edu/wiki/index.php/%E5%8F%8D%E5%90%91%E4%BC%A0%E5%AF%BC%E7%AE%97%E6%B3%95
视频，讲神经网络的http://work.caltech.edu/telecourse.html
本人一篇关于NNLM的博客，这篇文章对于前向传播，后向传播解释的更加清晰明白：http://blog.csdn.net/u012328159/article/details/72847297

神经网络 neural network相关推荐

OpenCV神经网络neural network的实例(附完整代码)
OpenCV神经网络neural network的实例 OpenCV神经网络neural network的实例 OpenCV神经网络neural network的实例 #include <ope ...
神经网络-Neural Network 简介
神经网络-Neural Network 简介神经元构成基本结构简单思考参考神经元构成 z=sum(x)=wTx+b=w1x1+w2x2+w3x3+bz=sum(x) = w^Tx+b=w_1 ...
神经网络neural network
http://blog.csdn.net/pipisorry/article/details/76095118 前馈神经网络:FFNN模型(feedforward neural network) 固定 ...
神经网络(neural network)以及训练原理
什么是神经网络神经网络的发现可以说是将人工智能又拔高了一个度,现今很多了不起的成果都是在此之上完成的,那它是如何被发现的呢?既然是"神经",自然可以联想到人体里面的的神经,及生 ...
神经网络(Neural Network)
1 引言机器学习(Machine Learning)有很多经典的算法,其中基于深度神经网络的深度学习算法目前最受追捧,主要是因为其因为击败李世石的阿尔法狗所用到的算法实际上就是基于神经网络的深度学习 ...
神经网络neural network简单理解
1,简介神经网络的一个神经元又叫logistic回归, 由两层神经元组成的神经网络:感知机单层网络只能做线性分类任务两层神经网络中的后一层也是线性分类层,应该只能做线性分类任务,关键就是,从输入 ...
机器学习——神经网络(Neural Network)
1.MP模型 Mp模型是最基础,最原始的神经网络模型.MP模型是1943年心理学家W.S.McCulloch和数理逻辑学家W.Pitts建立的.它的主要结构如图1所示. 图1 (来源于浙江大学胡浩基老 ...
反向传播(Back Propagation)与神经网络(Neural Network)
图片来自:http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html 程序实现参考:http://www.wildml.com/2015/09 ...

神经网络 neural network

神经网络之BP算法，梯度检验，参数随机初始化

neural network(BackPropagation algorithm,gradient checking,random initialization)

神经网络 neural network相关推荐

最新文章

热门文章