人工神经网络连接权重的优化与调整

一、简介
承接上文我们提到的感知模型等内容，下面我们将对神经网络学习过程中权重值的调整优化进行详细的介绍。

二、权重的调整与优化
当神经网络采用梯度下降算法时，每一次的迭代都本着使损失函数减小最快的原则调整连接权重，接下来我们对这一块的内容进行展开学习。在实际应用中，不同类型的问题对应的损失函数形式也有所不同。在一般的预测问题中，如果各观测值是相互独立的，那么损失函数通常是误差函数的加总形式，数学表达为：

其中M为模型结构，D为数据集，W为模型参数，E为误差函数，f为预测模型，X和y分别为输入与输出变量，从这个式子来看，损失函数的复杂度在很大程度上取决于误差函数与预测模型的复杂度。
在参数优化中，如果模型是关于参数W的线性函数，误差函数为误差平方，那么损失函数L就是W的二次函数，此时的参数优化问题就比较简单——只存在唯一最值。但如果模型结构和误差函数的形式较为复杂，则损失函数L就不一定是关于W的简单平滑函数，有可能为多峰的，此时求解参数W就等价于在高维空间最小化一个多元复杂函数的问题。每一次的迭代都沿着曲面向使损失函数下降最快的方向移动，并且在这一过程中还需要分辨局部最小与全局最小，如下图所示:

连接权重W的调整:
调整连接权重的目的是使得损失函数W达到最小，在任意t时刻，连接权重的调整都应沿着损失函数曲面下降最快的方向（即负梯度方向）进行，这也就意味着我们需要计算损失函数的方向导数，找到函数下降最快的方向和最大值，计算负梯度方向和梯度模。可以证明，如果t时刻连接权重W的偏导数存在，则W的方向导数就是损失函数对W的偏导，由于我们选用的Sigmoid激活函数处处可微，因此该条件得到满足。
此处参考B-P反向传播网络有以下公式：

学习率：
在连接权重推导完之后，再来简单了解一下学习率n。
正如前面所说，连接权重的不断调整过程可以理解为是超平面不断向正确位置移动的过程，而每一次的移动都与学习率有关。
一般情况下，我们并不希望超平面一次移动过大或者过小。因为，学习率过大，那么连接权重的调整量也就比较大，这会导致神经网络模型工作的不稳定性，并且当逼近误差最小点时可能会因震荡而难以达到最小值的位置。如果学习率过小，那么超平面逼近正确目标的进程可能就会很漫长。
那么怎样的学习率才是合理的呢？目前为止尚没有合理统一的解释，一般来讲优先考虑设置为小正数（例如0.1），并结合模型训练情况进行不断调整。
此外还需要注意的是，在整个的学习过程中，n是一个动态变化的量，t+1时刻的学习率是对t时刻学习率的修正，具体分两种情况说明：
当t+1时刻误差函数的偏导数符号与t时刻相同时，则为加速收敛过程，n(t+1)等于n(t)加上一个衰减量。
当t+1时刻误差函数的偏导数符号与t时刻相反时，说明误差函数值已经跃过最小值，此时n(t+1)等于n(t)减去一个衰减量。

在算法的实际应用中，很多时候我们都需要明确哪些输入变量对输出变量的预测更为重要，而神经网络中的权重仅作为节点的连接强度测度，它是无法直观揭示输出变量的重要性的。为此，Neuralnet函数中提供了广义权重(Generalize Weight)用于测度解释变量的重要性。第i个输入变量的广义权重则定义为：

我们在权重优化时需要注意到这点。

三、总结
以上就是本期与大家分享的关于神经网络从搭建到权重优化等的一系列内容，希望大家能有所收获。好记性不如烂笔头，建议大家下载个SNPE来实际操作下，环境搭建前面我的文章中有介绍。

人工神经网络连接权重的优化与调整相关推荐

人工神经网络连接方式,全连接神经网络作用
人工神经元网络的拓扑结构主要有哪几种?谢谢大侠~~~ 神经网络的拓扑结构包括网络层数.各层神经元数量以及各神经元之间相互连接的方式.人工神经网络的模型从其拓扑结构角度去看,可分为层次型和互连型. 层次 ...
智能优化 | MATLAB实现CS-ANN布谷鸟优化人工神经网络算法
智能优化 | MATLAB实现CS-ANN布谷鸟优化人工神经网络算法目录智能优化 | MATLAB实现CS-ANN布谷鸟优化人工神经网络算法效果一览基本介绍算法步骤程序设计参考资料效果 ...
第五章人工神经网络
第五章人工神经网络 0. 神经网络前言介绍 1. 神经元与神经网络 2. 网络模型参数学习 2.1 损失函数 2.2 反向传播算法 2.3 BP神经网络 2.3.1 BP神经网络的工程实现 2.3. ...
人工神经网络的训练步骤,神经网络训练过程图解
如何通过人工神经网络实现图像识别 . 人工神经网络(ArtificialNeuralNetworks)(简称ANN)系统从20世纪40年代末诞生至今仅短短半个多世纪,但由于他具有信息的分布存储.并行处 ...
基于MATLAB实现简单人工神经网络
资源下载地址:https://download.csdn.net/download/sheziqiong/85979688 资源下载地址:https://download.csdn.net/downl ...
使用乳腺癌数据集的人工神经网络
介绍在本文中,我们将学习一种深度学习技术如何用于寻找乳腺癌数据集的准确性,但我知道大多数技术人员不知道我在说什么,我们将从基础开始,然后继续讨论我们的主题.首先我们简单介绍一下深度学习,什么是人工神 ...
积神经网络的参数优化方法——调整网络结构是关键！！！你只需不停增加层，直到测试误差不再减少....
积神经网络(CNN)的参数优化方法 from:http://blog.csdn.net/u010900574/article/details/51992156 著名: 本文是从 Michael Nie ...
人工神经网络的优化方法,神经网络的优化算法
人工神经网络评价法人工神经元是人工神经网络的基本处理单元,而人工智能的一个重要组成部分又是人工神经网络.人工神经网络是模拟生物神经元系统的数学模型,接受信息主要是通过神经元来进行的. 首先,人工神经 ...
mlp参数调整_人工神经网络算法介绍及其参数讲解
算法介绍神经网络是一种运算模型,由大量的节点(或称神经元)之间相互联接构成.每个节点代表一种特定的输出函数,称为激励函数(activation function).每两个节点间的连接都代表一个对于通 ...

人工神经网络连接权重的优化与调整

人工神经网络连接权重的优化与调整相关推荐

最新文章

热门文章