学习笔记----周志华《机器学习》第五章（神经网络）（一）

周志华的《机器学习》算作一本入门的宝书。本文是对周志华的机器学习第五章神经网络的学习笔记。在第五章主要涉及的内容：神经网络、常见激活函数、感知机、多层前馈神经网络、反向传播算法（BP算法）、全局最小和局部极小、其他神经网络（RBF、ART、SOM等网络）、递归神经网络（如Boltzmann机、Elman网络）。如果哪里有不对的地方，请不吝指点！

一、什么是神经网络？

关于神经网络的定义有很多，本文对于神经网络的定义：神经网络是由具有适应性的简单单元（实际上是神经元）组成的广泛并且互联的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。
神经网络的基本模型为神经元模型（unit或neuron）。我们基本上都可以想到的是，当神经元刺激后，就会相它相邻的神经元发送“信号”，进而激活其他神经元，当其他神经元的点位超过一定值（阈值），它就会向其他神经元继续发送化学物质了。这是其中一个激活过程。下面是常见的M-P神经元模型：

M-P神经元模型的工作流程大致描述如下：神经元接收到来自其他n个神经元传过来的输入，在通过带权重的连接，最后这个总输入就会和该神经元的阈值比较，看所得到的“刺激”能否让该神经元继续传递下去。最后通过激活函数处理输出。

常见的激活函数又包含阶跃函数、sigmoid函数、softmax函数、ReLU函数等。

（1）阶跃函数

阶跃函数的定义：值呈阶梯式变化，阶跃函数以0为界限，输出从 0 切换为 1（或从 1切换 0）。

（2）sigmoid函数

sigmoid函数是一种很高效的激活函数。它的函数图形是一条平滑的曲线，输出sigmoid(x)随着输入x发生连续性的变化。而阶跃函数是发生突变式的变化。

（3）softmax函数

softmax函数主要用于分类问题。主要公示为：。

该函数的分子是输入信号的指数函数，分母是所有输入信号的指数函数的和。在这篇blog中，用到了softmax作正则化的处理，让最终的输出为概率，也就是说可以生成百分数的结果，这样做不仅可以找到最大概率的分类，而且可以知道各个分类计算的概率值。

（4）ReLU函数

其实这个函数我了解的不是很多，在一篇关于两层神经网络的知乎文章中有了解过一点。在神经网络发展的历史上，sigmoid函数很早就开始被使用了，而最近则主要使用ReLU（Rectified Linear Unit）函数。这里简单解释一下。ReLU函数，当输入为负值时，输出为0，当输入为非负，输出等于输入。

看到这里我们可以更直观、更简单的描述神经网络：神经网络是许多神经元按照某一结构层次组合起来的。

二、感知机（perceptron）和多层前馈神经网络

感知机是由两层神经元组成（两个）。输入层接收外界输入信号给输出层，输出层是M-P神经元。由此可以知道感知机只拥有一层功能神经元，它只有输出层可以进行激活函数的处理，这个处理能力对我们现实的问题的处理是远远不够的。感知机能处理与、或、非问题。两层感知机能处理异或问题。两层感知机包含输入层、输出层、隐藏层。

多层前馈神经网络：不存在跨层连接，但是同层间可以多条连接，每层神经元与下一层神经元实现全互连。注意：这里的前馈不代表信号不能往回传！而是指网络拓扑结构上不存在环或回路。注意：只要包含隐层就是多层网络，隐层中包含功能神经元！！

所以神经元到底学的什么？？神经网络的学习过程，是根据训练数据来调整神经元之间的“连接权”以及每个功能神经元的阈值。

三、反向传播算法（BP算法）

BP算法是一种迭代学习算法，它主要应用于多层前馈神经网络和其他类型的神经网络。BP算法给予梯度下降侧列，以目标的负梯度方向对参数进行调整，BP算法的最终目标是最小化训练集D上的累积误差。它的算法过程如下。

标准的BP算法每次针对一个训练样例更新连接权和阈值，更新参数很频繁，这样可能将这个更新的效果“抵消”。除了上述“标准”BP算法外，还有累计BP算法。累计BP算法：直接针对累积误差最小化，它读取整个训练集D，读完一遍后才对参数更新，更新的频次要少得多。但是累计BP算法对于训练集非常大时，当累计误差下降到一定程度后，进一步下降会很缓慢很缓慢，这是一个会舍弃累计BP算法的原因。

BP算法会出现一个缺点：过拟合。解决它的策略有两种：（1）早停；（2）正则化。

四、全局最小和局部极小

有高等数学的基础，实际上我们可以很直观的理解什么是全局最小？什么是局部极小？狭义来讲全局最小一定是局部极小，反之不成立。我们在实际的算法操作中，是想要直接遇到全局最小，而不是局部最小。所以提出了很多可能的能跳出局部极小的方案。（虽然实际上，可能跳出的是全局最小）
（1）从多个不同的初始点开始搜索，这样可能会陷入不同的局部极小，然后选最接近全局最小的。
（2）模拟退火技术。在每一步都以一定的概率接受比当前解更差的结果，从而有助于跳出。这样在每次迭代过程中，我接受比当前更差的概率会减小，这样可以保证算法稳定。
（3）随机梯度下降法。加入了随机因素，这样即便陷入了局部极小，计算出来的梯度也不为0，这样就还有机会继续搜索。
除此之外还有遗传算法，也常用来训练神经网络。

虽然在书上，第五章只有短短三十页左右。一篇篇幅也是很难完整记录下来的，今天就写到这里吧。