神经网络属于“联结主义”，和统计机器学习的理论基础区别还是很不一样。

以我自己的理解，统计机器学习的理论基于统计学，理论厚度足够强，让人有足够的安全感；而神经网络的理论更侧重于代数，表征能力特别强，不过可解释性欠佳。

这两个属于机器学习的两个不同的流派，偶尔也有相互等价的算法。

本文回顾神经网络最简单的构件：感知器、多层感知器。一些简单的代码实践可以参考：Python 实现感知器的逻辑电路（与门、与非门、或门、异或门）。

感知器

感知器是二类分类的线性分类模型，将实例划分为正负两类的分离超平面（separating hyperplane），属于判别模型。

感知器基于线性阈值单元（Linear Threshold Unit, LTU）构件的。以下是 LTU：

LTU 相当于对输入做一个线性组合，再加一个阶跃函数。

常用的阶跃函数是 Heaviside 和 Sign。

哪怕只有一个 LTU 也可以作为简单的线性二分类器，类似于逻辑回归或者线性 SVM。

感知器就是由一层 LTU 组成。以下是一个多输出分类器。

为了求得感知器的权重参数，需要确定一个学习策略，即定义损失函数并将损失函数极小化。有这样几种选择：

1. 误分类点的总数：损失函数不是 w, b 的连续可导函数，不易优化。
2. 误分类点到超平面的总距离：感知器所采用的损失函数。

感知器的损失函数是：

$$-\frac{1}{\left \| w \right \|}\sum_{x_i\in M}y_i(wx_i+b)$$

感知器学习问题转化为上式损失函数的最优化问题，最优化的方法是随机梯度下降法（stochastic gradient decent）。

感知器收敛性：当训练数据集线性可分时，感知器学习算法原始形式是收敛的。

感知器的具体算法分为两种形式：

1. 原始形式
2. 对偶形式：暂不介绍

原始形式算法：

$$w\leftarrow w+\eta y_ix_i$$
$$b\leftarrow b+\eta y_i$$

使用 sklearn 使用感知器算法：

 1 import numpy as np
 2 from sklearn.datasets import load_iris
 3 from sklearn.linear_model import Perceptron
 4
 5 iris = load_iris()
 6 X = iris.data[:, (2, 3)] # petal length, petal width
 7 y = (iris.target == 0).astype(np.int) # Iris Setosa?
 8 per_clf = Perceptron(random_state=42)
 9 per_clf.fit(X, y)
10
11 y_pred = per_clf.predict([[2, 0.5]])
12
13 print(y_pred)

输入如下：

[1]

与逻辑回归相比，感知器不能输出概率。

多层感知器

MLP 的组成：

• 1 个输入层
• 1 个以上的隐藏层
• 1 个输出层

当隐藏层多于 2 层时，又叫深度神经网络（Deep Neural Network, DNN）。

训练 MLP 的算法是后馈训练算法（backpropagation training algorithm）。后馈训练算法也就是使用反向自动求导（reverse-mode autodiff）的梯度下降法。

1. 前馈：在每个连接层计算每个神经元的输出。
2. 计算网络的输出误差，并且计算最后一层的每个神经元对于误差的贡献程度。
3. 继续计算上一层的每个神经元对于误差的贡献程度。
4. 直到算法到达输入层。

为了很好地实施后馈训练算法，D. E. Rumelhart 对于神经网络架构做了重大的改变：把阶跃函数改为了几率函数（logistic function）$f(z)=\frac{1}{1+e^{-z}}$。因为阶跃函数导数都为 0，无法实施梯度下降；而几率函数处处可导。

除了用几率函数作为激活函数之外，还有：

- 双曲正切函数：tanh (z) = 2σ(2z) – 1。S 形状、连续、可导，不过输出值在 -1 到 1 之间，使得训练开始时神经层输出更加正则化，常常加速收敛。
- ReLU 函数：ReLU (z) = max (0, z)。连续，但是在 z=0 处不可导，可能使梯度下降震荡。但在实际中，ReLU 效果不错，速度也快。此外，由于它没有最大值，可以缓解一些梯度下降的问题。

MLP 常常用于分类问题，每个输出对应一个不同的二值类别。如果类别太多了（比如数字图片 0~9），输出层常常用另一个共用的激活函数来代替：Softmax 函数。

参考

• 《Neural networks and deep learning》by Aurélien Géron