[学习笔记] python深度学习---第三章神经网络入门

一、神经网络剖析

1. 训练神经网络主要围绕以下四个方面：

（1）层，多个层组合成网络（或模型）。

（2）输入数据和相应的目标。

（3）损失函数，即用于学习的反馈信号。

（4）优化器，决定学习过程如何进行。

2. 层：神经网络的基本数据结构是层。层是一个数据处理模块，将一个或多个输入张量转换为一个或多个输出张量。有些层是无状态的，但大多数的层是有状态的，即层的权重。

3. 模型（层构成的网络）：

（1）双分支（two-branch）网络

（2）多头（multihead）网络

（3）Inception模块

网络的拓扑结构定义了一个假设空间（hypothesis space）。选定了网络拓扑结构，意味着将可能性空间（假设空间）限定为一系列特定的张量运算，将输入数据映射为输出数据。然后，你需要为这些张量运算的权重张量找到一组合适的值。

4. 损失函数与优化器：配置学习过程的关键

一旦确定了网络架构，还需要选择以下两个参数：

（1）损失函数（目标函数），在训练过程中需要将其最小化。它能够衡量当前任务是否已成功完成。

（2）优化器，决定如何基于损失函数对网络进行更新。它执行的是随机梯度下降（SGD）的某个变体。

具有多个输出的神经网络可能具有多个损失函数（每个输出对应一个损失函数）。但是，梯度下降过程必须基于单个标量损失值。因此，对于具有多个损失函数的网络，需要将所有损失函数取平均，变为一个标量值。

5. 二元交叉熵（binary crossentropy）损失函数：

$\mathrm{BCELoss}=-\frac{1}{n}\sum_{i=1}^{n}[y_i\cdot \mathrm{log}p(y_i)+(1-y_i)\cdot \mathrm{log}(1-p(y_i))]$

其中 $y_i$ 是二元标签值0或者1， $p(y_i)$ 是属于 $y_i$ 标签值的概率。

当标签值 $y_i=1$ 时， $\mathrm{BCELoss}=-\mathrm{log}p(y_i)$ ，如果 $p(y_i)$ 接近1， $\mathrm{BCELoss}$ 接近0；如果 $p(y_i)$ 接近0， $\mathrm{BCELoss}$ 则变得无穷大。

当标签值 $y_i=0$ 时， $\mathrm{BCELoss}=-\mathrm{log}(1-p(y_i))$ ，如果 $p(y_i)$ 接近1， $\mathrm{BCELoss}$ 变得无穷大；如果 $p(y_i)$ 接近0， $\mathrm{BCELoss}$ 接近0。

通过以上的简单分析，当预测值接近标签值时损失很小，当预测值远离标签值时损失很大，这一特性是有利于模型的学习的。

6. 分类交叉熵（categorical crossentropy）损失函数、均方误差（mean-squared error）详细解析看知乎的这篇文章损失函数｜交叉熵损失函数 - 知乎

7. 联结主义时序分类（CTC，connectionist temporal classification）损失函数

二、Keras简介

1. 简介：

Keras是一个python深度学习框架，可以方便地定义和训练几乎所有类型的深度学习模型。TensorFlow、CNTK和Theano是当今深度学习的几个主要平台。Keras写的每一段代码都可以在这三个后端上运行，无需任何修改。推荐使用TensorFlow后端作为大部分深度学习任务的默认后端，因为它的应用最广泛，可扩展，而且可用于生产环境。通过TensorFlow，Keras可以在CPU和GPU上无缝运行。

2. 典型的Keras工作流程：

（1）定义训练数据：输入张量和目标张量。

（2）定义层组成的网络（或模型），将输入映射到目标。

（3）配置学习过程：选择损失函数、优化器和需要监控的指标。

（4）调用模型的fit方法在训练数据上进行迭代。

3. 定义模型有两种方法：一种是使用Sequential类（仅用于层的现行堆叠，这是目前最常见的网络架构），另一种是函数式API（functional API，用于层组成的有向无环图，让你可以构建任意形式的架构）。

三、二分类问题总结

1. 准备数据---将整数序列编码为二进制矩阵

2. 构建网络---模型定义、编译模型、配置优化器、使用自定义的损失和指标

3. 验证你的方法---留出验证集、训练模型、绘制训练损失和验证损失、绘制训练精度和验证精度、从头开始重新训练一个模型

4. 使用训练好的网络在新数据上生成预测结果

5. 小结：

（1）通常需要对原始数据进行大量预处理，以便将其转换为张量输入到神经网络中。单词序列可以编码为二进制向量，但也有其他编码方式。

（2）带有relu激活的Dense层堆叠，可以解决很多种问题（包括情感分类），你可能会经常用到这种模型。

（3）对于二分类问题（两个输出类别），网络的最后一层应该是只有一个单元并使用sigmoid激活的Dense层，网络输出应该是0～1范围内的标量，表示概率值。

（4）对于二分类问题的sigmoid标量输出，你应该使用binary_crossentropy损失函数。

（5）无论你的问题是什么，rmsprop优化器通常都是足够好的选择。

（6）随着神经网络在训练数据上的表现越来越好，模型最终会过拟合，并在前所未见的数据上得到越来越差的结果。一定要一直监控模型在训练集之外的数据上的性能。

四、多分类问题总结

1. 如果要对N个类别的数据点进行分类，网络的最后一层应该是大小为N的Dense层。

2. 对于单标签、多分类问题，网络的最后一层应该使用softmax激活，这样可以输出在N个输出类别上的概率分布。

3. 这种问题的损失函数几乎总是应该使用分类交叉熵。它将网络输出的概率分布与目标的真实分布之间的距离最小化。

4. 处理多分类问题的标签有两种方法：

（1）通过分类编码（也叫one-hot编码）对标签进行编码，然后使用categorical_crossentropy作为损失函数。

（2）将标签编码为整数，然后使用sparse_categorical_crossentropy损失函数。

5. 如果你需要将数据划分到许多类别中，应该避免使用太小的中间层，以免在网络中造成信息瓶颈。

五、回归问题的总结

1. 将取值范围差异很大的数据输入到神经网络中，这是有问题的。网络可能会自动适应这种取值范围不同的数据，但学习肯定变得更加困难。对于这种数据，普遍采用的最佳实践是对每个特征做标准化，即对于输入数据的每个特征（输入数据矩阵中的列），减去特征平均值，再除以标准差，这样得到的特征平均值为0，标准差为1。

2. 一般来说，训练数据越少，过拟合会越严重，而较小的网络可以降低过拟合。

3. 平均绝对误差（MAE，mean absolute error）：它是预测值与目标值之差的平方。

4. K折交叉验证：

由于数据点很少，验证集会非常小（比如100个样本）。因此验证分数可能会有很大波动，这取决于你所选择的验证集和训练集。也就是说，验证集的划分方式可能会造成验证分数上有很大的方差，这样就无法对模型进行可靠的评估。

在这种情况下，最佳做法是使用K折交叉验证。这种方法将可用数据划分为K个分区（K通常取4或5），实例化K个相同的模型，将每个模型在K-1个分区上训练，并在剩下的一个分区上进行评估。模型的验证分数等于K个验证分数的平均值。

平均分数是比单一分数更可靠的指标---这就是K折交叉验证的关键。

5. 小结：

（1）回归问题使用的损失函数与分类问题不同。回归常用的是损失函数是均方误差（MSE）。

（2）同样，回归问题使用的评估指标也与分类问题不同。显而易见，精度的概念不适用于回归问题。常见的回归指标是平均绝对误差（MAE）。

（3）如果输入数据的特征具有不用的取值范围，应该先进行预处理，对每个特征单独进行缩放。

（4）如果可用的数据很少，使用K折验证可以可靠地评估模型。

（5）如果可用的训练数据很少，最好使用隐藏层较少（通常只有一到两个）的小型网络，以避免严重的过拟合。

六、本章小结

1. 现在你可以处理关于向量数据最常见的机器学习任务了：二分类问题、多分类问题和标量回归问题。

2. 在将原始数据输入神经网络之前，通常需要对其进行预处理。

3. 如果数据特征具有不同的取值范围，那么需要进行预处理，将每个特征单独缩放。

4. 随着训练的进行，神经网络最终会过拟合，并在前所未见的数据上得到更差的结果。

5. 如果训练数据不是很多，应该使用只有一两个隐藏层的小型网络，以避免严重的过拟合。

6. 如果数据被分为多个类别，那么中间层过小可能会导致信息瓶颈。

7. 回归问题使用的损失函数和评估指标都与分类问题不同。

8. 如果要处理的数据很少，K折验证有助于可靠地评估模型。

----今天不学习，明天变废物。----