《python深度学习》笔记---4.4、过拟合与欠拟合(解决过拟合常见方法)

一、总结

一句话总结：

减小网络大小

添加权重正则化

添加 dropout 正则化

1、机器学习的根本问题？

优化和泛化之间的对立：机器学习的根本问题是优化和泛化之间的对立。

2、机器学习的根本问题是优化和泛化之间的对立：优化和泛化分别指什么？

训练数据最佳性能：优化(optimization)是指调节模型以在训 练数据上得到最佳性能(即机器学习中的学习)

测试数据性能好坏：泛化(generalization)是指训练好的模型在 前所未见的数据上的性能好坏。

3、训练开始时，优化和泛化是相关的？

训练和测试数据损失都小：训练数据上的损失越小，测试数据上的损失也越小。 这时的模型是欠拟合(underfit)的，即仍有改进的空间，网络还没有对训练数据中所有相关模式建模。

4、解决过拟合的最好方法？

获取更多数据：为了防止模型从训练数据中学到错误或无关紧要的模式，最优解决方法是获取更多的训练 数据。模型的训练数据越多，泛化能力自然也越好。

【调节模型允许存储的信息量、对模型允许存储的信息加以约束】：如果无法获取更多数据，次优解决方法是 调节模型允许存储的信息量，或对模型允许存储的信息加以约束。

迫使模型学习最重要的模式：如果一个网络只能记住几个 模式，那么优化过程会迫使模型集中学习最重要的模式，这样更可能得到良好的泛化。 这种降低过拟合的方法叫作正则化(regularization)

5、防止过拟合的最简单的方法就是减小模型大小？

减少模型中可学习参数的个数：防止过拟合的最简单的方法就是减小模型大小，即减少模型中可学习参数的个数(这由层 数和每层的单元个数决定)。

6、网络模型的容量 ？

模型中可学习参数的个数：在深度学习中，模型中可学习参数的个数通常被称为模型的容量 (capacity)。

7、深度学习模型真正的挑战在于泛化？

泛化就是你和测试数据：深度学习模型通常都很擅长拟合训练数据，但真正的挑战在于泛化，而不是拟合。

8、欠拟合和过拟合的资源解释？

欠拟合：容量不足

过拟合：容量过大

9、越大的网络是不是越好(不是，要选择合适的网络)？

【小网络过拟合慢，过拟合增长慢】：更小的网络开始过拟合的时间要晚于参考网络，而且开始过拟合之后，它的性能变差的速度也更慢。

【大网络过拟合快，过拟合更严重】：更大的网络只过了一轮就开始过拟合，过拟合也更严重。其验证损失的波动也更大。 ，更大网络的训练损失很快就接近于零。 网络的容量越大，它拟合训练数据(即得到很小的训练损失)的速度就越快，但也更容易过拟合 (导致训练损失和验证损失有很大差异)。

10、奥卡姆剃刀(Occam’s razor)原理？

简单即好：如果一件事情有两种解释，那么最可能正 确的解释就是最简单的那个，即假设更少的那个。

【简单模型比复杂模型更不容易过拟合】：这个原理也适用于神经网络学到的模型：给定一些训练数据和一种网络架构，很多组权重值(即很多模型)都可以解释这些数据。简单模 型比复杂模型更不容易过拟合。

11、权重正则化(降低过拟合)？

熵或参数更少：这里的简单模型(simple model)是指参数值分布的熵更小的模型(或参数更少的模型，比 如上一节的例子)

【强制让模型权重只能取较小的值】：因此，一种常见的降低过拟合的方法就是强制让模型权重只能取较小的值， 从而限制模型的复杂度，这使得权重值的分布更加规则(regular)。这种方法叫作权重正则化 (weight regularization)，

l1或l2正则化：这种方法叫作权重正则化 (weight regularization)，其实现方法是向网络损失函数中添加与较大权重值相关的成本(cost)。

12、L1 和 L2 正则化 实例？

L1正则化：regularizers.l1(0.001)

同时做L1 和 L2 正则化：regularizers.l1_l2(l1=0.001, l2=0.001)

13、由于这个惩罚项只在训练时添加，所以这个网络的训练损失会 比测试损失大很多？

【惩罚项只在训练时添加】：l2(0.001) 的意思是该层权重矩阵的每个系数都会使网络总损失增加 0.001 * weight_ coefficient_value。注意，由于这个惩罚项只在训练时添加，所以这个网络的训练损失会 比测试损失大很多。

14、Hinton dropout灵感之一来自于银行的防欺诈机制?

成功欺诈银行需要相互合作：我去银行办理业务。柜员不停地换人，于是我 问其中一人这是为什么。他说他不知道，但他们经常换来换去。我猜想，银行工作人员要想成 功欺诈银行，他们之间要互相合作才行。这让我意识到，在每个样本中随机删除不同的部分神 经元，可以阻止它们的阴谋，因此可以降低过拟合。

15、dropout核心思想？

【在层的输出值中引入噪声】：其核心思想是在层的输出值中引入噪声， 打破不显著的偶然模式(Hinton 称之为阴谋)。

【记住偶然模式】：如果没有噪声的话，网络将会记住这些偶然模式。

二、内容在总结中

博客对应课程的视频位置：