深度学习的实用层面 —— 1.3 机器学习基础

初始化模型之后，首先要知道算法的偏差高不高，如果偏差较高，试着评估训练集或者训练数据的性能，如果偏差的确很高，甚至无法拟合训练集，那么你要做的就是选择一个新网络，比如含有更多隐层或者隐藏单元的网络，或者花费更多时间来训练网络，花费更多时间训练算法，或者尝试更先进的优化算法。

一旦偏差降低到可接受的数值，检查一下方差有没有问题，为了评估方差，我们要查看验证集性能，我们能从一个性能理想的训练集推断出验证集的性能也理想吗？如果方差高，最好的解决办法就是采用更多的数据。但有的时候，我们无法获得更多的数据，我们也可以尝试通过正则化来减少过拟合。有时候我们不得不反复尝试。但是如果能找到更合适的神经网络框架，同时减少方差和偏差，那就是一箭双雕，总之就是不断重复尝试，直到找到一个低偏差、低方差的框架。

有两点需要注意，高偏差和高方差是两种不同的情况。举个例子，如果算法存在高偏差问题，准备更多训练数据也没什么用，至少这不是最有效的办法。所以我们需要清除存在问题的是偏差还是方差，或者是两者都有问题，明确这一点有助于我们选出最有效的办法。

第二点，在机器学习的初期阶段，关于所谓的偏差方差权衡的探讨屡见不鲜，原因是我们能尝试的方法有很多，可以增加偏差，减少方差，也可以减少偏差，减少方差。但是在深度学习的早期阶段，我们没有太多工具可以做到只减少偏差或者方差，却不影响到另外一方。

但是在当前的深度学习和大数据时代，只要持续训练一个更大的网络，只要准备了更多的数据，那么也并非只有这两种情况。只要正则适度，通常构建一个更大的网络便可以在不影响方差的同时可以减少偏差，而采用更多数据通常可以在不过多影响偏差的同时，减少方差。这两步实际要做的工作是训练网络，选择网络或者准备更多的数据。

现在我们有工具可以做到，在减少偏差或者偏差的同时不对另一方产生过多不良的影响。最终我们会得到一个非常规范化的网络。

深度学习的实用层面 —— 1.3 机器学习基础相关推荐

吴恩达深度学习笔记5-Course2-Week1【深度学习的实用层面】
改善深层神经网络:超参数调试.正则化以及优化深度学习的实用层面一.训练.验证.测试集样本数据分成以下三个部分: 训练集(train set): 用于对模型进行训练. 验证集(hold-out c ...
吴恩达【优化深度神经网络】笔记01——深度学习的实用层面
文章目录引言一.训练集/验证集/测试集(Train/Dev/Test sets) 1. 数据集选择 2. 补充:交叉验证(cross validation) 二.偏差和方差(Bias/Varian ...
3.深度学习的实用层面
第一周:深度学习的实用层面项目进展得一个关键性得因素就是划分高质量得训练集,验证集,测试集.这有助于提高循环迭代得效率.验证集也称为development set 也称为dev set. 验证集主要 ...
吴恩达《优化深度神经网络》精炼笔记（1）-- 深度学习的实用层面
AI有道不可错过的AI技术公众号关注吴恩达的深度学习专项课程的第一门课<神经网络与深度学习>的所有精炼笔记我已经整理完毕.迷路的小伙伴请见文章末尾的推荐阅读: 在接下来的几次笔记中, ...
Coursera吴恩达《优化深度神经网络》课程笔记（1）-- 深度学习的实用层面
红色石头的个人网站:redstonewill.com Andrew Ng的深度学习专项课程的第一门课<Neural Networks and Deep Learning>的5份笔记我已经整 ...
深度学习的实用层面 —— 1.1 训练/开发/测试集
在配置训练.验证和测试数据集的过程中做出正确决策会在很大程度上帮助大家创建高效的神经网络. 在训练神经网络时,我们需要做出很多决策,例如神经网络分多少层,每层含有多少个隐藏单元,学习速率是多少,各层采 ...
吴恩达深度学习笔记 course 2 1.1~1.14 深度学习的实用层面
1.1 Train/dev/test sets 在构建一个神经网络的时候我们往往需要设计很多参数,如:layers,learning rates ,acivation functions,hidden ...
吴恩达老师深度学习视频课笔记：深度学习的实用层面
训练.验证和测试数据集(training.development and test sets):训练神经网络时,我们需要作出很多决策,如神经网络分多少层(layers).每层含有多少个 ...
深度学习的实用层面 —— 1.10 梯度消失与梯度爆炸
训练神经网络,尤其是深度神经网络所面临的一个问题是梯度消失或者梯度爆炸,也就是说,当你训练深度网络时导数或坡度有时会变得非常大或非常小,甚至以指数方式变小,这加大了训练的难度,这里我们将会了解梯度爆炸 ...

深度学习的实用层面 —— 1.3 机器学习基础

深度学习的实用层面 —— 1.3 机器学习基础相关推荐

最新文章

热门文章