第10课：优化神经网络——如何防止过拟合

上一篇，我们一步步搭建了一个深层的神经网络，来实现图片的分类。结果显示，随着网络层数加深，隐藏层数增加，网络性能会有所提升。但是，单纯地通过增加网络层数也不一定能取得很好的效果，且模型容易发生过拟合。本文将主要来谈谈神经网络中的过拟合问题以及如何避免过拟合。

什么是过拟合

任何机器学习模型，包括神经网络都可能存在过拟合（Overfit）问题。下面用一张图来说明：

上图中，分别用三个模型来拟合实际的样本点（红色 x 表示样本）。第一个模型是一条直线，模型简单，但是预测值与样本 Label 差别较大，这种情况称之为欠拟合（Underfit）。第三个模型是一个高阶多项式，模型过于复杂，虽然预测值与样本 Label 完全吻合，但是该模型在训练样本之外的数据上拟合效果可能很差，该模型可能把噪声也学习了。这种情况称之为过拟合（Overfit），即模型过于拟合训练样本的数据而泛化能力很差。第二个模型是二次曲线，模型复杂度中等，既能对训练样本有较好的拟合效果，也能保证有不错的泛化能力。这是我们构建神经网络模型希望得到的模型。

欠拟合和过拟合分别对应着高偏差（High Bias）和高方差（High Variance）。偏差度量了学习算法的期望预测与真实结果的偏离程度，刻画描述了算法本身对数据的拟合能力，也就是训练数据的样本与训练出来的模型的匹配程度；方差度量了训练集的变化导致学习性

第10课：优化神经网络——如何防止过拟合相关推荐

0.0 目录-深度学习第一课《神经网络与深度学习》-Stanford吴恩达教授
文章目录第五课第四课第三课第二课第一课第五课 <序列模型> 笔记列表 Week 1 循环序列模型 Week 1 传送门 -> 1.1 为什么选择序列模型 1.2 数学符号 ...
深度学习笔记第四门课卷积神经网络第四周特殊应用：人脸识别和神经风格转换...
本文是吴恩达老师的深度学习课程[1]笔记部分. 作者:黄海广[2] 主要编写人员:黄海广.林兴木(第四所有底稿,第五课第一二周,第三周前三节).祝彦森:(第三课所有底稿).贺志尧(第五课第三周底稿). ...
吴恩达深度学习deeplearning.ai——第一门课：神经网络与深度学习——第三节：浅层神经网络
3.1 神经网络概述(Neural Network Overview) 本章你将学习如何实现一个神经网络.在我们深入学习具体技术之前,我希望快速的带你预览一下本章你将会学到的东西.如果这个视频中的某些 ...
吴恩达deeplearning.ai系列课程笔记+编程作业(11)第四课卷积神经网络-第二周深度卷积网络：实例探究（Deep convolutional models: case studies）
第四门课卷积神经网络(Convolutional Neural Networks) 第二周深度卷积网络:实例探究(Deep convolutional models: case studies) ...
第四门课卷积神经网络（Convolutional Neural Networks）
第四门课卷积神经网络(Convolutional Neural Networks) 第一周卷积神经网络(Foundations of Convolutional Neural Networks) ...
深度学习笔记第四门课卷积神经网络第一周卷积神经网络基础
本文是吴恩达老师的深度学习课程[1]笔记部分. 作者:黄海广[2] 主要编写人员:黄海广.林兴木(第四所有底稿,第五课第一二周,第三周前三节).祝彦森:(第三课所有底稿).贺志尧(第五课第三周底稿). ...
第05课：神经网络基础知识
在第01课深度学习概述中,我们介绍了神经网络的基本结构,介绍了神经网络的基本单元组成是神经元.如何构建神经网络,如何训练.优化神经网络,这其中包含了许多数学原理,需要具备一些基本知识.本课,我将重点罗 ...
贝叶斯优化神经网络参数_贝叶斯超参数优化：神经网络，TensorFlow，相预测示例
贝叶斯优化神经网络参数 The purpose of this work is to optimize the neural network model hyper-parameters to est ...
深度学习笔记（10）优化算法（二）
深度学习笔记(10) 优化算法(二) 1. Adam 优化算法 2. 学习率衰减 3. 局部最优的问题 1. Adam 优化算法 Adam代表的是 Adaptive Moment Estimation ...

第10课：优化神经网络——如何防止过拟合

什么是过拟合

第10课：优化神经网络——如何防止过拟合相关推荐

最新文章

热门文章