方法一：增加数据

增加数据量, 大部分过拟合产生的原因是因为数据量太少了. 如果我们有成千上万的数据, 红线也会慢慢被拉直, 变得没那么扭曲 .

方法二：运用正规化

运用正规化. L1, l2 regularization等等, 这些方法适用于大多数的机器学习, 包括神经网络. 他们的做法大同小异, 我们简化机器学习的关键公式为 y=Wx . W为机器需要学习到的各种参数. 在过拟合中, W 的值往往变化得特别大或特别小. 为了不让W变化太大, 我们在计算误差上做些手脚. 原始的 cost 误差是这样计算, cost = 预测值-真实值的平方. 如果 W 变得太大, 我们就让 cost 也跟着变大, 变成一种惩罚机制. 所以我们把 W 自己考虑进来. 这里 abs 是绝对值. 这一种形式的正规化, 叫做 l1 正规化. L2 正规化和 l1 类似, 只是绝对值换成了平方. 其他的l3, l4 也都是换成了立方和4次方等等. 形式类似. 用这些方法,我们就能保证让学出来的线条不会过于扭曲.

方法三：dropout

在训练的时候, 我们随机忽略掉一些神经元和神经联结 , 是这个神经网络变得”不完整”. 用一个不完整的神经网络训练一次.
到第二次再随机忽略另一些, 变成另一个不完整的神经网络. 有了这些随机 drop 掉的规则, 我们可以想象其实每次训练的时候, 我们都让每一次预测结果都不会依赖于其中某部分特定的神经元. 像l1, l2正规化一样, 过度依赖的 W , 也就是训练参数的数值会很大, l1, l2会惩罚这些大的参数. Dropout 的做法是从根本上让神经网络没机会过度依赖.

神经网络学习9--过拟合 (Overfitting)的解决办法相关推荐

模型过拟合原因及解决办法
模型过拟合原因及解决办法过拟合现象导致过拟合原因解决办法过拟合现象对于样本量有限.但需要使用强大模型的复杂任务,模型很容易出现过拟合的表现,即在训练集上的损失小,在验证集或测试集上的损失较大 ...
过拟合原因及解决办法
过拟合原因及解决办法知乎过拟合出现的原因以及解决方案过拟合欠拟合过拟合出现的原因及解决办法
深度学习中神经网络模型压缩的解决办法（ flask API、onnx、ncnn在嵌入式、流媒体端口应用）
深度学习中神经网络模型压缩的解决办法( flask API.onnx.ncnn在嵌入式.流媒体端口应用) 1 开发环境的创建 1.1 Conda简介 1.2 miniconda 1.3 conda操作 ...
关于安装李沐深度学习d2l包报错的解决办法（保姆教程）
目录:d2l包安装失败的解决过程前言一.李沐提供的安装方式 1. 创建一个新的环境 2. 激活 d2l 环境 3. 安装深度学习框架和d2l软件包 3.1 安装PyTorch的CPU或GPU版本 ...
常见过拟合、欠拟合原因及解决办法
引言在机器学习中,我们将模型在训练集上的误差称之为训练误差,又称之为经验误差,在新的数据集(比如测试集)上的误差称之为泛化误差,泛化误差也可以说是模型在总体样本上的误差.对于一个好的模型应该是经验误 ...
神经网络梯度消失和梯度爆炸及解决办法
关注微信公众号[Microstrong],我现在研究方向是机器学习.深度学习,分享我在学习过程中的读书笔记!一起来学习,一起来交流,一起来进步吧! 本文同步更新在我的微信公众号中,公众号文章地址:ht ...
python打包exe之打包深度学习模型踩坑记录及其解决办法。
在现实生活中,有时候我们写的程序需要发给小伙伴用,而小伙伴没有python,这时候我们需要将程序打包成exe文件发给小伙伴用. 今天讲下打包深度学习模型打包一般要用到cmd命令行,要求cmd能执行p ...
小白学习Hibernate遇到的错误以及解决办法(GenerationTarget encountered exception accepting command : Error executing)
由于项目需要,这几天在学习Hibernate,遇到了一个小错误,但是让我解决了一天多--. 遇到问题废话不多说,先上错误 , 解决问题翻遍google,百度,各种办法都试了,就是不行,最后对照一篇 ...
3d渲图计算机内存不足,【学习】3d渲染内存不足解决办法！！
该楼层疑似违规已被系统折叠隐藏此楼查看此楼相信接触过3Dmax的吧友都知道这个软件对电脑的配置还是比较高而且内存占用也是很大的,不知道吧友们有没有碰到过3D渲图时,内存不足的烦恼:今天我想给大家分 ...

神经网络学习9--过拟合 (Overfitting)的解决办法

方法一：增加数据

方法二：运用正规化

方法三：dropout

神经网络学习9--过拟合 (Overfitting)的解决办法相关推荐

最新文章

热门文章