训练效果不好的解决办法

2024-05-09 08:02:28

一.训练误差来源：bias、variance

李宏毅机器学习tips for deep learning

通过NN模型得到的f的均值和真实值之间的差值为bias
f和均值之间的差值为variance

（1）underfitting:bias大，variance小；modle无法拟合trainning data
解决方法：redesign model：增加更多的属性或用更复杂的model
（2）overfitting:bias小，variance大；model可以拟合training data，但是在testing data上误差较大
解决方法：增加训练数据或regularization

regularization(正则化)
在loss函数后加一个正则项，防止过拟合
L1正则化：
L2正则化：

目的是使参数也足够小，这样得到的函数就是一个比较平滑的函数，而不是像上图三中波动很大的函数，较平滑的函数往往认为是比较正确的

二.分别在training data和testing data上效果不好的解决办法

1.在training data上效果不好:new active functions,adaptive learning rate

(1)new active functions:sigmoid、ReLU、MaxOut
https://blog.csdn.net/qq_38517015/article/details/102526564
(2)adaptive learning rate:
learning rate:在梯度下降法中更新参数值时

中的yita就是learning rate，表示更新参数快慢
方法一：Adagrad

方法二：RMSProp

方法三：Momentum

2.在testing data上效果不好(overfitting):early stopping,regularization,dropout

(1)early stopping

如图所示，随着训练进度，对training data的损失越来越小，但是对testing data的误差先是变小，然后变大，后面就出现过拟合的情况，所以如果能停在如图指示地方最好。训练时，把training data分为training set和validation set ，在训练时，既计算training set的误差，也计算validation set的误差，保证在training data误差足够小的情况下，validation set误差最小
（2)regularization:第一类中已介绍
（3）dropout:
链接：https://www.jianshu.com/p/32c3a1ab0f9d
上图为Dropout的可视化表示，左边是应用Dropout之前的网络，右边是应用了Dropout的同一个网络。

Dropout的思想是训练整体DNN，并平均整个集合的结果，而不是训练单个DNN。DNNs是以概率P舍弃部分神经元，其它神经元以概率q=1-p被保留，舍去的神经元的输出都被设置为零

dropout中使用了ensemble的思想，相当于训练了很多个网络，然后取均值，所以效果比较好

训练效果不好的解决办法相关推荐

深度学习中模型训练效果不好的原因以及防止过拟合的方法
深度学习中模型训练效果不好的原因 1. 是否选择合适的损失函数 2. 是否选择了合适的Mini-batch size 3. 是否选择了合适的激活函数 4. 是否选择了合适的学习率 5. 优化算法是否使 ...
神经网络怎么看训练效果,神经网络训练效果不好
神经网络训练时准确度突然变得急剧下降,为啥? 谷歌人工智能写作项目:神经网络伪原创神经网络训练一定次数后准确率突然下降怎么回事? 神经网络训练为什么效果不佳那是肯定有影响的.你这样理解,就像你让一 ...
TITAN X+py-faster-rcnn训练不收敛的解决办法
背景最近自己在训练py-faster-rcnn原本代码时,没有改过任何地方,编译无任何错误提示,但是在pascal上训练rpn时发现loss一开始就很大,后来越来越大,甚至上百.检查了很多地方没有解 ...
神经网络训练效果不好,神经网络训练的优势
RBF神经网络的缺点! 1.RBF的泛化能力在多个方面都优于BP网络,但是在解决具有相同精度要求的问题时,BP网络的结构要比RBF网络简单. 2.RBF网络的逼近精度要明显高于BP网络,它几乎能实现完 ...
html浮动效果无法显示解决办法
今天做项目的时候突然发现html的浮动效果无法正确表示,原因是当父容器里面里面嵌套有一个DIV,当DIV设置了浮动,那么父容器是无法被撑开的,也就是说DIV在这里相当于浮在了页面上方,跟DIV不在同 ...
Unity中渐变图片压缩后渐变效果不好的解决办法（使用TexturePacker）
TexturePacker破解版教程及下载:https://blog.csdn.net/u013654125/article/details/80676715 前几天公司有个项目,由于美术做了很多背景 ...
神经网络训练时间太长,神经网络训练效果不好
一般神经网络要训练多久谷歌人工智能写作项目:小发猫神经网络优缺点, 优点:(1)具有自学习功能AI爱发猫.例如实现图像识别时,只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络,网络就 ...
word 文档标题样式相同、行距效果不同的解决办法
先看下图示例,两个标题均采用了标题1的样式(段前.段后0.5行,单倍行距),但展现出的效果有很大差异. 修改办法:将鼠标放置在需要修改的标题页,菜单栏点击[布局] --->点击[页面设置]右下角 ...
神经网络不收敛的 11 个原因及其解决办法
原文:http://theorangeduck.com/page/neural-network-not-working 原文标题:My Neural Network isn't working! Wh ...

最新文章

热门文章