dropout 过拟合
dropout 的过程好像很奇怪,为什么说它可以解决过拟合呢?(正则化)
- 取平均的作用: 先回到正常的模型(没有dropout),我们用相同的训练数据去训练5个不同的神经网络,一般会得到5个不同的结果,此时我们可以采用 “5个结果取均值”或者“多数取胜的投票策略”去决定最终结果。(例如 3个网络判断结果为数字9,那么很有可能真正的结果就是数字9,其它两个网络给出了错误结果)。这种“综合起来取平均”的策略通常可以有效防止过拟合问题。因为不同的网络可能产生不同的过拟合,取平均则有可能让一些“相反的”拟合互相抵消。dropout掉不同的隐藏神经元就类似在训练不同的网络(随机删掉一半隐藏神经元导致网络结构已经不同),整个dropout过程就相当于 对很多个不同的神经网络取平均。而不同的网络产生不同的过拟合,一些互为“反向”的拟合相互抵消就可以达到整体上减少过拟合。
- 减少神经元之间复杂的共适应关系: 因为dropout程序导致两个神经元不一定每次都在一个dropout网络中出现。(这样权值的更新不再依赖于有固定关系的隐含节点的共同作用,阻止了某些特征仅仅在其它特定特征下才有效果的情况)。 迫使网络去学习更加鲁棒的特征 (这些特征在其它的神经元的随机子集中也存在)。换句话说假如我们的神经网络是在做出某种预测,它不应该对一些特定的线索片段太过敏感,即使丢失特定的线索,它也应该可以从众多其它线索中学习一些共同的模式(鲁棒性)。(这个角度看 dropout就有点像L1,L2正则,减少权重使得网络对丢失特定神经元连接的鲁棒性提高)
dropout 过拟合相关推荐
- 正则化方法:数据增强、regularization、dropout
文章目录 过拟合 overfitting 数据增强 正则化项 范数 norm L1 正则 Lasso regularizer L2 正则 Ridge Regularizer / Weight Deca ...
- 智能车竞赛技术报告 | 智能车视觉 - 中原工学院 - 逐鹿 - 分母队
学 校:中原工学院 队伍名称:逐鹿-分母队 参赛队员:王泽南 张志宇 徐程升 带队教师:但永平 耿世勇 第一章 引言 智能车辆是一个集环境感知.规划决策.多等级辅助 ...
- 机器学习 基本概念/术语
____tz_zs学习笔记 机器学习:探究和开发一系列算法来如何使计算机不需要通过外部明显的指示,而可以自己通过数据来学习,建模,并且利用建好的模型和新的输入来进行预测的学科. 深度学习:是基于机器学 ...
- 计算机视觉与深度学习-全连接神经网络
以下内容是自己学习北京邮电大学鲁鹏副教授计算机视觉与深度学习课程(A02)的一些笔记, 笔者能力有限,如有错误还望各位大佬在评论区批评指正 . 先贴一下课程官网:CV-XUEBA 篇3地址:计算机视觉 ...
- TensorFlow2 大幅提高模型准确率的神奇操作
TensorFlow2 大幅提高模型准确率的神奇操作 过拟合 Regulation 公式 例子 动量 公式 例子 学习率递减 过程 例子 Early Stopping Dropout 过拟合 当训练集 ...
- AlexNet网络模型讲解搭建以及训练
一.AlexNet网络详解 AlexNet是2012年ISLVRC 2012(ImageNet Large Scale Visual Recognition Challenge)竞赛的冠军网络,分类准 ...
- 深度学习--TensorFlow(7)拟合(过拟合处理)(数据增强、提前停止训练、dropout、正则化、标签平滑)
目录 拟合 1.拟合情况 2.抵抗过拟合方法 过拟合处理(防止过拟合): 一.数据增强 1.设置图像生成器 2.载入图片 3.图像转三维数据 4.三维转四维 5.生成图片(用图像生成器) 代码 二.提 ...
- 详解 | Dropout为何能防止过拟合?
作者 | 张雨石 开篇明义,dropout是指在深度学习网络的训练过程中,对于神经网络单元,按照一定的概率将其暂时从网络中丢弃.注意是暂时,对于随机梯度下降来说,由于是随机丢弃,故而每一个mini-b ...
- 正则化方法/防止过拟合提高泛化能力的方法:L1和L2 regularization、数据集扩增、dropout
转载自:http://blog.csdn.net/u012162613/article/details/44261657 本文是<Neural networks and deep learnin ...
最新文章
- Wiki系统分析比较
- code block怎样导入整个文件夹_一文就能get!带你了解Python模块导入的真相,拿走不谢...
- 《微软产品开发致胜策略》-5月22日微软CTO峰会主题演讲
- lsof查看进程占用文件_Linux 利用lsof命令查找已经删除的文件来释放磁盘空间
- 日志不说谎--Asp.net的生命周期
- Android刷新当前页面
- 随笔:谈谈考研二战如何准备
- TJUSCSST第三次作业
- 流量映射端口反弹(lcx,ew)
- 圆柱体积怎么算立方公式_圆柱体积公式是什么,怎么算,
- 有人对你说辛苦了要怎么回复
- 【Windows10下.sh文件的运行】‘bash’ is not recognized as an internal or external command
- PyQt5 | PyQt5环境配置及组件介绍
- 15.Set里的元素是不能重复的,那么用什么方法来区分重复与否呢? 是用==还是equals()? 它们有何区别?
- python就业需要的技能_教你如何快速掌握Python就业技能
- 咦,为什么我的事务回滚不了?
- 电工学习笔记——示波器交直流耦合的区别
- 14岁男孩倒卖土地赚1700万 网友急回家跪求父母买土地
- 58T城~~~~~~青龙脚本
- JAVA毕设项目夕阳红养老院系统(java+VUE+Mybatis+Maven+Mysql)