系列笔记 | 深度学习连载(5):优化技巧(下)
点击上方“AI有道”,选择“星标”公众号
重磅干货,第一时间送达
深度学习中我们总结出 5 大技巧:
本节继续从第三个开始讲起。
3. Early stopping and Regularization
本节我们一起探讨 Early stopping and Regularization,这两个技巧不是深度学习特有的方法,是机器学习通用的方法。
Early stopping
在训练过程中,往往会得出训练的最后的结果还可能不如以前的,原因很有可能出现overfitting。 我们需要提前踩刹车,得出更好的效果。
Regularizaton
当我们努力降低Loss函数的数值的时候,我们会发现,我们找到的参数集weights,不仅仅要让Loss变小,而且weights 自身也需要接近于0,这样我们的结果会更加理想。
L1 正则化:
新的Loss函数将会被最小化:
L2正则化:
新的Loss函数将会被最小化:
到这里,很多同学会疑问,为什么weights小了,结果就很更好,我在这里举例说明:6岁的时候和14岁的时候,大脑的神经元密度明显降低,说明一些无效的神经元是阻碍大脑进步的。
4. Dropout
Dropout 在2012年imagenet 比赛中大放异彩,是当时CNN模型夺冠的功勋环节之一。
那什么是Dropout 我们先直观的理解:
练武功的时候,训练的时候脚上绑上重物
等到练成下山的时候:
我们从几个方面来解释Dropout
基础定义
当训练的时候,每一个神经元都有p%的可能“靠边站”
当测试的时候,所有的神经元齐心协力,共同努力:
Dropout是一种Ensemble学习
Ensemble 学习我们在机器学习专栏中一起讨论过,链接是集成学习。每次训练的时候的网络结构都是不一样的,是一个thinner network:
其实在训练的时候训练了很多thinner network:
测试的时候,取各个网络的平均值
所以在深度学习中,我们的整个训练测试方法如下:
本专栏图片、公式很多来自台湾大学李弘毅老师、斯坦福大学cs229、cs231n 、斯坦福大学cs224n课程。在这里,感谢这些经典课程,向他们致敬!
作者简介:武强 兰州大学博士,谷歌全球开发专家Google Develop Expert(GDE Machine Learing 方向)
CSDN:https://me.csdn.net/dukuku5038
知乎:https://www.zhihu.com/people/Dr.Wu/activities
漫画人工智能公众号:DayuAI-Founder
系列笔记:
系列笔记 | 深度学习连载(1):神经网络
系列笔记 | 深度学习连载(2):梯度下降
系列笔记 | 深度学习连载(3):反向传播
系列笔记 | 深度学习连载(4):优化技巧(上)
推荐阅读
(点击标题可跳转阅读)
干货 | 公众号历史文章精选
我的深度学习入门路线
我的机器学习入门路线图
重磅!
林轩田机器学习完整视频和博主笔记来啦!
扫描下方二维码,添加 AI有道小助手微信,可申请入群,并获得林轩田机器学习完整视频 + 博主红色石头的精炼笔记(一定要备注:入群 + 地点 + 学校/公司。例如:入群+上海+复旦。
长按扫码,申请入群
(添加人数较多,请耐心等待)
最新 AI 干货,我在看
系列笔记 | 深度学习连载(5):优化技巧(下)相关推荐
- 系列笔记 | 深度学习连载(4):优化技巧(上)
点击上方"AI有道",选择"星标"公众号 重磅干货,第一时间送达 深度学习中我们总结出 5 大技巧: 1. Adaptive Learning Rate 我们先 ...
- 系列笔记 | 深度学习连载(6):卷积神经网络基础
点击上方"AI有道",选择"星标"公众号 重磅干货,第一时间送达 卷积神经网络其实早在80年代,就被神经网络泰斗Lecun 提出[LeNet-5, LeCun ...
- 系列笔记 | 深度学习连载(2):梯度下降
点击上方"AI有道",选择"星标"公众号 重磅干货,第一时间送达 我们回忆深度学习"三板斧": 1. 选择神经网络 2. 定义神经网络的好坏 ...
- 【深度学习】小白学深度学习:参数优化与优化器原理
深度学习的「参数优化」 深度学习模型的优化过程是指调整模型的参数以尽量减小预测误差的过程.下面是深度学习模型优化的基本流程: 确定损失函数:衡量模型预测输出和实际输出之间误差的函数. 梯度反向传播:用 ...
- 深度学习系列:深度学习在腾讯的平台化和应用实践
深度学习系列:深度学习在腾讯的平台化和应用实践(一) 莫扎特 2015-01-04 6:05:13 大数据技术 评论(0) 深度学习是近年机器学习领域的重大突破,有着广泛的应用前景.随着Google公 ...
- 深度学习 | 训练及优化方法
---------------------------- 原文发表于夏木青 | JoselynZhao Blog,欢迎访问博文原文. ---------------------------- 深度学习 ...
- 深度学习11个实用技巧
深度学习11个实用技巧 深度学习工程师George Seif发表了一篇博文,总结了7个深度学习的技巧,本文增加了几个技巧,总结了11个深度学习的技巧,主要从提高深度学习模型的准确性和速度两个角度来分析 ...
- 深度学习中的优化简介
深度学习算法在许多情况下都涉及到优化. 1. 学习和纯优化有什么不同 在大多数机器学习问题中,我们关注某些性能度量P,其定义于测试集上并且可能是不可解的.因此,我们只是间接地优化P.我们系统通过降低代 ...
- 前方高能!AI 大牛 LeCun 设想下一个新前沿:摈弃深度学习的所有概率技巧,改而掌握不断转变的能量值...
来源:云头条 据深度学习界的领军人物Yann LeCun声称,AI的下一个发展阶段可能是摈弃深度学习的所有概率技巧,改而掌握不断转变的能量值. 据说工程师(以及一些科学家,但以工程师为主)早在坐到板凳 ...
最新文章
- Chrome使用技巧和编辑框拖动怪问题。
- nightwatchjs --Expect element to not include text
- hadoop2.7之Mapper/reducer源码分析
- UOJ #164 [清华集训2015]V (线段树)
- boost::mpi模块实现测试mpi版本
- python 按列名称筛选_python中实现excel的高级筛选
- 小程序onload_微信小程序开发入门之共享账本(十四)
- python-opencv学习第二章
- Oracle 12c因bug导致ORA-04031问题处理过程 | 云和恩墨技术通讯精选
- python读取doc文件 语义识别_我可以让socket.makefile具有与常规文件相同的读取语义吗?...
- python怎么找一个矩阵_Python(NumPy,SciPy),找到矩阵的零空间
- 计算机组成原理罗克露课后答案,计算机组成原理[完整版](罗克露)(全)原版教案.ppt...
- 论文阅读17 | Cross-modality Person re-identification with Shared-Specific Feature Transfer
- formidable词根词缀_SAT词根词缀汇总内容(6)
- L2-029 特立独行的幸福 (递归) 有代码详细解析
- JIRA导出工作日志到Excel
- SDN概述:简介、工具、环境部署
- HTML5对网络营销的影响,什么是互联网营销思维,简述互联网思维对网络营销的影响...
- Vue项目首页-热销推荐组件开发(7-6)
- PAT 乙级 1068 万绿丛中一点红