Tips for Deep Learning
目录
Recipe of Deep Learning
Good Results on Training Data？
New activation function
Adaptive learning rate
Good Results on Testing Data？
Early Stopping
Regularization
Dropout
Recipe of Deep Learning
我们要做的第一件事是，提高model在training set上的正确率，然后要做的事是，提高model在testing set上的正确率。
Good Results on Training Data？
这一部分主要讲述如何在Training data上得到更好的performance，分为两个部分，New activation function和Adaptive Learning Rate。
New activation function
- Vanishing Gradient Problem
当你把network叠得很深的时候，在靠近input的地方，这些参数的gradient(即对最后loss function的微分)是比较小的；而在比较靠近output的地方，它对loss的微分值会是比较大的。
Δw通过sigmoid function之后，得到output是会变小的
ReLU
优点：
跟sigmoid function比起来，ReLU的运算快很多。
ReLU的想法结合了生物上的观察。
无穷多bias不同的sigmoid function叠加的结果会变成ReLU。
ReLU可以处理Vanishing gradient的问题。
Maxout
Maxout就是让network自动去学习它的activation function。ReLU就是特殊的Maxout。
Maxout中的激活函数可以被分段为多个线性的凸函数，多少段取决于之前我们分组后一组元素的个数。
- How to train Maxout
由于我们有很多很多笔training data，所以network的structure在训练中不断地变换，实际上最后每一个weight参数都会被train到。
Adaptive learning rate
- Adagrad
- RMSProp
用一个α来调整对不同gradient的使用程度，比如把α的值设的小一点，意思就是更倾向于相信新的gradient所告诉的error surface的平滑或陡峭程度，而比较无视于旧的gradient所提供给的information。
- Momentum
每次移动的方向，不再只有考虑gradient，而是现在的gradient加上前一个时间点移动的方向。
- Adam
Good Results on Testing Data？
这一部分主要讲述如何在Testing data上得到更好的performance，分为三个模块，Early Stopping、Regularization和Dropout。
Early Stopping
假如我们知道testing set上的loss变化，我们应该停在testing set最小的地方(如图所示)。但是我们不知道你的testing set上的error是，所以我们会用validation来代替。
Regularization
在update参数的时候，其实是在update之前就已近把参数乘以一个小于1的值(η、λ都是很小的值)，这样每次都会让weight小一点。最后会慢慢变小趋近于0，但是会与后一项梯度的值达到平衡，使得最后的值不等于0，L2的Regularization又叫做Weight Decay。
每一次更新时参数时，我们一定要去减一个ηλsgn(wt)(w值是正的，就是减去一个值；若w是负的，就是加上一个值，让参数变大)。
L2、L1都可以让参数变小，但是有所不同的，若w是一个很大的值，L2乘以一个小于1的值，L2下降的很快，很快就会变得很小，在接近0时，下降的很慢，会保留一些接近0的值；L1的话，减去一个固定的值(比较小的值)，所以下降的很慢。
Dropout
在train的时候，每一次update参数之前，对network里面的每个neural(包括input)，做sample（抽样）。 每个neural会有p%会被丢掉，跟着的weight也会被丢掉。testing的时候不做dropout，所有的neuron都要被用到，假设在training的时候，dropout rate是p%，从training data中被learn出来的所有weight都要乘上(1-p%)才能被当做testing的weight使用。
Tips for Deep Learning相关推荐
- 台大李宏毅Machine Learning 2017Fall学习笔记 (10)Tips for Deep Learning
台大李宏毅Machine Learning 2017Fall学习笔记 (10)Tips for Deep Learning 注:本博客主要参照 http://blog.csdn.net/xzy_thu ...
- 生物学深度学习的十个技巧（Ten quick tips for deep learning in biology）
本文是文献Ten quick tips for deep learning in biology的阅读报告,该文章讲述了在将深度学习方法应用于生物学研究时应该考虑的十个关键因素:本文不是纯粹.完全的文 ...
- 李宏毅深度学习——Tips for Deep Learning
目录 一.神经网络的表现 二.改进神经网络 (一)梯度消失以及改进办法 (二)Adaptive Learning Rate (三)Local minimize问题 三.解决overfitting (一 ...
- 【李宏毅机器学习】Tips for Deep Learning（p14） 学习笔记
李宏毅机器学习学习笔记汇总 课程链接 文章目录 Recipe if Deep Learning Do not always blame Overfitting 针对不同的状况使用不同的方法 在训练集上 ...
- Collections about Deep Learning
本章博文主要收集 deep learning 方面看的好的文章及其链接 (1), 一位南大Ph.D candidate 总结的 the tricks/tips in deep learning htt ...
- 【深度学习】李宏毅2021/2022春深度学习课程笔记 - Deep Learning Task Tips
文章目录 一.深度学习步骤回顾 二.常规指导 三.训练过程中Loss很大 3.1 原因1:模型过于简单 3.2 原因2:优化得不好 3.3 原因1 or 原因2 ? 四.训练过程Loss小.测试过程L ...
- 你有哪些 Deep learning（RNN、CNN）调参的经验？
来自 | 知乎-hzwer,北京大学 https://www.zhihu.com/question/41631631/answer/859040970 编辑 | 机器学习算法与自然语言处理,Dataw ...
- 吴恩达深度学习1.2练习_Neural Networks and Deep Learning
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/weixin_42432468 学习心得: 1.每周的视频课程看一到两遍 2.做笔记 3.做每周的作业 ...
- 机器学习(Machine Learning)深度学习(Deep Learning)资料(Chapter 2)
机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 2) - tony的专栏 - 博客频道 - CSDN.NET 注:机器学习资料篇目一共 ...
最新文章
- GridView 与ImageAdapter （笔记）
- 虚拟化技术KVM的搭建
- arch Failed to load module intel
- 【收藏】网络故障处理手册大全，看完再也不怕出问题了
- js中的if与Java中的if_JS中的if和else的用法以及基础语法
- 向左滚动，每次滚动的长度可以设置，然后暂停后继续滚动
- P8级别的顶级“并发编程”宝典，最全指南
- 局域一台打印机突然链接失败，其他能正常连接打印服务器。
- 记一次极其坑爹的Maven无法下载相关Jar包的问题：IDEA问题
- Java实验3 方法与数组
- 用js来实现那些数据结构01（数组篇01-数组的增删）
- C语言基础 - 输出1-100万之间的素数
- 解决Julia使用PyPlot库出现ERROR: ArgumentError: hasproperty of NULL PyObject问题
- Java对正则表达式的支持(二)
- J2EE开发系列教程-J2EE视频教程 实例
- Matlab数字图像处理——图像增强
- 多线程 java实验心得_java多线程编程体会
- 小厮吃货：智能便利店不是新零售的风口？！
- 数图互通高校房产管理模块，公租房管理是怎样对合同、续租，申请审核审批管理的；
- Interface Trip Stop - SRS 报错