【每周CV论文推荐】 初学者必须精读的5篇深度学习优化相关文章
欢迎来到《每周CV论文推荐》。在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的。
从事深度学习岗位,扎实的深度学习理论基础是必须掌握的,在前面我们已经给大家推荐过入门必须的模型结构相关的文章,今天给大家推荐必须精读的优化技术相关的文章。
作者&编辑 | 言有三
1 Xavier初始化方法
早期的深层神经网络就是被卡在了初始化上,xavier是一个非常有效的初始化方法,它的来龙去脉自然是需要仔细了解。
文章引用量:6000+
推荐指数:✦✦✦✦✦
[1] Glorot X, Bengio Y. Understanding the difficulty of training deep feedforward neural networks[C]//Proceedings of the thirteenth international conference on artificial intelligence and statistics. 2010: 249-256.
2 ReLU函数
简单而不光滑的ReLU为何开始取代sigmoid等激活函数,它为何有效,不需多说,基本上一直都被问。
文章引用量:4000+
推荐指数:✦✦✦✦✦
[2] Glorot X, Bordes A, Bengio Y. Deep sparse rectifier neural networks[C]//Proceedings of the fourteenth international conference on artificial intelligence and statistics. 2011: 315-323.
3 Dropout正则化技术
Dropout是AlexNet网络成功训练必不可缺少的工程技术,也是极为强大的正则化技术,在深度学习优化技术中举足轻重。
文章引用量:13000+
推荐指数:✦✦✦✦✦
[3] Srivastava N, Hinton G, Krizhevsky A, et al. Dropout: a simple way to prevent neural networks from overfitting[J]. The journal of machine learning research, 2014, 15(1): 1929-1958.
4 池化与步长
池化的思想和应用早就随着卷积而诞生,但是现在我们常常用带步长的卷积去替代池化,为什么呢?它们的对比究竟如何。
文章引用量:1400+
推荐指数:✦✦✦✦✧
[4] Springenberg J T, Dosovitskiy A, Brox T, et al. Striving for simplicity: The all convolutional net[J]. arXiv preprint arXiv:1412.6806, 2014.
5 BN的提出
BN之强大,人尽皆知,不管你读过多少资料解读,这原文都是需要精读的。
文章引用量:11000+
推荐指数:✦✦✦✦✦
[5] Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[J]. arXiv preprint arXiv:1502.03167, 2015.
鉴于理论文章读起来难度要高不少,本周就只推荐5篇,深度学习优化相关的内容这还只是前菜,希望大家提前做好准备。
6 如何获取文章与交流
找到有三AI开源项目即可获取。
https://github.com/longpeng2008/yousan.ai
文章细节众多,阅读交流在有三AI知识星球中进行,感兴趣可以加入。
总结
以上就是初入深度学习领域必读的理论相关的文章,下一期我们将介绍一些训练和测试数据使用技巧相关的文章。
转载文章请后台联系
侵权必究
往期精选
【每周论文推荐】 初入深度学习CV领域必读的几篇文章
【每周CV论文推荐】 掌握残差网络必读的10多篇文章
【每周NLP论文推荐】从预训练模型掌握NLP的基本发展脉络
【每周NLP论文推荐】 NLP中命名实体识别从机器学习到深度学习的代表性研究
【每周CV论文推荐】 初学者必须精读的5篇深度学习优化相关文章相关推荐
- 【每周CV论文推荐】 初学活体检测与伪造人脸检测必读的文章
欢迎来到<每周CV论文推荐>.在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的. 活体检测在安防与金融等使用人脸识别技术的领域 ...
- 【每周CV论文推荐】基于GAN的对抗攻击,适合阅读那些文章入门?
欢迎来到<每周CV论文推荐>.在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的. 在图像分类的对抗攻击任务中,如果在图片上添加 ...
- 【每周CV论文推荐】换脸算法都有哪些经典的思路?
欢迎来到<每周CV论文推荐>.在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的. 人脸伪造/换脸算法目前在一定程度上已经达到了 ...
- 【每周CV论文推荐】 人脸识别剩下的难题:从遮挡,年龄,姿态,妆造到亲属关系,人脸攻击...
欢迎来到<每周CV论文推荐>.在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的. 人脸识别系统已经大规模商业化应用,但这并意味 ...
- 【每周CV论文推荐】 初学深度学习单张图像三维人脸重建需要读的文章
欢迎来到<每周CV论文推荐>.在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的. 基于图像的人脸三维重建在人脸分析与娱乐领域里 ...
- 【每周CV论文推荐】 初学深度学习人脸属性分析必读的文章
欢迎来到<每周CV论文推荐>.在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的. 人脸属性分析在社交娱乐,人机交互等领域有重要 ...
- 【每周CV论文推荐】 初学GAN必须要读的文章
欢迎来到<每周CV论文推荐>.在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的. GAN作为当前最有前途,也最烧钱的方向之一, ...
- 【每周CV论文推荐】 初学深度学习图像分割必须要读的文章
欢迎来到<每周CV论文推荐>.在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的. 图像分割作为计算机视觉的基础任务之一,应用非 ...
- 【每周CV论文推荐】 初学目标检测必须要读的文章
欢迎来到<每周CV论文推荐>.在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的. 目标检测作为计算机视觉的基础任务之一,应用非 ...
最新文章
- python编程培训-马哥教育官网-专业Linux培训班,Python培训机构
- java怎么导入一个项目到eclipse
- 工作总结-基于R的数据分析
- C4.5最新版本Release8与MDL的关系的详细解读
- 关于memcached的收集
- leetcode----------Excel Sheet Column Number
- Redis 最大连接数查询与设置、释放超时链接
- kitti数据集label解析和可视化教程
- 【梦幻西游】12门派版一键端
- 硬件电路设计之按键消抖(利用瞬态抑制二极管TVS加低通滤波器)
- 【文献阅读01】Eco-Vehicular Edge Networks for Connected Transportation: A Distributed Multi-Agent Reinfor
- 计算机取证volatility
- codelite14中文语言包_CodeLite中文语言包
- 计算机系单身率排行榜,今天6一波~单身率特高的那些大学专业排行榜!
- 递归和循环两种方法完成树的镜像转换
- 马斯克疯狂理念在中国落地?国产高速飞行列车即将登场
- radio 根据默认值选中
- Android最牛的开源收集
- 2012年读书感悟2013读书计划
- ffmpeg开发之旅(4):MP3编码格式分析与lame库编译封装