全栈深度学习第5期: 神经网络调试技巧
一起追剧鸭
简介
Berkeley全栈深度学习追剧计划是由夕小瑶的卖萌屋发起的优质公开课打卡项目，通过微信群为同期追剧的小伙伴提供交流平台。关于该计划的详请见这里。
Berkeley深度学习追剧群
目前已有1000+小伙伴加入，公众号后台回复口令 深度学习追剧 入群。课程主页
https://course.fullstackdeeplearning.com
第5期内容
神经网络的调试确实是让人头秃的事情，如何能够有策略的进行模型调试值得了解。本期是FSDL课程的第五期: Troubleshooting Deep Neural Networks，主要介绍了如何调试神经网络。主要包括：
从简入手：深度学习的bugs们通常都是隐身的，即使我们有火眼金睛，也很难找到它们。所以从简化版着手，逐步搭建模型、增加数据量和延后调参都是不错的选择。视频中有介绍采用哪些方法去简化模型， 比如初始化采用神奇的学习率3e-4????。
怎样调试呢？Josh建议首先让代码可以跑起来，然后保证在一个batch上可以overfit，并且最好能够将自己的结果和一个已知的结果进行对比。视频中列了5个最常见的bugs，去看看你遇到过几次呀~也可以当做一个简单的checklist。
如何评估模型的性能？评估模型是overfitting、underfitting的程度，再决定下一步优先做什么。
Test error = irreducible error + bias + variance + distribution shift + val overfitting。 对比model在训练、验证、测试集上的表现，寻求bias-variance的平衡。
基础性能评估后，我们需要思考可以从哪些方面改进我们的模型呢？比如：under-fitting，over-fitting都有什么对应策略呢？训练、验证、测试数据分布不一样应该怎么办呢？
调超参有哪些技巧呢？对比了手动调参、网格搜索、随机搜索、coarse-to-fine、贝叶斯超参优化五种方法。
追剧链接：
注：【夕小瑶的卖萌屋】后台回复 DL5获取本期PPT
往期内容回顾
全栈深度学习第1期：如何启动一个机器学习项目？
全栈深度学习第2期: 开发套件与工具篇
全栈深度学习第3期: 怎样科学管理实验数据？
全栈深度学习第4期: 机器学习岗位区别与团队管理
加入卖萌屋NLP/IR/Rec与求职讨论群
后台回复关键词【顶会】
获取ACL、CIKM等各大顶会论文集！
全栈深度学习第5期: 神经网络调试技巧相关推荐
- 全栈深度学习第7期: 研究方向这么多，哪些是有有趣又潜力的呢？
一起追剧鸭 简介 Berkeley全栈深度学习追剧计划是由夕小瑶的卖萌屋发起的优质公开课打卡项目,通过微信群为同期追剧的小伙伴提供交流平台.关于该计划的详请见这里. Berkeley深度学习追剧群 目 ...
- 全栈深度学习第6期: 模型测试和部署
一起追剧鸭 简介 Berkeley全栈深度学习追剧计划是由夕小瑶的卖萌屋发起的优质公开课打卡项目,通过微信群为同期追剧的小伙伴提供交流平台.关于该计划的详请见这里. Berkeley深度学习追剧群 目 ...
- 全栈深度学习第4期: 机器学习岗位区别与团队管理
一起追剧鸭 简介 Berkeley全栈深度学习追剧计划是由夕小瑶的卖萌屋发起的优质公开课打卡项目,通过微信群为同期追剧的小伙伴提供交流平台.关于该计划的详请见这里. Berkeley深度学习追剧群 目 ...
- 全栈深度学习第3期: 怎样科学管理实验数据？
一起追剧鸭 简介 Berkeley全栈深度学习追剧计划是由夕小瑶的卖萌屋发起的优质公开课打卡项目,通过微信群为同期追剧的小伙伴提供交流平台.关于该计划的详请见这里. 1. Berkeley深度学习追剧 ...
- 全栈深度学习第2期: 开发套件与工具篇
一起追剧鸭 简介 Berkeley全栈深度学习追剧计划是由夕小瑶的卖萌屋发起的优质公开课打卡项目,通过微信群为同期追剧的小伙伴提供交流平台.关于该计划的详请见这里. 1. Berkeley深度学习追剧 ...
- 全栈深度学习第1期：如何启动一个机器学习项目？
一 起 追 剧 鸭 ! 简介 Berkeley全栈深度学习追剧计划是由夕小瑶的卖萌屋发起的优质公开课打卡项目,通过微信群为同期追剧的小伙伴提供交流平台.关于该计划的详请见这里. 1. Berkeley ...
- 追剧计划第三弹！UC Berkeley出品，全栈深度学习！
关注卖萌屋比较早的小伙伴,大概还记得2020年初时我们组织的斯坦福大学CS224N自然语言处理公开课追剧计划,以及后来的斯坦福大学CS520知识图谱公开课追剧活动.尽管活动已经结束很长一段时间,但是仍 ...
- 免费机器学习课程爆红：从概率与统计到全栈深度学习，英伟达工程师小姐姐整理...
乾明 发自 凹非寺 量子位 报道 | 公众号 QbitAI 有一份适合按顺序依次学习的免费机器学习资源,在Twitter上火了. 一天之间便获得5.9K点赞和1.5K转发. 评论区中,"T ...
- 【深度学习】收藏｜神经网络调试Checklist
前言 作为一名每天与神经网络训练/测试打交道的同学,是否经常会遇到以下这几个问题,时常怀疑人生: 怎么肥事,训练正常着呢,咋效果这么差呢? 嗯..再等等是不是loss就更低了.啊?明明loss更低了呀 ...
最新文章
- python 遍历字典
- php 开发微信h5,微信h5页面开发遇到那些坑
- 解决 rake aborted!
- 关于微信小程序的的总结
- MATLAB实战系列（二十九）-头脑风暴优化（BSO）算法求解旅行商问题（TSP）-交叉算子
- 计算机硬件存储器,个人计算机的存储器系统 说说内核与计算机硬件结构(5)
- python 坐标连线_从具有和角度的坐标绘制线 - python
- 风变编程python助教_花30天时间，学完了风变编程Python基础语法课
- 知乎十周年之际，悟空问答宣布下线
- 416. 分割等和子集（JavaScript）
- Java数据库接口JDBC入门基础讲座_JDBC基础教程之连接
- flume-ng命令
- 《像计算机科学家一样思考Python》——4.4 封装
- Java继承结构中类的初始化
- plsql 误删除了存储过程怎么处理_照片恢复 - 内存卡及手机误删照片怎么恢复？...
- OFFICE技术讲座：制表键(TAB)对段落布局的影响
- qt传值给js及js传值给qt（qt及js的交互）
- 种草营销这样干 小红书KOC素人和KOL达人组合种草推广
- iReport简单使用
- 山东理工ACM【1532】矩阵输出