1.12 改善你的模型表现-深度学习第三课《结构化机器学习项目》-Stanford吴恩达教授
| ←上一篇 | ↓↑ | 下一篇→ |
|---|---|---|
| 1.11 超越人的表现 | 回到目录 | 1.13 总结 |
改善你的模型表现 (Improving your model performance)
你们学过正交化，如何设立开发集和测试集，用人类水平错误率来估计贝叶斯错误率以及如何估计可避免偏差和方差。我们现在把它们全部组合起来写成一套指导方针，如何提高学习算法性能的指导方针。
所以我想要让一个监督学习算法达到实用，基本上希望或者假设你可以完成两件事情。首先，你的算法对训练集的拟合很好，这可以看成是你能做到可避免偏差很低。还有第二件事你可以做好的是，在训练集中做得很好，然后推广到开发集和测试集也很好，这就是说方差不是太大。
在正交化的精神下，你可以看到这里有第二组旋钮，可以修正可避免偏差问题，比如训练更大的网络或者训练更久。还有一套独立的技巧可以用来处理方差问题，比如正则化或者收集更多训练数据。
总结一下前几段视频我们见到的步骤，如果你想提升机器学习系统的性能，我建议你们看看训练错误率和贝叶斯错误率估计值之间的距离，让你知道可避免偏差有多大。换句话说，就是你觉得还能做多好，你对训练集的优化还有多少空间。然后看看你的开发错误率和训练错误率之间的距离，就知道你的方差问题有多大。换句话说，你应该做多少努力让你的算法表现能够从训练集推广到开发集，算法是没有在开发集上训练的。
如果你想用尽一切办法减少可避免偏差，我建议试试这样的策略：比如使用规模更大的模型，这样算法在训练集上的表现会更好，或者训练更久。使用更好的优化算法，比如说加入momentum或者RMSprop，或者使用更好的算法，比如Adam。你还可以试试寻找更好的新神经网络架构，或者说更好的超参数。这些手段包罗万有，你可以改变激活函数，改变层数或者隐藏单位数，虽然你这么做可能会让模型规模变大。或者试用其他模型，其他架构，如循环神经网络和卷积神经网络。在之后的课程里我们会详细介绍的，新的神经网络架构能否更好地拟合你的训练集，有时也很难预先判断，但有时换架构可能会得到好得多的结果。
另外当你发现方差是个问题时，你可以试用很多技巧，包括以下这些：你可以收集更多数据，因为收集更多数据去训练可以帮你更好地推广到系统看不到的开发集数据。你可以尝试正则化，包括 L2L2L2 正则化，dropout正则化或者我们在之前课程中提到的数据增强。同时你也可以试用不同的神经网络架构，超参数搜索，看看能不能帮助你，找到一个更适合你的问题的神经网络架构。
我想这些偏差、可避免偏差和方差的概念是容易上手，难以精通的。如果你能系统全面地应用本周课程里的概念，你实际上会比很多现有的机器学习团队更有效率、更系统、更有策略地系统提高机器学习系统的性能。
课程板书
| ←上一篇 | ↓↑ | 下一篇→ |
|---|---|---|
| 1.11 超越人的表现 | 回到目录 | 1.13 总结 |
1.12 改善你的模型表现-深度学习第三课《结构化机器学习项目》-Stanford吴恩达教授相关推荐
- 0.0 目录-深度学习第四课《卷积神经网络》-Stanford吴恩达教授
文章目录 第五课 第四课 第三课 第二课 第一课 第五课 <序列模型> 笔记列表 Week 1 循环序列模型 Week 1 传送门 -> 1.1 为什么选择序列模型 1.2 数学符号 ...
- 2.11 计算机视觉现状-深度学习第四课《卷积神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 2.10 数据扩充 回到目录 2.12 总结 计算机视觉现状 (The State of Computer Vision) 深度学习已经成功地应用于计算机视觉.自然语言处理. ...
- 4.4 Triplet 损失-深度学习第四课《卷积神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 4.3 Siamese 网络 回到目录 4.5 面部验证与二分类 Triplet 损失 (Triplet Loss) 要想通过学习神经网络的参数来得到优质的人脸图片编码,方法 ...
- 4.2 One-Shot 学习-深度学习第四课《卷积神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 4.1 什么是人脸识别? 回到目录 4.3 Siamese 网络 One-Shot 学习 (One-Shot Learning) 人脸识别所面临的一个挑战就是你需要解决一次学 ...
- 2.9 迁移学习-深度学习第四课《卷积神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 2.8 使用开源的实现方案 回到目录 2.10 数据扩充 迁移学习 (Transfer Learning) 如果你要做一个计算机视觉的应用,相比于从头训练权重,或者说从随机初 ...
- 2.2 经典网络-深度学习第四课《卷积神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 2.1 为什么要进行实例探究? 回到目录 2.3 残差网络 经典网络 (Classic Networks) 这节课,我们来学习几个经典的神经网络结构,分别是LeNet-5.A ...
- 1.2 边缘检测示例-深度学习第四课《卷积神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 1.1 计算机视觉 回到目录 1.3 更多边缘检测内容 边缘检测示例 (Edge Detection Example) 卷积运算是卷积神经网络最基本的组成部分,使用边缘检测作 ...
- 4.1 什么是人脸识别-深度学习第四课《卷积神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.11 总结 回到目录 4.2 One-Shot 学习 什么是人脸识别 (What is face recognition?) 欢迎来到第四周,即这门课卷积神经网络课程的最 ...
- 2.8 使用开源的实现方案-深度学习第四课《卷积神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 2.7 Inception 网络 回到目录 2.9 迁移学习 使用开源的实现方案 (Using Open-source Implementations) 你现在已经学过几个非 ...
最新文章
- Caffe源码中math_functions文件分析
- linux更改桌面壁纸的脚本,ubuntu 桌面 壁纸 自动切换 方法 图解 linux
- 美媒人工智能(AI)代表了计算的优点，没有人类推理的缺点
- Blink Coordinate Spaces
- ae saber插件_【AE插件】 用于做动画制作/设计的五个免费插件 非常好用
- 前端学习（2568)：使用高级特性provide和inject
- 在C＃中对列表/数组进行碎片整理——关闭所有空白
- 解决苹果mac新建txt文档在Windows下不换行的方法
- spring oracle数据源配置,spring的多数据源配置(spring+ibatis + oracle环境下)
- MyBatis3——入门介绍
- 编写测试用例方法之等价类划分法
- 列宽一字符等于多少厘米_【excle列宽等于】excel里面的列宽和行高单位是多少?多少等于1厘米?怎么对比的?...
- 【结构体】结构变量的定义与初始化
- 模拟cmos集成电路（5）
- 逆袭之路——python 数据库字符编码与配置、存储引擎、字段类型及约束条件【day46】
- ModSecurity web application firewall (WAF) Research
- 《我心归处是敦煌》读后感
- Android开发 之 直播视频技术探究之---基础知识大纲介绍
- CSDN 如何修改用户昵称？
- 静态网站与动态网站的区别