原文：Deep Learning 2: Part 1 Lesson 2

作者：Hiromi Suenaga

• 论坛
• 笔记本

回顾上一课 [01:02]

• 我们使用 3 行代码来构建图像分类器。
• 为了训练模型，需要在PATH下以某种方式组织数据（在本例中为data/dogscats/ ）：

• 应该有train文件夹和valid文件夹，并且在每个文件夹下都有带有分类标签的文件夹（例如本例中的cats ），其中包含相应的图像。
• 训练输出： [epoch #, training loss, validation loss, accuracy]

 [ 0\. 0.04955 0.02605 0.98975] 

学习率 [4:54]

• 学习率的基本思想是，它将决定我们解决方案改进的速度。

• 如果学习率太小，则需要很长时间才能达到最低点。
• 如果学习率太大，它可能会在底部摆动。
• 学习率查找器（ learn.lr_find ）将在每个小批量之后提高学习率。 最终，学习率太高，损失会变得更糟。 然后，我们查看学习率与损失的关系曲线，确定最低点并返回一个幅度，并选择它作为学习率（下例中为1e-2 ）。
• 小批量是我们每次查看的一组图像，因此我们有效地使用 GPU 的并行处理能力（通常一次 64 或 128 个图像）
• 在 Python 中：

• 通过调整这一个数字，你应该能够获得相当不错的结果。 fast.ai 库为你选择其余的超参数。 但随着课程的进展，我们将了解到还有一些我们可以调整的东西，可以获得更好的结果。 但学习率是我们设定的关键数字。
• 学习率查找器位于其他优化器（例如动量，Adam 等）的上层，并根据你正在使用的调整（例如高级优化器但不限于优化器）帮助你选择最佳学习率。
• 问题：在迭代期间改变学习率，优化器会发生什么？ 这个查找器是否选择了初始学习率？ [14:05] 我们稍后会详细了解优化器，但基本答案是否定的。 即使 Adam 的学习率也会除以先前的平均梯度以及最近的梯度的平方和。 即使那些所谓的“动态学习率”方法也具有学习率。
• 使模型更好的最重要的事情是，为它提供更多数据。 由于这些模型有数百万个参数，如果你训练它们一段时间，它们就会开始所谓的“过拟合”。
• 过拟合 - 模型开始在训练集中看到图像的具体细节，而不是学习可以传递到验证集的一般内容。
• 我们可以收集更多数据，但另一种简单方法是数据增强。

fast.ai 深度学习笔记：第一部分第二课相关推荐

1. fast.ai 深度学习笔记：第一部分第一课

   原文:Deep Learning 2: Part 1 Lesson 1 作者:Hiromi Suenaga 课程论坛 入门 [0:00]: 为了训练神经网络,你肯定需要图形处理单元(GPU) - 特别 ...

2. fast.ai 深度学习笔记：第一部分第五课

   原文:Deep Learning 2: Part 1 Lesson 5 作者:Hiromi Suenaga 课程论坛 一,引言 没有足够的关于结构化深度学习的出版物,但它肯定出现在行业中: 结构化深度 ...

3. fast.ai 深度学习笔记：第一部分第四课

   原文:Deep Learning 2: Part 1 Lesson 4 作者:Hiromi Suenaga 课程论坛 学生的文章: 改善学习率的方式 循环学习率技术 探索带有重启动的随机梯度下降(SG ...

4. fast.ai 深度学习笔记：第一部分第三课

   原文:Deep Learning 2: Part 1 Lesson 3 作者:Hiromi Suenaga 课程论坛 学生创建的有用材料: AWS 操作方法 TMUX 第 2 课总结 学习率查找器 P ...

5. 深度学习笔记第一门课第一周：深度学习引言

   本文是吴恩达老师的深度学习课程[1]笔记部分. 作者:黄海广[2] 主要编写人员:黄海广.林兴木(第四所有底稿,第五课第一二周,第三周前三节).祝彦森:(第三课所有底稿).贺志尧(第五课第三周底稿). ...

6. 深度学习笔记第一门课第二周：神经网络的编程基础（下）

   本文是吴恩达老师的深度学习课程[1]笔记部分. 作者:黄海广[2] 主要编写人员:黄海广.林兴木(第四所有底稿,第五课第一二周,第三周前三节).祝彦森:(第三课所有底稿).贺志尧(第五课第三周底稿). ...

7. 深度学习笔记第一门课第二周：神经网络的编程基础（上）

   本文是吴恩达老师的深度学习课程[1]笔记部分. 作者:黄海广[2] 主要编写人员:黄海广.林兴木(第四所有底稿,第五课第一二周,第三周前三节).祝彦森:(第三课所有底稿).贺志尧(第五课第三周底稿). ...

8. 深度学习笔记 第五门课 序列模型 第二周 自然语言处理与词嵌入

   本文是吴恩达老师的深度学习课程[1]笔记部分. 作者:黄海广[2] 主要编写人员:黄海广.林兴木(第四所有底稿,第五课第一二周,第三周前三节).祝彦森:(第三课所有底稿).贺志尧(第五课第三周底稿). ...

9. 《DeepLearning.ai 深度学习笔记》发布，黄海广博士整理

   深度学习入门首推课程就是吴恩达的深度学习专项课程系列的 5 门课.该专项课程最大的特色就是内容全面.通俗易懂并配备了丰富的实战项目.今天,给大家推荐一份关于该专项课程的核心笔记!这份笔记只能用两个字形 ...

最新文章

1. 关于 DOM 操作的几个类型
2. 我积累的数据库操作类（ASP.NET）
3. C#、VB.NET 使用System.Media.SoundPlayer播放音乐
4. 特斯拉回应提车考试：仅作为丰富交付体验的“选修”活动
5. 如何检查PHP数组是关联数组还是顺序数组？
6. JAVA CLASS混淆工具：Allatori 简单试用
7. array,集合（collection）,集合（list）的区别
8. Winform中 ListView控件的使用
9. Putty 保存账号密码
10. mysql的数据库实例名是啥_数据库名、数据库实例名与数据库域名
11. 计算机论文中期考核报告,(硕士学位论文中期考核报告范文.doc
12. 一不留神进了银行黑名单！信用有污点，真的超严重！
13. 4399小游戏之三子棋（可联机）
14. JavaScript 每日一题 #8
15. 2011年20大3D网站
16. 获取数据库最后一条数据
17. 数据科学的原理与技巧 四、数据清理
18. 16课:关于Springboot和@Cacheable注解拉去缓存,@CacheEvict清空缓存的原理
19. 百度地图路线规划重新设置起点、终点图标和路线颜色
20. 搭建Android上的服务器

热门文章

1. （48）System Verilog 类中变量随机激励数组数据
2. （41）FPGA面试技能提升篇（FC接口、GTX/GTH介绍）
3. （7）UART接收verilog与Systemverilog编码
4. 1 D触发器verilog与Systemverilog编码
5. vsftpd 启动不了vsftp 报错：config file not owned by correct useror not a file
6. STM32F103_RGB彩灯
7. oracle 使用数据泵恢复,oracle 使用数据泵 导出整个db 并恢复
8. fisher线性判别算法python_干货｜机器学习算法之线性判别分析
9. C语言 JSON 解析库 - MJSON使用介绍
10. 【数电】(二) 基本逻辑运算与逻辑门电路