fast.ai 深度学习笔记：第一部分第四课

原文：Deep Learning 2: Part 1 Lesson 4

作者：Hiromi Suenaga

课程论坛

学生的文章：

改善学习率的方式
循环学习率技术
探索带有重启动的随机梯度下降（SGDR）
使用差异学习率的迁移学习
让计算机看得比人类更好

Dropout [04:59]

learn = ConvLearner.pretrained(arch, data, ps=0.5, precompute=True)

precompute=True ：预计算来自最后一个卷积层的激活。请记住，激活是一个数字，它是根据构成内核/过滤器的一些权重/参数计算出来的，它们会应用于上一层的激活或输入。

learn

Sequential((0): BatchNorm1d(1024, eps=1e-05, momentum=0.1, affine=True)(1): Dropout(p=0.5)(2): Linear(in_features=1024, out_features=512)(3): ReLU()(4): BatchNorm1d(512, eps=1e-05, momentum=0.1, affine=True)(5): Dropout(p=0.5)(6): Linear(in_features=512, out_features=120)(7): LogSoftmax()
)

learn - 这将显示我们最后添加的层。这些是我们在precompute=True时训练的层

（0），（4）： BatchNorm将在上一课中介绍

（1），（5）：Dropout

（2）： Linear层仅仅是矩阵乘法。这是一个包含 1024 行和 512 列的矩阵，因此它将接受 1024 个激活并输出 512 个激活。

（3）： ReLU - 只是用零替换负数

（6）： Linear - 第二个线性层，从前一个线性层获取 512 个激活并将它们乘以 512 乘 120 的新矩阵并输出 120 个激活

（7）： Softmax - 激活函数，返回最大为 1 的数字，每个数字在 0 和 1 之间：

出于较小的数值精度原因，事实证明最好直接使用 softmax 的 log 而不是 softmax [15:03]。这就是为什么当我们从模型中得到预测时，我们必须执行np.exp(log_preds)。

fast.ai 深度学习笔记：第一部分第四课相关推荐

fast.ai 深度学习笔记：第一部分第一课
原文:Deep Learning 2: Part 1 Lesson 1 作者:Hiromi Suenaga 课程论坛入门 [0:00]: 为了训练神经网络,你肯定需要图形处理单元(GPU) - 特别 ...
fast.ai 深度学习笔记：第一部分第五课
原文:Deep Learning 2: Part 1 Lesson 5 作者:Hiromi Suenaga 课程论坛一,引言没有足够的关于结构化深度学习的出版物,但它肯定出现在行业中: 结构化深度 ...
fast.ai 深度学习笔记：第一部分第二课
原文:Deep Learning 2: Part 1 Lesson 2 作者:Hiromi Suenaga 论坛笔记本回顾上一课 [01:02] 我们使用 3 行代码来构建图像分类器. 为了训练模 ...
fast.ai 深度学习笔记：第一部分第三课
原文:Deep Learning 2: Part 1 Lesson 3 作者:Hiromi Suenaga 课程论坛学生创建的有用材料: AWS 操作方法 TMUX 第 2 课总结学习率查找器 P ...
深度学习笔记第一门课第一周：深度学习引言
本文是吴恩达老师的深度学习课程[1]笔记部分. 作者:黄海广[2] 主要编写人员:黄海广.林兴木(第四所有底稿,第五课第一二周,第三周前三节).祝彦森:(第三课所有底稿).贺志尧(第五课第三周底稿). ...
《DeepLearning.ai 深度学习笔记》发布，黄海广博士整理
深度学习入门首推课程就是吴恩达的深度学习专项课程系列的 5 门课.该专项课程最大的特色就是内容全面.通俗易懂并配备了丰富的实战项目.今天,给大家推荐一份关于该专项课程的核心笔记!这份笔记只能用两个字形 ...
第4篇 Fast AI深度学习课程——深度学习在回归预测、NLP等领域的应用
前面几节叙述了卷积神经网络在图像分类中的应用,本节将描述深度学习网络在诸如回归预测.自然语言处理等领域的应用.主要内容如下: Drop Out策略,以及Fast.AI附加层架构分析. 结构化时间序列的 ...
深度学习笔记第一门课第二周：神经网络的编程基础（下）
本文是吴恩达老师的深度学习课程[1]笔记部分. 作者:黄海广[2] 主要编写人员:黄海广.林兴木(第四所有底稿,第五课第一二周,第三周前三节).祝彦森:(第三课所有底稿).贺志尧(第五课第三周底稿). ...
深度学习笔记第一门课第四周：深层神经网络
本文是吴恩达老师的深度学习课程[1]笔记部分. 作者:黄海广[2] 主要编写人员:黄海广.林兴木(第四所有底稿,第五课第一二周,第三周前三节).祝彦森:(第三课所有底稿).贺志尧(第五课第三周底稿). ...

fast.ai 深度学习笔记：第一部分第四课

Dropout [04:59]

fast.ai 深度学习笔记：第一部分第四课相关推荐

最新文章

热门文章