本节内容综述

开头，发现 Deep Learning 的应用呈指数级增长；
关于 Deep Learning 的历史：沉浮，好几次，具体可见https://sakura-gh.github.io/ML-notes/ML-notes-html/8_Deep-Learning.html。大概趋势可见[小细节](#Ups and downs of Deep Learning)。
Deep Learning 与 Machine Learning 同，也是三个步骤，但在 Deep Learning 的 define function 中，用的是 neural network 。
Deep = Many hidden layers ，但没有明确定义。
神经网络的前向传播可以看成矩阵运算，可见 [小细节](#Matrix Operation)。
Output Layer 中，我们往往会加一个 softmax 。
隐藏层的设计是很重要的。然而，需要尝试与经验。但是，有可能自动地设计结构，比如Evolutionary Artificial Neural Networks。此外，还有些其他网络结构，比如卷积神经网络，不仅仅只有全连接。
“函数”（神经网络结构）设计结束后，下一步是定义 Loss Function ；使用 Gradient Descent 来寻找最优参数。
在现在这个时代，已经有了大量反向传播框架供人调用，帮助我们计算微分。因为已经有了这些成熟的工具，“75%的Deep Learning专家不会手动计算微分”。
此外，目前面临一个小问题：参数越多，模型越精准；且单层神经网络已经被证明可以拟合绝大部分函数，那么为什么要Deep呢？为什么不Fat呢？将在以后的课程中解答。

小细节

Ups and downs of Deep Learning

Matrix Operation

因此，可以将参数整理成多个矩阵。

这样的好处是，写成矩阵运算可以用GPU加速。

【李宏毅2020 ML/DL】P12 Brief Introduction of Deep Learning相关推荐

【李宏毅2020 ML/DL】P1 introduction
[李宏毅2020 ML/DL]P1 introduction 本节主要介绍了 DL 的15个作业英文大意 Regression: 回归分析 Classification: 分类 RNN: 循环神经网 ...
【李宏毅2020 ML/DL】P8-9 Optimization for Deep Learnin | 优化器技术总结，SGDM 与 Adam 对比与使用建议
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 已经有人记了笔记(很用心,强烈推荐): https://github.com/Sakura-gh/ML-not ...
【李宏毅2020 ML/DL】P97-98 More about Meta Learning
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 本节内容综述本节课由助教陈建成讲解. 本节 Outline 见小细节. 首先是 What is meta ...
【李宏毅2020 ML/DL】P15 Why Deep-
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 已经有人记了笔记(很用心,强烈推荐): https://github.com/Sakura-gh/ML-not ...
【李宏毅2020 ML/DL】P86-87 More about Domain Adaptation
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 本节内容综述本节课由助教 Chao Brian 讲解. 首先讲解些领域适配的基础内容,包括名词.定义等. 接 ...
【李宏毅2020 ML/DL】P59 Unsupervised Learning - Auto-encoder
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 已经有人记了笔记(很用心,强烈推荐):https://github.com/Sakura-gh/ML-note ...
【李宏毅2020 ML/DL】P58 Unsupervised Learning - Neighbor Embedding | LLE, t-SNE
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 已经有人记了笔记(很用心,强烈推荐):https://github.com/Sakura-gh/ML-note ...
【李宏毅2020 ML/DL】P14 Tips for training DNN | 激活函数、Maxout、正则、剪枝 Dropout
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 已经有人记了笔记(很用心,强烈推荐): https://github.com/Sakura-gh/ML-not ...
李宏毅svm_李宏毅2020 ML/DL补充Structured Learning Structured SVM
李宏毅2020 ML/DL补充Structured Learning Structured SVM [李宏毅2020 ML/DL]补充:Structured Learning: Structured ...
李宏毅机器学习笔记4：Brief Introduction of Deep Learning、Backpropagation(后向传播算法)...
李宏毅老师的机器学习课程和吴恩达老师的机器学习课程都是都是ML和DL非常好的入门资料,在YouTube.网易云课堂.B站都能观看到相应的课程视频,接下来这一系列的博客我都将记录老师上课的笔记以及自己对 ...

【李宏毅2020 ML/DL】P12 Brief Introduction of Deep Learning

本节内容综述

小细节

Ups and downs of Deep Learning

Matrix Operation

【李宏毅2020 ML/DL】P12 Brief Introduction of Deep Learning相关推荐

最新文章

热门文章