李宏毅机器学习学习笔记汇总
课程链接

Deep Learning

文章目录

Deep Learning
- Deep Learning attracts lots of attention
- Ups and down of Deep Learning
- Three Steps for Deep Learning
- - Step1 Define a set of function
  - - 神经网络的连接方式
    - Fully Connect Feedforward Network 全连接前馈网络
    - Matrix Operation
    - Neural Network
    - Output Layer
    - Example Application
    - 常见问题FAQ
  - Step2 Goodness of function
  - - Loss for an Example
    - Total Loss
  - Step3 Pick the best function
  - - Gradient Descent
    - 反向传播
  - Concluding Remrks
  - - Deep is better?
    - Universality Theorem
  - Reference

Deep Learning attracts lots of attention

Goolgle

Ups and down of Deep Learning

perceptron 感知机（线性模型）
感知机有限制
既然一个感知机不行，那就多层感知机（和今天的DNN没有显著差别）
反向传播（通常超过三个隐藏层就用处不大了）
一个隐藏层就够强了，改名为deep learning
RBM（受限玻尔兹曼机）来做初始化，是一个突破
GPU加速
开始在语音识别中流行
在image比赛中获胜

Three Steps for Deep Learning

1、Define a set of function
2、Goodness of function
3、pick the best function

Step1 Define a set of function

第一步中的function其实是一个神经网络
把逻辑回归前后连接起来，单独一个逻辑回归模型称作神经元，整体称作神经网络。

可以用不同的方法链接网络，得到了不同的结构，每一个逻辑回归单元都有自己的w和b，所有的参数集合起来，就叫做这个网络的参数

神经网络的连接方式

Fully Connect Feedforward Network 全连接前馈网络

输入1 -1

输入0 0

可以将一个已知参数的network看作一个function，输入输出都是vector

若不知道参数，只是知道网络的结构，相当于定义了一个function set。到时候给定一个参数，就相当于一个function set中的一个function。

通常把神经网络画成如下所示：

从前往后传，所以叫feedforward

Deep = Many hidden layers

Matrix Operation

Neural Network

一连串的矩阵运算，可以使用GPU加速

Output Layer

隐藏层看作feature extractor特征提取，替代了之前的feature transformation

output layer是一个Multi-class classifier多类别的分类器，所以在最后一层也会加上一个softmax

Example Application

黑了->1
没黑->0

神经网络的output用了softmax后，output代表了一个概率分布，output是对应到每一个数字的概率

这个network代表了一个可以拿来做手写数字识别的function set，只不过效果不同

一个好的function set很关键

常见问题FAQ

Q：多少层？每层多少个神经元？
A：试错+直觉

Q：神经网络的结构可以自动地确定吗？
A：很少

Q：可以自己设计神经网络的结构吗？
A：可以，fully connect也可以，CNN

Step2 Goodness of function

Loss for an Example

给定一组参数，一个img和一个label，对应一个target y^\hat{y}y^，通过神经网络计算得到一个yyy ，接下来，就利用y^\hat{y}y^和yyy计算一个cross entropy，最后调整神经网络的参数，使得cross entropy 最小。

Total Loss

n笔data得到n个loss，求和得到total loss
在function set中找到一个function，最小化这个total loss（即，找一组参数w和b）

Step3 Pick the best function

Gradient Descent

以此类推，，，

这就是所谓的学习。。

反向传播

Concluding Remrks

Deep is better?

Universality Theorem

任何一个连续的function，都可以用一个hidden layer的网络来表示，只要有足够多的隐藏单元即可，所以把deep neural network变成了fat neural network，看起来很虚弱？2333

Reference

【李宏毅机器学习】Brief Introduction of Deep Learning 深度学习简介（p12）学习笔记相关推荐

【李宏毅机器学习】Tips for Deep Learning（p14）学习笔记
李宏毅机器学习学习笔记汇总课程链接文章目录 Recipe if Deep Learning Do not always blame Overfitting 针对不同的状况使用不同的方法在训练集上 ...
李宏毅机器学习笔记4：Brief Introduction of Deep Learning、Backpropagation(后向传播算法)...
李宏毅老师的机器学习课程和吴恩达老师的机器学习课程都是都是ML和DL非常好的入门资料,在YouTube.网易云课堂.B站都能观看到相应的课程视频,接下来这一系列的博客我都将记录老师上课的笔记以及自己对 ...
[机器学习入门] 李弘毅机器学习笔记-7 （Brief Introduction of Deep Learning；深度学习简介）
[机器学习入门] 李弘毅机器学习笔记-7 (Brief Introduction of Deep Learning:深度学习简介) PDF VIDEO Ups and downs of Deep Le ...
李宏毅老师2022机器学习课程笔记 01 Introduction of Deep Learning
01 Introduction of Deep Learning 机器学习相关规定什么是机器学习机器学习的概念我觉得李老师讲得非常好的一点就是,他真正说清楚了机器学习中的一些因果逻辑. 比如我之 ...
台大李宏毅Machine Learning 2017Fall学习笔记 (7)Introduction of Deep Learning
台大李宏毅Machine Learning 2017Fall学习笔记 (7)Introduction of Deep Learning 最近几年,deep learning发展的越来越快,其应用也越来 ...
A Gentle Introduction to Deep Learning for Graphs 图深度学习的温和介绍
文章目录 1.简介 2. 高级概述 2.1.数学符号 2.2.动机 2.3.大图 2.4.局部关系和信息的迭代处理 2.5.语境扩散的三种机制 3.构建块 3.1.邻域(邻居)聚集 3.2.池化 3. ...
【2020新书推荐】Introduction to Deep Learning
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要5分钟 Follow小博主,每天更新前沿干货概述这本教科书提供了一个简明的,易理解的和引人入胜的深度学习的第一个介绍,提供了大量连接主义模 ...
(转)Deep Learning深度学习相关入门文章汇摘
转自:http://farmingyard.diandian.com/post/2013-04-07/40049536511 摘: 应用实例计算机视觉. ImageNet Classificatio ...
Deep Learning | 深度学习介绍与基本概念
深度学习(Deep Learning) 深度学习是基于机器学习延伸出来的一个新的领域,由以人大脑结构为启发的神经网络算法为起源加之模型结构深度的增加发展,并伴随大数据和计算能力的提高而产生的一系列新的 ...

【李宏毅机器学习】Brief Introduction of Deep Learning 深度学习简介（p12）学习笔记

Deep Learning

文章目录

Deep Learning attracts lots of attention

Ups and down of Deep Learning

Three Steps for Deep Learning

Step1 Define a set of function

神经网络的连接方式

Fully Connect Feedforward Network 全连接前馈网络

Matrix Operation

Neural Network

Output Layer

Example Application

常见问题FAQ

Step2 Goodness of function

Loss for an Example

Total Loss

Step3 Pick the best function

Gradient Descent

反向传播

Concluding Remrks

Deep is better?

Universality Theorem

Reference

【李宏毅机器学习】Brief Introduction of Deep Learning 深度学习简介（p12）学习笔记相关推荐

最新文章

热门文章

【李宏毅机器学习】Brief Introduction of Deep Learning 深度学习简介（p12） 学习笔记

Deep Learning

文章目录

Deep Learning attracts lots of attention

Ups and down of Deep Learning

Three Steps for Deep Learning

Step1 Define a set of function

神经网络的连接方式

Fully Connect Feedforward Network 全连接前馈网络

Matrix Operation

Neural Network

Output Layer

Example Application

常见问题FAQ

Step2 Goodness of function

Loss for an Example

Total Loss

Step3 Pick the best function

Gradient Descent

反向传播

Concluding Remrks

Deep is better?

Universality Theorem

Reference

【李宏毅机器学习】Brief Introduction of Deep Learning 深度学习简介（p12） 学习笔记相关推荐

最新文章

热门文章

【李宏毅机器学习】Brief Introduction of Deep Learning 深度学习简介（p12）学习笔记

【李宏毅机器学习】Brief Introduction of Deep Learning 深度学习简介（p12）学习笔记相关推荐