ccc-Brief Introduction of Deep Learning-李宏毅(6)

2024-05-11 16:28:13

文章目录

Three Steps for Deep Learning
Fully Connect Feedforward Network
Matrix Operation
- Output Layer as Multi-Class Classifier
Example Application
- Neural Network
- Goodness of function
- Pick the best function

Three Steps for Deep Learning

与机器学习三步骤基本相同。
注意step1中function为Neural Network

Fully Connect Feedforward Network

Neuron不同的连接方式导致了不同的结构，其中最常见的就是全连接前馈网络，示意图如下：

对于一个神经网络对应不同的参数，就是不同的function，可能的function集合起来就得到了一个function set
Layer和Layer之间所有神经元两两间都有连接，所以叫Fully Connect Network；传递的方向为从前往后，所以叫Feedforward Network
现在基本上只要是neural Network base的方法都说是deep learning的方法

Matrix Operation

激活函数 ( 权重 w ∗ 输入 + 偏移 b ) = 输出激活函数(权重w*输入+偏移b)=输出激活函数(权重w∗输入+偏移b)=输出

对于多层就是将前面的结果放到输入中：

使用矩阵运算，这样可以使用GPU加速，比用CPU计算快

Output Layer as Multi-Class Classifier

hidden layers是feature extractor(特征提取器)可以看做feature engineering，feature transformation；output layer就是一个Multi-class classifier，最后会加上一个softmax；具体图如下：

Example Application

Neural Network

对于16x16的手写数字图像，输入是256维，输出是10维；

假如使用Feedforward network这个network structure，它已经确定了一个function set，需要使用gradient descent去计算出一组参数，挑一个最适合拿来做手写数字识别的function

Goodness of function

根据输出结果与真实值计算cross Entropy，调整network的参数使得cross Entropy越小越好

对于整体而言，需要计算所有图片的交叉熵之和，得到Total Loss L，要找到一组参数最小化Loss

Pick the best function

依然使用GD进行迭代更新，这里就不介绍了，过程如下：

That is Deep Learning，so simple！

ccc-Brief Introduction of Deep Learning-李宏毅(6)相关推荐

李宏毅机器学习笔记4：Brief Introduction of Deep Learning、Backpropagation(后向传播算法)...
李宏毅老师的机器学习课程和吴恩达老师的机器学习课程都是都是ML和DL非常好的入门资料,在YouTube.网易云课堂.B站都能观看到相应的课程视频,接下来这一系列的博客我都将记录老师上课的笔记以及自己对 ...
台大李宏毅Machine Learning 2017Fall学习笔记 (7)Introduction of Deep Learning
台大李宏毅Machine Learning 2017Fall学习笔记 (7)Introduction of Deep Learning 最近几年,deep learning发展的越来越快,其应用也越来 ...
李宏毅老师2022机器学习课程笔记 01 Introduction of Deep Learning
01 Introduction of Deep Learning 机器学习相关规定什么是机器学习机器学习的概念我觉得李老师讲得非常好的一点就是,他真正说清楚了机器学习中的一些因果逻辑. 比如我之 ...
【2020新书推荐】Introduction to Deep Learning
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要5分钟 Follow小博主,每天更新前沿干货概述这本教科书提供了一个简明的,易理解的和引人入胜的深度学习的第一个介绍,提供了大量连接主义模 ...
自然语言处理NLP 2022年最新综述：An introduction to Deep Learning in Natural Language Processing
论文题目:An introduction to Deep Learning in Natural Language Processing: Models, techniques, and tools ...
[机器学习入门] 李弘毅机器学习笔记-7 （Brief Introduction of Deep Learning；深度学习简介）
[机器学习入门] 李弘毅机器学习笔记-7 (Brief Introduction of Deep Learning:深度学习简介) PDF VIDEO Ups and downs of Deep Le ...
A Gentle Introduction to Deep Learning for Graphs 图深度学习的温和介绍
文章目录 1.简介 2. 高级概述 2.1.数学符号 2.2.动机 2.3.大图 2.4.局部关系和信息的迭代处理 2.5.语境扩散的三种机制 3.构建块 3.1.邻域(邻居)聚集 3.2.池化 3. ...
2018-3-21李宏毅机器学习笔记十一-----Brief Introduction of Deep Learning？
我觉的有用的: BP神经网络_百度百科 https://baike.baidu.com/item/BP%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/4581827?fr=a ...
【李宏毅机器学习】Brief Introduction of Deep Learning 深度学习简介（p12）学习笔记
李宏毅机器学习学习笔记汇总课程链接 Deep Learning 文章目录 Deep Learning Deep Learning attracts lots of attention Ups and ...
【李宏毅2020 ML/DL】P12 Brief Introduction of Deep Learning
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 已经有人记了笔记(很用心,强烈推荐): https://github.com/Sakura-gh/ML-not ...

最新文章

热门文章