[2022]李宏毅深度学习与机器学习课程内容总结

课程感受
第一讲必修
- ML的三个步骤
第一讲选修
- 深度学习发展趋势
- 反向传播
- 从线性模型到神经网络
- 为什么要用正则化技术
- 为什么分类是用交叉熵损失函数而不是Square Error
- Discriminative Vs Generative
第二讲必修
- 机器学习的任务攻略
- 在训练集上损失较大时
- 应该过拟合的方法
- N-fold Cross Validation
- local minima 和 saddle point
- Small Batch vs Large Batch
- Warm up
- SGDM优化器
- Adagrad
- Adam
- 浅谈机器学习的原理——为什么参数越多越容易overfitting
第二部分选修
- SGD
- SGDM
- Adagrad
- RMSProp
- Adam
- Adam vs SGDM
- AMSGrad和AdaBound
- RAdam
- K-step forward，1 step back
- 正则化在优化里的应用如果
第三讲CNN
- 如何理解CNN
- 整体架构
- Spatial Transformer
Deep learning 让鱼和熊掌兼得
- 解释为什么是deep learn而不是wide learn
第四讲必修Self-attention
- Self-attention的具体实现
- Self-attention的应用
- Self-attention vs CNN
- Self-attention vs RNN
- Self-attention for Graph
第四讲选修GNN 和 RNN
- 为什么需要GNN
- NN4G
- DCNN
- MoNET
- GTA
- GIN
- RNN介绍
- 为什么RNN一开始训练不起来
- LSTM
- GRU
- 各式各样的Self-attention
- Longformer 和 Big Bird
- Reformer
- Sinkorn
- Linformer
- Linear Transformer and Performer
- Synthesizer
第五讲必修Transformer
- Encoder架构
- Layer norm
- Decoder
- Masked Self-attention
- Autoregressive和not Autoregressive
- 训练的技巧
- - pointer network
  - Guided Attention
  - Beam Search
  - Scheduled Sampling
第六讲必修GAN
- generator
- - Unconditional generator
- Theory Behind
- Tips for GAN
- - WGAN-Wasserstein distance
- 如何评价GAN
- - Diversity
  - Quality
  - FID
- Conditional Generation
- GAN+supervised
- Cycle GAN的框架
第七讲必修Supervised Learning
- Supervised Learning 模型家族
- Bert
- 如何应用到Downstream Tasks
- 为什么Bert可以工作
- 为什么是Fine-tune
- Multi-lingual Bert多语言的Bert
- GPT
- Beyond Text
- - Image-SimCLR
  - Image-BYOL
- How to fine-tune
第八讲必修Auto-Encoder
- Auto-Encoder
- De-noising Auto-encoder
- Feature Disentanglement
- Discrete Representation
第九讲必修机器学习可解释性
- 为什么需要可解释性
- Local Explanation
- - Which component is critical？
  - How a network processes the input data？
- Global Explanation
第十讲必修Adversarial Attack
- How to Attack
- Attack Approach
- Defense
- - Passive Defense
  - Proactive Defense
第十一讲必修Domain Adaptation
- Domain Shift的类型
- Domain Adaptation
- - Little but labeled
  - Large amount of unlabeled data
  - little and Unlabeled
第十二讲Reinforcement Learning RL
- What is RL
- Policy Gradient
- - Version 1
  - Version 2
  - Version 3
- Actor-Critic
- - Version 3.5
  - Version 4
  - Tip of actor-Critic
- Reward Shaping
- No reward
第十三讲神经网络压缩
- Network can be pruned
- - Why Pruning
- Knowledge Distillation
- - Ensemble
  - Temperature for softmax
- Parameter Quantization
- Architecture Design-Depthwise Separable Convolution
- Dynamic Computation
第十五讲Meta learning
- Meta Learning
- ML vs meta learning
- What is learnable in learning algorithm？

课程感受

没有想到自己可以完整的看完李宏毅老师的深度学习课程，并且坚持做笔记，这里给自己鼓掌。李宏毅老师讲课风格幽默有趣，让人可以全神贯注的听课。老师讲的课程内容注重基础的同时结合了很多最近几年的论文，非常有深度，让人眼前一亮。整体听完感觉自己收获了很多，所以在这里总结一下课程涉及到的知识内容。

第一讲必修

ML的三个步骤

第一讲选修

深度学习发展趋势

反向传播

从线性模型到神经网络

为什么要用正则化技术

为什么分类是用交叉熵损失函数而不是Square Error

Discriminative Vs Generative

第二讲必修

机器学习的任务攻略

在训练集上损失较大时

应该过拟合的方法

N-fold Cross Validation

local minima 和 saddle point

Small Batch vs Large Batch

Warm up

SGDM优化器

Adagrad

Adam

浅谈机器学习的原理——为什么参数越多越容易overfitting

第二部分选修

SGD

SGDM

Adagrad

RMSProp

Adam

Adam vs SGDM

AMSGrad和AdaBound

RAdam

K-step forward，1 step back

正则化在优化里的应用如果

第三讲CNN

如何理解CNN

整体架构

Spatial Transformer

Deep learning 让鱼和熊掌兼得

解释为什么是deep learn而不是wide learn

第四讲必修Self-attention

Self-attention的具体实现

Self-attention的应用

Self-attention vs CNN

Self-attention vs RNN

Self-attention for Graph

第四讲选修GNN 和 RNN

为什么需要GNN

NN4G

DCNN

MoNET

GTA

GIN

RNN介绍

为什么RNN一开始训练不起来

LSTM

GRU

各式各样的Self-attention

Longformer 和 Big Bird

Reformer

Sinkorn

Linformer

Linear Transformer and Performer

Synthesizer

第五讲必修Transformer

Encoder架构

Layer norm

Decoder

Masked Self-attention

Autoregressive和not Autoregressive

训练的技巧

pointer network

Guided Attention

Beam Search

Scheduled Sampling

第六讲必修GAN

generator

Unconditional generator

Theory Behind

Tips for GAN

WGAN-Wasserstein distance

如何评价GAN

Diversity

Quality

FID

Conditional Generation

GAN+supervised

Cycle GAN的框架

第七讲必修Supervised Learning

Supervised Learning 模型家族

Bert

如何应用到Downstream Tasks

为什么Bert可以工作

为什么是Fine-tune

Multi-lingual Bert多语言的Bert

GPT

Beyond Text

Image-SimCLR

Image-BYOL

How to fine-tune

第八讲必修Auto-Encoder

Auto-Encoder

De-noising Auto-encoder

Feature Disentanglement

Discrete Representation

第九讲必修机器学习可解释性

为什么需要可解释性

Local Explanation

Which component is critical？

How a network processes the input data？

Global Explanation

第十讲必修Adversarial Attack

How to Attack

Attack Approach

Defense

Passive Defense

Proactive Defense

第十一讲必修Domain Adaptation

Domain Shift的类型

Domain Adaptation

Little but labeled

Large amount of unlabeled data

little and Unlabeled

第十二讲Reinforcement Learning RL

What is RL

Policy Gradient

Version 1

Version 2

Version 3

Actor-Critic

Version 3.5

Version 4

Tip of actor-Critic

Reward Shaping

No reward

第十三讲神经网络压缩

Network can be pruned

Why Pruning

Knowledge Distillation

Ensemble

Temperature for softmax

Parameter Quantization

Architecture Design-Depthwise Separable Convolution

Dynamic Computation

第十五讲Meta learning

Meta Learning

ML vs meta learning

What is learnable in learning algorithm？

[2022]李宏毅深度学习与机器学习课程内容总结相关推荐

[2022]李宏毅深度学习与机器学习第四讲（选修）-GNN
[2022]李宏毅深度学习与机器学习第四讲(选修)-GNN 做笔记的目的 GNN NN4G DCNN MoNET GTA GIN 做笔记的目的 1.监督自己把50多个小时的视频看下去,所以每看一部分内 ...
[2022]李宏毅深度学习与机器学习第十二讲（必修）-Reinforcement Learning RL
[2022]李宏毅深度学习与机器学习第十二讲(必修)-Reinforcement Learning RL 做笔记的目的 What is RL Policy Gradient Version 1 Ver ...
[2022]李宏毅深度学习与机器学习第六讲（必修）-GAN
[2022]李宏毅深度学习与机器学习第六讲(必修)-GAN 做笔记的目的 GAN generator Unconditional generator Theory Behind Tips for GA ...
【深度学习】李宏毅2021/2022春深度学习课程笔记 - Deep Learning Task Tips
文章目录一.深度学习步骤回顾二.常规指导三.训练过程中Loss很大 3.1 原因1:模型过于简单 3.2 原因2:优化得不好 3.3 原因1 or 原因2 ? 四.训练过程Loss小.测试过程L ...
【深度学习】李宏毅2021/2022春深度学习课程笔记 - Convolutional Neural NetWork（CNN）
文章目录一.图片分类问题二.观察图片分类问题的特性 2.1 观察1 2.2 简化1:卷积 2.3 观察2 2.4 简化2:共享参数 - 卷积核 2.5 观察3 2.6 简化3:池化 2.6.1 M ...
人工智能，机器学习，深度学习培训，课程大纲
F学院,上课地址天津大学,客服微信:八三六七三菱%%%%司巴奇免费试听三节课,链接AI,遇见未来,天津较好的人工智能培训课程. 线上,线下同步培训.人工智能培训.培训课程覆盖:机器学习,深度学习,数 ...
李宏毅深度学习笔记——呕心整理版
李宏毅深度学习笔记--呕心整理版闲谈叨叨叨: 之前看过吴恩达的一部分课程,所以有一定理论基础,再看李宏毅的课程会有新的理解.我先以有基础的情况写完学习过程,后续再以零基础的角度补充细节概念(估计不会 ...
2020李宏毅深度学习hw1
2020李宏毅深度学习hw1 1.导入包 import sys import pandas as pd import numpy as np 2.加载数据 data = pd.read_csv('tr ...
李宏毅深度学习（一）
Task01 机器学习介绍本次学习基于李宏毅老师的<机器学习>课程:https://www.bilibili.com/video/av59538266 笔记参照Datawhale开源学习 ...