Lecture 1: introduction of deep learning

深度学习3步骤：

1.定义神经网络

2.loss 评价

预测值和真实的测试数据的目标值进行比对，它们的差距就是Loss。一个好的神经网络应该使loss尽可能小。
3.获取最佳的神经网络参数（学习方法）
采用梯度下降算法

Lecture II：Tips for Training DNN

A.网络优化训练

选择合适的Loss function：使用Cross Entropy效果要优于Mean Square Error。（When using softmax output layer,choose cross entropy）
Mini-batch: 每次训练使用少量数据而不是全量数据效率更高
Activation Function：使用ReLU替代Sigmoid可以解决梯度消失的问题，可以训练更深的神经网络
Adaptive Learning Rate：可以随着迭代不断自我调整，提高学习效率）
Momentum: 可以一定程度上避免陷入局部最低点的问题

B.避免过拟合

避免过度拟合（overfitting）的方法：

Early Stopping：使用cross validation的方式，不断对validation
data进行检验，一旦发现预测精度下降则停止。
Weight Decay：权值
Dropout：通过随机去掉一些节点的连接达到改变网络形式，所以会产生出多种网络形态，然后汇集得到一个最佳结果
Network Structure: 例如CNN等其他形态的网络

Lecture III：Variants of Neural Networks

A. Convolutional Neural Network (CNN)

通常情况下，一个CNN包含多次的卷积、池化，然后Flatten，最终再通过一个深度神经网络进行学习预测。CNN在图像、语音识别取得非常好的成绩，核心的想法在于一些物体的特征往往可以提取出来，并且可能出现在图片的任何位置，而且通过卷积、池化可以大大减少输入数据，加快训练效率。
典型CNN包括以下步骤：

Convolution（卷积）
Max Pooling
Flatten

B. Recurrent Neural Network (RNN)

（。。。）

参考：
[1]Deep Learning Tutorial .李宏毅
[2]https://mp.weixin.qq.com/s?__biz=MzI0OTQwMTA5Ng==&mid=2247484026&idx=1&sn=b7ce43461f35dc94dd314b90fbc1318b&chksm=e993581ddee4d10b345410489ce10367decb7d03a724bc16f9579dc89321036360479f387b55&mpshare=1&scene=23&srcid=#rd

李宏毅深度学习ppt总结相关推荐

李宏毅深度学习作业二
任务说明 Binary classification is one of the most fundamental problem in machine learning. In this tutor ...
[2022]李宏毅深度学习与机器学习课程内容总结
[2022]李宏毅深度学习与机器学习课程内容总结课程感受第一讲必修 ML的三个步骤第一讲选修深度学习发展趋势反向传播从线性模型到神经网络为什么要用正则化技术为什么分类是用交叉熵损失函数 ...
2020李宏毅深度学习hw1
2020李宏毅深度学习hw1 1.导入包 import sys import pandas as pd import numpy as np 2.加载数据 data = pd.read_csv('tr ...
李宏毅深度学习视频摘要
视频地址李宏毅深度学习(nlp)2017 视频摘要 P1 讲了RNN,LSTM ,GRU网络构造 P2 讲了卷积的原理,pooling的原理,已经不太常规的poolling方法.另外提到一种特殊的R ...
【李宏毅深度学习CP10】Self-attention（part1）
学习心得 (1)传统的Attention是基于source端和target端的隐变量(hidden state)计算Attention的,得到的结果是源端的每个词与目标端每个词之间的依赖关系.但Sel ...
[2022]李宏毅深度学习与机器学习第四讲（选修）-GNN
[2022]李宏毅深度学习与机器学习第四讲(选修)-GNN 做笔记的目的 GNN NN4G DCNN MoNET GTA GIN 做笔记的目的 1.监督自己把50多个小时的视频看下去,所以每看一部分内 ...
[2022]李宏毅深度学习与机器学习第十二讲（必修）-Reinforcement Learning RL
[2022]李宏毅深度学习与机器学习第十二讲(必修)-Reinforcement Learning RL 做笔记的目的 What is RL Policy Gradient Version 1 Ver ...
李宏毅深度学习笔记——呕心整理版
李宏毅深度学习笔记--呕心整理版闲谈叨叨叨: 之前看过吴恩达的一部分课程,所以有一定理论基础,再看李宏毅的课程会有新的理解.我先以有基础的情况写完学习过程,后续再以零基础的角度补充细节概念(估计不会 ...
[2022]李宏毅深度学习与机器学习第六讲（必修）-GAN
[2022]李宏毅深度学习与机器学习第六讲(必修)-GAN 做笔记的目的 GAN generator Unconditional generator Theory Behind Tips for GA ...

李宏毅深度学习ppt总结