深度学习笔记(本文不讲技术细节,持续更新)

目录:
网络架构, 激活函数, 网络模型, 数据集,
损失函数, 输出函数, 端侧推理引擎

常见的激活函数

Sigmoid

输出范围为[0,1]
幂运算且求导涉及除法
梯度消失
输出非0均值

Tanh

输出范围为[-1,1]
幂运算且求导涉及除法
梯度消失
输出为0均值

ReLU

输出范围为[0,x]
运算简单
权重失活(weight dead)
输出非0均值

Leaky ReLU

输出范围为[较小斜率如0.01等,x]
解决ReLU中权重失活问题
在实际操作当中,并没有完全证明Leaky ReLU总是好于ReLU

Maxout

具有ReLU的所有优点
拟合能力非常强,可以拟合任意的的凸函数
整体参数的数量激增;

Softmax??
```
Softmax是激活函数吗??
```

备注:

详情见'https://blog.csdn.net/sq_wang1983/article/details/88953786'
目前用的最多的是ReLU
如果你使用 ReLU，那么一定要小心设置 learning rate
最好不要用 sigmoid，你可以试试 tanh，不过可以预期它的效果会比不上 ReLU 和 Maxout
在深层网络中，sigmoid函数实际上是相当有问题的,它压缩0和1之间的所有值，当您反复进行时，神经元输出及其渐变可以完全消失(kill gradient)

常见的损失函数

均方误差(MSE)
```
距离模型
用于线性回归
```

交叉熵(Cross Entropy):

信息熵
用于单分类(one-hot),多分类(n-hot)

常用的输出函数

Softmax

数据映射成到(0,1)区间, 且值累和为1;
满足概率的性质;
单分类;
存在依赖关系的多分类;

Sigmoid

数据映射成到(0,1)区间, 且值互相独立;
无依赖关系的多分类;

常用的网络结构

DNN

深度神经网络, Deep Neural Network;
当前人工智能应用的首选模型;

CNN

卷积神经网络, Convolutional Neural Network;
卷积层;
最有效的神经网络之一;
参数可共享;
可从像素中学到特征;

RNN

循环神经网络, Recurrent Neural Network;
可以描述动态时间行为,解决时序问题;
将状态在自身网络中循环传递;

LSTM

RNN
长短期记忆神经网络, Long Short Term Memory;
Gate机制控制记忆/遗忘;

GRU

RNN
递归神经网络, Gated Recurrent Unit;
Gate机制控制记忆/遗忘;

DeconvNet

去卷积网络, Deconvolutional Network;
把 CNN 从像素学会的特征给还原成像素;
相对于 CNN 是反向的;
CNN可视化基础;

ResNet

深度残差网络, Residual Neural Network;
简单与实用并存,效果好;
可以减低参数量;

MDNet

多域卷积神经网络, Multi-Domain Network;
新颖的CNN结构, 用于目标跟踪;

Seq2Seq

Encoder–Decoder结构;
它的输入与输出均是一个序列且序列的长度是可变的;

GAN

生成对抗网络, Generative Adversarial Networks;
无监督学习;
生成模型与判别模型互相博弈;

常用的网络模型

Lenet

初入江湖:  1998年
网络层数:  6
数据输入:  32x32pixel图像
参数总数:  6.0840万
参数总量:  --
模型内存:  --
Top-5错误率:  --
备注:  CNN的开山之作,入门必学

Alexnet

初入江湖:  2012年
网络层数:  8
数据输入:  227*227*3图像
参数总数:  6千万
参数总量:  >60M
模型内存:  ＞200MB
Top-5错误率:  16.4%
备注:  --

GoogleNet

初入江湖:  2014年
网络层数:  22
数据输入:  --
参数总数:  2.32千万
参数总量:  >20M
模型内存:  90-100MB
Top-5错误率:  6.7%
模型: Inception-v3
备注:  --

VGGNet

初入江湖:  2014年
网络层数:  19
数据输入:  224x224x3图片
参数总数:  1.38亿
参数总量:  3138M
模型内存:  ＞500
Top-5错误率:  7.3%
模型: VGGNet16
备注:  --

ResNet

初入江湖:  2015年
网络层数:  152
数据输入:  --
参数总数:  --
参数总量:  --
模型内存:  --
Top-5错误率:  3.57%
备注:  残差,

常用的数据集

MNIST

小型数据集
手写数字数据集
60,000个训练图像+10,000个测试图像
非常常用
图片大小相同(28*28)

MS-COCO

大型的数据集
丰富的物体检测,分割,字幕数据集
微软出品

ImageNet

大型数据集
WordNet层次结构组织的图像数据集;
总图像1,500,000
李飞飞出品

CIFAR-10数据集

中型数据集
图像分类数据集
50,000个训练图像+10,000个测试图像

猫狗数据集

小型数据集
图像分类入门实验使用

迷你主板(提供AI算力)

NVIDIA Jetson Nano
```
英伟达
```
Raspberry Pi3
```
树莓派
```
Raspberry Pi3 + Intel Neural Compute Stick 2
```
树莓派+英特尔
```
Google Edge TPU
```
谷歌的硬件,呵呵
```

端侧推理引擎

机器学习的推理侧计算量往往是训练侧计算量的十倍以上,故推理侧的优化尤其重要

MNN

阿里出品
不依赖第三方
跨平台

NCNN

腾讯出品
不依赖第三方
跨平台

MACE
```
小米出品
跨平台
```
Tensorflow Lite
```
Google出品
```
Anakin Lite
```
百度出品
跨平台
```

深度学习笔记(本文不讲技术细节,持续更新)相关推荐

李宏毅2020机器学习深度学习笔记1（理论上持续更新中）
我真的超能鸽
C++学习笔记目录链接（持续更新中）
学习目标: C++学习笔记目录链接(持续更新中,未完待续) 学习内容: 序号链接 0 C++ 常见bug记录(持续记录中) 1 C++学习笔记1[数据类型] 2 C++学习笔记2[表达式与语句] 3 ...
机器学习深度学习实战模板代码（持续更新）
赛题的分类: 太阳底下无新事,都是出现过的赛题只是换了场景和数据建模与问题解决流程了解场景和目标了解评估准则 1.数据处理数据清洗观察数据是否平衡比如广告点击不点才是大概率需要清除离心 ...
机器学习、深度学习方面书籍收集（持续更新……）
查询资料,收集了一些觉得比较经典的书籍,可供参考学习: 书籍: <learning opencv>,有中文版本的,用这个入门最快 <机器学习实践>,简单,容易,清晰 < ...
英语学习笔记——语法篇（持续更新）
所谓语法,即语言组织的法则,主要研究的是句子中词与词间的关系. 一.基本概念 1.句子(即一句话) 按照使用目的可以分为: 按照句子结构可以分为: 2.词类(词性分类) 主要分为8大类除此之外,冠词 ...
下载量过百万的吴恩达机器学习和深度学习笔记更新了！（附PDF下载）
今天,我把吴恩达机器学习和深度学习课程笔记都更新了,并提供下载,这两本笔记非常适合机器学习和深度学习入门.(作者:黄海广) 0.导语我和同学将吴恩达老师机器学习和深度学习课程笔记做成了打印版,放在g ...
《繁凡的深度学习笔记》前言、目录大纲一文让你完全弄懂深度学习所有基础（DL笔记整理系列）
<繁凡的深度学习笔记>前言.目录大纲 (DL笔记整理系列) 一文弄懂深度学习所有基础 ! 3043331995@qq.com https://fanfansann.blog.csdn.ne ...
一文弄懂元学习 (Meta Learing)（附代码实战）《繁凡的深度学习笔记》第 15 章元学习详解（上）万字中文综述
<繁凡的深度学习笔记>第 15 章元学习详解 (上)万字中文综述(DL笔记整理系列) 3043331995@qq.com https://fanfansann.blog.csdn.net ...
深度学习笔记其三：多层感知机和PYTORCH
深度学习笔记其三:多层感知机和PYTORCH 1. 多层感知机 1.1 隐藏层 1.1.1 线性模型可能会出错 1.1.2 在网络中加入隐藏层 1.1.3 从线性到非线性 1.1.4 通用近似定理 1 ...