深度学习常用算子(一)
1、起始输入
Data:输入数据第一层
2、激活算子
作用:引入非线性(通常需要区分的区域,直线是无法完全区分的)
1)Relu
公式:ReLU(x)=max(0,x)
2)LeakyRelu
公式:LeakyRelu(x) = (x >= 0 ? x : x*negative_slope);
3)Relu6
公式:LeakyRelu(x) = max(max(x, 0), 6);
4)Tan
公式:tanh(x)=(exp(x)-exp(-x))/(exp(x)+exp(-x));
5)sigmoid
公式:sigmoid(x) = 1. / (1. + exp(x))
6)PRelu
公式:f(x) = max(x, 0) + slope_data[c] * min(x, 0);
3、两个Tensor计算
1)+、-、*、/:Add、Sub、Mul、RealDiv
2)BiasAdd:用于增加bias操作,通常bias是一维Tensor
3)MatMul:矩阵乘
4)Axpy:向量求和,公式:y += a * x
4、多个Tensor计算
EltwiseOp
作用:多个Tensor对应位置元素进行相乘、相加、取最大值中一种操作
5、归一化
1)BatchNorm
参考:https://blog.csdn.net/life_is_amazing/article/details/51839438
作用:加快神经网络的训练收敛速度
2)LRN
全称:Local Response Normalization,即局部响应归一化层
作用:
LRN这个概念和运用是出现在AlexNet中。
LRN最初是生物学里的概念“相邻神经元抑制”,对局部神经元的活动创建竞争机制。
使用LRN增加了泛化能力(使输出中响应比较大的值变得相对更大,并抑制其他响应较小的神经元),做了平滑处理,提高了1%~2%的识别率。
其他:
在2015年的《Very Deep Convolutional Networks for Large-Scale Image Recognition》中,说明了LRN在IILSVRC数据集上不能对性能进行改善。
主流的模型中基本不使用LRN。
3)SsdNormalize
作用:限制了一次归一化的范围
使用网络:SSD
6、特征提取
1)Convolution
作用:分区域进行特征值提取
2)FullConnection
作用:
看作一种特殊卷积层,或者看作矩阵乘;整个输入作为feature map,进行特征提取
FC是一种迁移学习的结果,具体作用参考:https://www.zhihu.com/question/41037974
通常FC后面接Softmax,所以FC层的功能还包括矩阵维度变换,将维度变换为Softmax对应的维度
3)Correlation
与Convolution的区别,参考:https://www.cnblogs.com/linyuanzhou/p/4846499.html
4)DeConvolution
参考:https://www.jianshu.com/p/91e07efe2f32
作用:将一个低维度的空间映射到高维度,同时保持他们之间的连接关系/模式
5)DepConvolution
参考:https://baijiahao.baidu.com/s?id=1625255860317955368&wfr=spider&for=pc
作用:采用分步计算的方法,完成普通3D核的计算,其好处在于提升卷积计算的效率
7、防过拟合
1)Pooling
作用:Pooling的作用是将输入的图像划分为若干个矩形区域,对每个子区域输出最大值或平均值。Pooling减少了参数的数量,防止过拟合现象的发生。
2)Mean
作用:只有取均值功能的滑窗算子
3)ROIPooling
参考:https://blog.csdn.net/u011436429/article/details/80279536
作用:对ROI进行pooling操作,从不同大小的方框得到固定大小相应 的feature maps
使用网络:Faster RCNN
4)ROIAlign
作用:解决ROIPooling两次量化带来的问题,使用线性插值的方式来解决。
使用网络:Mask-RCNN
5)PSROIPooling
参考:https://blog.csdn.net/wfei101/article/details/80766812
使用网络:R-FCN
深度学习常用算子(一)相关推荐
- stn算子_深度学习常用算子(二)
1.Tensor维度变换 1)Flatten 作用:将输入tensor中从start_axis维度到end_axis维度合并为1维 2)Reshape 作用:将输入Tensor描述转换为新的shape ...
- 深度学习(二)——深度学习常用术语解释, Neural Network Zoo, CNN, Autoencoder
Dropout(续) 除了Dropout之外,还有DropConnect.两者原理上类似,后者只隐藏神经元之间的连接. 总的来说,Dropout类似于机器学习中的L1.L2规则化等增加稀疏性的算法,也 ...
- DL:关于深度学习常用数据集中训练好的权重文件(Deeplab v3、MobileNet、InceptionV3、VGG系列、ResNet、Mask R-CNN )下载地址集合(持续更新)
DL:关于深度学习常用数据集中训练好的权重文件(Deeplab v3.MobileNet.InceptionV3.VGG系列.ResNet.Mask R-CNN )下载地址集合(持续更新) 目录 基于 ...
- 深度学习常用性能评价指标
深度学习常用性能评价指标 前言 基于准确度的指标 基于排名的指标 基于图数据的指标 前言 深度学习性能指标是用于评价深度学习模型性能的依据,是设计模型的重要依据. 基于准确度的指标 对于模型而言仅统计 ...
- 深度学习常用python库学习笔记
深度学习常用python库学习笔记 常用的4个库 一.Numpy库 1.数组的创建 (1)np.array() (2)np.zeros() (3)np.ones() (4)np.empty() (5) ...
- 自动驾驶深度学习常用中英文对照表
自动驾驶深度学习常用中英文对照表 A B C D E F G H I J K L M N O P Q R S T U V W Z A 英文 中文 词性 activation 激活值 n,名词 acti ...
- 深度学习常用评价指标
版权声明:本文为CSDN博主「ZONG_XP」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明. 原文链接:https://blog.csdn.net/zong59 ...
- Paper:机器学习、深度学习常用的国内/国外引用(References)论文参考文献集合(建议收藏,持续更新)
Paper:机器学习.深度学习常用的国内/国外引用(References)论文参考文献集合(建议收藏,持续更新) References 1.国外格式 [1] D. E. Rumelhart, G. E ...
- 深度学习入门之Python小白逆袭大神系列(三)—深度学习常用Python库
深度学习常用Python库介绍 目录 深度学习常用Python库介绍 简介 Numpy库 padas库 PIL库 Matplotlib库 简介 Python被大量应用在数据挖掘和深度学习领域,其中使用 ...
- 深度学习常用数学知识
深度学习常用数学知识 为什么图片能被计算机读取?为什么我们可以用CNN对成千上万中图片进行分类,这背后的原理是什么?在了解原理之前,先给大家补点数学知识.因为无论是深度学习还是机器学习,背后都是有一些 ...
最新文章
- iOS infoplist 权限设置
- jQuery插件之ajaxFileUpload
- C++ 标准库类型 map
- PTA浙大版python程序设计题目集--第2章-1 计算 11+12+13+...+m (30 分)
- Boost:boost::atomic用法实例
- 战胜棋王后,人工智能是否可以颠覆安全?
- linux下常用计算软件——matlab替代品
- 立创商城的元件原理图怎么弄到ad_(50条消息)立创EDA元件封装导入AD软件教程
- k8s部署-43-带你深入学习ingress-nginx(下)
- 专家把脉智慧产业发展:不能再“傻傻”拼速度
- 尝一尝HBuilderX香不香
- 花房集团CEO于丹内部信:上市即暴富年代已一去不复返
- Scientists say Australian plan to cull up to 10,000 wild horses doesn’t go far enough
- Python将图片转换为ASCII字符画
- 路由器怎么安装和使用详细
- NB-IoT SIM7000C调试笔记 01 NB-IoT及GPRS加网测试
- 设计模式-----装饰模式.
- 戴尔台式机修复计算机,dell电脑win10启动修复无法修复你的电脑的解决方法
- 【MySQL】唯一性约束【UNIQUE】从基础到就业
- matlab运行函数的过程,关于matlab的一些作业一、要求写出窗口运行过程及结果1.利用Matlab求函数f(x)=-x2+ex+lnx的导数、...