膨胀卷积的缺点_卷积、反卷积与膨胀卷积

卷积(多---->1 的映射)

本质：在对输入做9--->1的映射关系时，保持了输出相对于input中的位置性关系

对核矩阵做以下变形：卷积核的滑动步骤变成了卷积核矩阵的扩增

卷积的矩阵乘法变成以下形式：核矩阵重排，输入featuremap变形为向量

反卷积(1---->多的映射)

deconvlution/transpose-convlution

动机

想要网络去学出一种最优的上采样方法,而不是像基于插值似的手动方法,它有可以学习的参数.

缺点：反卷积会在生成的图像中造成棋盘效应(checkerboard artifacts)，推荐在使用转置卷积进行上采样操作之后再过一个普通的卷积来减轻此类问题.

膨胀卷积(空洞卷积)

动机：

上采样及池化过程中存在致命的问题:

内部数据结构丢失，空间层级化信息丢失

小物体无法重建

希望：既可以保留内部数据结构又可以避免使用下采样这样的方式

定义：在标准卷积的Convolution map的基础上注入空洞，以此来增加感受野(reception field)。

因此，Dilated Convolution在Standard Convolution的基础上又多了一个超参数(hyper-parameter)称之为膨胀率(dilation rate)

问题：

kernel并不连续，造成信息提取的不连续

旨在提取大范围信息，对小目标有弊。因此如何同时处理大小目标的关系，就成了膨胀卷积设计的关键。

具体实现：

膨胀后的卷积核的大小：

(0)所谓的空洞就是填充0

(1)设原始卷积核的大小是3*3

(2)设膨胀率为2，则膨胀后的卷积核的大小为：dilation_rate*(kernel_size - 1)+1

结果就是 2*(3-1)+1=5，膨胀后的卷积核大小是5*5

默认的dilation_rate=1.

改进：HDC--混合膨胀卷积

叠加的膨胀卷积的膨胀率dilated rate不能有大于1的公约数(比如[2, 4, 6])，不然会产生栅格效应

Group convlution

将输入通道分组,然后分别卷积.分两组,计算量就减半.

膨胀卷积的缺点_卷积、反卷积与膨胀卷积相关推荐

膨胀卷积的缺点_膨胀卷积学习笔记
膨胀卷积 (Dilated Convolution,也称为空洞卷积),与标准的卷积核不同,膨胀卷积在 kernel 中增加了一些空洞,从而可以扩大模型的感受野. 1.膨胀卷积和标准卷积区别我们先通过 ...
膨胀卷积的缺点_膨胀卷积与IDCNN
Dilation 卷积,也被称为:空洞卷积.膨胀卷积. 一.一般的卷积操作: 首先,可以通过动态图,理解正常卷积的过程: 如上图,可以看到卷积操作. 对于CNN结构,通常包括如下部分: 输入层 (in ...
卷积神经网络原理_怎样设计最优的卷积神经网络架构？| NAS原理剖析
虽然,深度学习在近几年发展迅速.但是,关于如何才能设计出最优的卷积神经网络架构这个问题仍在处于探索阶段. 其中一大部分原因是因为当前那些取得成功的神经网络的架构设计原理仍然是一个黑盒.虽然我们有着关于 ...
卷积神经网络语音识别_用于物体识别的3D卷积神经网络
本文提出了一种基于CNN的3D物体识别方法,能够从3D图像表示中识别3D物体,并在比较了不同的体素时的准确性.已有文献中,3D CNN使用3D点云数据集或者RGBD图像来构建3D CNNs,但是CNN ...
python卷积神经网络cnn的训练算法_【深度学习系列】卷积神经网络CNN原理详解(一)——基本原理...
上篇文章我们给出了用paddlepaddle来做手写数字识别的示例,并对网络结构进行到了调整,提高了识别的精度.有的同学表示不是很理解原理,为什么传统的机器学习算法,简单的神经网络(如多层感知机)都可 ...
深度学习之卷积、全连接、反卷积等
全连接参考1:https://zhuanlan.zhihu.com/p/32819991 全连接参考2:代码实现神经网络前后传输 CNN中卷积.池化的前向与反向传播: CNN卷积神经网络和反向传播( ...
膨胀卷积（Dilated convolutions）（又叫空洞卷积、扩张卷积）
一.背景论文:Multi-Scale Context Aggregation by Dilated Convolutions 大部分图像分割的框架都是经历一系列的卷积和下采样的模块之后,再不断与 ...
和卷积的区别_[CVPR2019]:最新高效卷积方式HetConv
最近放出来了一篇CVPR2019论文,文章提出了一种新的高效卷积方式:HetConv,在CIFAR10.ImageNet等数据集超过了标准卷积以及DW+PW的高效卷积组合形式,取得了更高的分类性能. ...
PyTorch框架学习十——基础网络层（卷积、转置卷积、池化、反池化、线性、激活函数）
PyTorch框架学习十--基础网络层(卷积.转置卷积.池化.反池化.线性.激活函数) 一.卷积层二.转置卷积层三.池化层 1.最大池化nn.MaxPool2d 2.平均池化nn.AvgPool2 ...

膨胀卷积的缺点_卷积、反卷积与膨胀卷积

膨胀卷积的缺点_卷积、反卷积与膨胀卷积相关推荐

最新文章

热门文章