空洞卷积(Atrous/Dilated Convolution)
由Deeplabv1提出的。
有两种实现方式:
- 一,卷积核填充0。
- 二,输入等间隔采样。
扩张率(dilation rate),也叫空洞数(Hole Size)。
标准卷积可以看做空洞卷积rate=1(Note:rate=2表示中间空洞间隙为1)的特殊形式。
中间的空洞间隙,计算感受野的时候,也属于感受野的有效范围。(单个卷积的感受野计算公式:[(rate-1)(k-1) + k] ** 2 ,其中(rate-1)(k-1) 是因为空洞而新增加的边长增量)
作用:
- 扩大感受野:
- 原本为了增加感受野同时不增加计算量,只能进行降采样(pooling或s2/conv),但空间分辨率(fm尺度)因此缩小了。
- 空洞卷积可以在不需要引入额外参数的前提下,任意扩大感受野。
- 一方面感受野大了可以检测分割大目标,另一方面分辨率高了可以精确定位目标。因此空洞卷积主要应用于检测、分割。
- 捕获多尺度上下文信息:
- 空洞卷积有一个参数可以设置dilation rate,具体含义就是在卷积核中填充dilation rate-1个0。
- 当设置不同dilation rate时,感受野就会不一样,也即获取了多尺度信息(常考deeplabv2的ASPP)。而多尺度信息在视觉任务中相当重要。
- 扩大感受野:
用法:
- 语义分割由于需要获得较大的分辨率图,因此经常在网络的最后两个stage丢弃降采样操作,改用空洞卷积减少感受野的丢失。
缺点:
- 在实际中不好优化,且缺少对应的算子加速,速度会大大折扣。
- 因为空洞卷积得到的某一层的结果中,邻近的像素是从相互独立的子集中卷积得到的,相互之间缺少依赖。因此存在gridding问题(网格效应/棋盘问题):
- 局部信息丢失:由于空洞卷积的计算方式类似于棋盘格式,某一层得到的卷积结果,来自上一层的独立的集合,没有相互依赖,因此该层的卷积结果之间没有相关性,即局部信息丢失。
- 远距离获取的信息没有相关性:由于空洞卷积稀疏的采样输入信号,使得远距离卷积得到的信息之间没有相关性,影响分类结果。
改进方法:
- HDC:
- 不同于采用相同的空洞率的deeplab方案,该方案将一定数量的layer形成一个组,然后每个组使用连续增加的空洞率,其他组重复。
- 如deeplab使用rate=2,而HDC采用r=1,r=2,r=3三个空洞率组合,这两种方案感受野都是13。
- 但HDC方案可以从更广阔的像素范围获取信息,避免了grid问题。
- 同时该方案也可以通过修改rate任意调整感受野。
- deeplabv3在v2基础上进一步探索空洞卷积,分别研究了级联ASPP与并联ASPP两种结构。
- HDC:
- 总结-空洞卷积(Dilated/Atrous Convolution)
空洞卷积(Atrous/Dilated Convolution)相关推荐
- 空洞卷积atrous/dilated convolution
1.定义 空洞卷积(atrous/dilated convolution)又称膨胀卷积是针对图像语义分割问题中下采样会降低图像分辨率.丢失信息而提出的一种卷积思路.空洞卷积向卷积层引入了一个称为&qu ...
- 空洞卷积(Dilated Convolution):有之以为利,无之以为用
https://www.toutiao.com/a6695893685260780044/ 原论文链接 https://arxiv.org/pdf/1705.09914.pdf 一.论文核心 < ...
- 空洞卷积(dilated convolution)
目录 一.dialated convolution的发展由来 二.对dialated convolution的理解 三.重新思考卷积: Rethinking Convolution 四.空洞卷积的拯救 ...
- 如何理解空洞卷积(dilated convolution)
论文:Multi-scale context aggregation with dilated convolutions 简单讨论下dilated conv,中文可以叫做空洞卷积或者扩张卷积.首先介绍 ...
- 如何理解空洞卷积(dilated convolution)ID-CNN
作者:谭旭 链接:https://www.zhihu.com/question/54149221/answer/192025860 来源:知乎 著作权归作者所有,转载请联系作者获得授权. 简单讨论下d ...
- 膨胀卷积 / 空洞卷积(Dilated convolution)
视频学习链接:[https://www.bilibili.com/video/BV1Bf4y1g7j8] 1. 认识膨胀卷积 r 为间隙,r = 1 时,就是普通卷积 2. 为什么要使用空洞卷积 提出 ...
- 深度学习-扩张卷积(dilated convolution)
1. 前言 扩张卷积( D i l a t e d C o n v o l u t i o n )也被称为空洞卷积或者膨胀卷积,是在标准的卷积核中注入空洞,以此来增加模型的感受野( r e c e p ...
- 空洞卷积/扩张卷积(Dilated convolution)-笔记
空洞卷积/膨胀卷积 (1)普通卷积操作 3*3的kernel,上方深绿色为输出特征图,下方蓝色为原输入图 (2)空洞卷积 其中r为扩张率,指的是卷积核的点的间隔数量.特别的,当r=1时,为普通卷积. ...
- 膨胀卷积(Dilated convolution)
Dilated conv,中文叫做空洞卷积或者扩张卷积,起源于语义分割,大部分文章也用于语义分割,具体能否对其他应用有价值姑且还不知道,但确实是一个不错的探究方向. 感受野(receptive fie ...
最新文章
- C++map的基本操作和使用
- 实时对讲是怎么发起的_QQ可实时显示手机电量并展示给好友 近半投票者支持该功能...
- CyanogenMod源码编译模拟器
- Java的技术采⽤用⽣生命周期
- 在数据中心空间进行测试
- -bash: belts.awk: command not found
- java同时满足语句_关于控制语句,下列哪些说法符合《阿里巴巴Java开发手册》:...
- 删过几十亿个账号,Facebook的人工智能是怎么培养出来的?
- 047 一维数据的格式化和处理
- javascript:void(0)
- 2014/4/4做题感悟
- 2018 OpenInfra Days China官方盛典邀您莅临!文末有福利!
- 数据中心建筑设计及功能区布局的注意事项
- 计算机基础算术加法,计算机基础第二章:算术逻辑单元(How Computes Calculate——The ALU)...
- 用Python生成人人贷借款理由词云图
- Oracle_02查询函数
- 如何使用爬虫与JieBa库制作词云
- 流利说 Level 5 全文
- Alexnet详解以及tesnsorflow实现alexnet;什么是alexnet alexnet能做什么;alexnet教程
- 如何了解一个软件的设计?
热门文章
- 如何以软文宣传的方式成功推广洗发水的新产品上市?
- 阿里 arthas 使用介绍
- PMP的一个新术语:关键链法
- HBaseCon亚洲2018峰会盛大开幕 阿里带你洞悉HBase大数据生态最新发展和行业实践
- 一个简单的猜数字游戏(附带关机惩罚)
- Pytorch tutorial pytorch 入门
- 关于电脑壁纸分辨率低的原因及解决办法(个人感悟,并非系统性的盘点)
- 初级php程序员的自我提升
- 泰山OFFICE技术讲座:FreeType获取kerning函数FT_Get_Kerning研究
- Z820服务器重装,惠普Z820工作站特点介绍