【文章阅读】The Devil is in the Decoder【计算机视觉中的上采样方式-6种】

一、这是google的一篇探索的文章，探讨decoder结构的一篇文章

二、主要贡献点

1、探讨了不同的几种decoder的优劣，提出自己的上采样方案

2、提出针对上采样的residual connection

3、横向多任务对比各种不同方案

三、不同结构decoder的对比

Transposed Convolution：这个也是我们常说的“反卷积” “上采样卷积”，但是要注意这并不是卷积的“反操作”，而是一种类似普通上采样的操作。具体过程分为两步：1、根据放大倍数，填0；2、普通卷积操作。下面这张图非常清晰的显示了，整个过程，3x3的反卷积，总体stride=2.从结构上谈这个模块的缺点的话，我认为主要是输出map的每个pixel的来源不平衡，有的来源2个，有的4个，有的只有1个。3x3的卷积核能否应对h，w较大时，产生一个较好的soomth系数，对于feature map的每个区域都适用？

Decomposed Transposed Convolution：这个如果熟悉inception的人，其实很好理解，把3x3的卷积拆成1x3，和3x1，这样参数就少了，那么整个操作流程就是：先竖着填0，卷积，横着填0，卷积。这是第一种的严格子集。

Separable Transposed Convolution : 这个就是分离卷积，先通道，在1x1，依然是减少参数。这是第一种的严格子集。

Depth To Space ：可以搜下pixel shuffle，基本上就是这个意思。这个会带入“对齐问题”，因为同一组feature maps，虽然不同通道，但是计算来源都是一样的。The drawback of this approach is that it introduces alignment artifacts.为什么呢？我没办法给出一个理论上的解释。有没有人解释下？

Bilinear Upsampling ：增加显存的同时，后续的卷积也会需要更多的操作。

Bilinear additive upsampling ：借鉴 “depth to space”，不同的在于，上采样后，这里直接用加法了，输出的feature map，可以发现，每个pixel来源都是平衡的。

四、上采样residual

用作者的Bilinear additive upsampling + conv（通道增加4倍）输出的为X',在把原始输入经过普通的bilinear upsample得到 X'',加起来就是了。

下面这个图的skip，就是我们Unet常用的那种线，这也基本上证明了，这个skip是有效的，但是作用不是特别大。

【文章阅读】The Devil is in the Decoder【计算机视觉中的上采样方式-6种】相关推荐

地震反演近期文章阅读
地震反演近期文章阅读 [1]Low-Frequency Impedance Inversion by Using InterpretableGated Recurrent Encoder-Decode ...
2022CVPR边缘检测——EDTER: Edge Detection with Transformer文章阅读
EDTER: Edge Detection with Transformer文章阅读今天阅读了一篇文章,名为EDTER: Edge Detection with Transformer,作者将ViT ...
如何估算文章阅读时长？
简评:包括 Medium 在内的很多阅读类网站或 App 都有阅读时长的提示,那么这个数值是怎么来的呢? 早些时候,阅读类平台还在野蛮生长. Medium 的工程师写着代码的同时,也在阅读自家平台上的 ...
.Net Discovery系列文章阅读索引--带你探索未知的.Net世界
.Net Discovery系列文章是讲述.Net平台机制的文章,目前已有12篇,分别讲述了.Net垃圾收集.实时编译.字符串等部件的机制,现在推出1周年之际总结文章阅读索引,希望对大家有所帮助. ...
“云时代架构”经典文章阅读感想十二
云时代架构"经典文章阅读感想十二 (牛逼的架构师是怎么炼成的?) 前几周阅读的三四十岁的大龄程序员,应该如何保持自己的职场竞争力?中提到如何在35岁左右可以实现掌握有核心竞争力.其中之一便是 ...
用户dsn保存位置‘_苹果iOS 13.6终于能保存文章阅读进度了朋友都等秃了
几天前,iOS 13.6 Beta 2和iPadOS 13.6 Beta 2发布,据外媒iPhoneHacks消息,苹果此次通过新软件更新对Apple News应用程序进行了改进,更新后的iOS 13 ...
阅读量PHP设计,zblogPHP如何修改文章阅读量
很多网站访问量比较少,尤其是对于新站来说,有时发布的文章几天下来阅读量一直上不去,甚至还保留在个位数,这样看起来难免会有些尴尬,如何打破这种尴尬?zblogphp文章阅读量可以修改吗?答案是肯定的,修 ...
python刷阅读_通过python+selenium3实现浏览器刷简书文章阅读量
准备工作下载python,本文以python3.6为例.python3.6下载地址:python3下载地址,选择合适的版本安装.安装成功后,打开命令提示符,在其中输入python,显示如下信息,则说 ...
[html] 请实现一个文章阅读的进度条
[html] 请实现一个文章阅读的进度条 chrome 浏览器中,通过document.documentElement.scrollTop获取页面滚过高度,通过document.documentEle ...

【文章阅读】The Devil is in the Decoder【计算机视觉中的上采样方式-6种】

【文章阅读】The Devil is in the Decoder【计算机视觉中的上采样方式-6种】相关推荐

最新文章

热门文章