上采样(upsampling)方法总结

总结一下上采样，主要来源于论文《Deep Learning for Image Super-resolution:A Survey》

上采样层位置
上采样方法
2.1预定义插值式
最近邻插值、双线性插值、双三次插值，效果和计算量逐个上升；虽然插值式上采样已没人用，但是下采样过程（数据准备从HRGT到LR）最常用的还是双三次。
基于插值的上采样方法只能通过图像的本身内容提高图像的分辨率，并没有带来更多信息，相反还有噪声放大、计算复杂度增加、结果模糊等副作用。
2.2 反卷积

由于反卷积是个端到端的操作而且效果还行，所以在论文中被相当广泛地采用，其缺点就是由于uneven overlapping导致的下图中的棋盘效应。

这是由于stride不能被卷积kernel size整除导致的。如下图，以一维信号举例（stride=2、size=3），上面黑白相间表示原始信号基础上进行了插0的expanding；下面表示反卷积的结果，第1和第2个块只接收到的非0信号只有上面的第一个黑块，第三个却能接收到两个黑块，导致其像素值过高，因此输出信号整体不均匀。

2.3 Sub-layer

原来是h * w * c，上采样倍数为s，sub-layer就是拿s * s个卷积核来卷，形成h * w * c * s * s的结果，再reshape成hs * ws *c。
与反卷积相比，子像素卷积具有更大的感受野，它提供了更多的上下文信息以帮助生成更多逼真的细节。然而，由于感受野的分布是不均匀的，并且块状区域实际上共享相同的感受野，因此可能会导致在不同块的边界附近出现一些伪影。另一方面，独立预测块状区域中的相邻像素可能会导致输出不平滑。
2.4 Meta Upscal Module
最新突出的一种上采样方法，第一个可进行任意倍率的上采样的模块。采用了元学习的思想，这个后续再详细介绍。来源于论文《Meta-SR: A Magnification-Arbitrary Network for Super-Resolution》

上采样(upsampling)方法总结相关推荐

反卷积(Deconvolution)上采样(Upsampling)上池化(Unpooling)的区别——附翻译
http://blog.csdn.net/u012949263/article/details/54379996 提供了英文版 Question: Deconvolution networks use ...
图像语义分割中的上采样(Upsampling)和下采样(subsampling)
图像语义分割中的上采样和下采样 1. 下采样(subsampled) 2. 上采样(upsampled) 2.1 线性插值 2.2 单线性插值 2.3 双线性插值 2.4 双线性插值举例 2.5 插值 ...
PixelShuffle特征图的上采样的方法
PixelShuffle是一种上采样方法,可以对缩小后的特征图进行有效的放大.可以替代插值或解卷积的方法实现upscale PixelShuffle PixelShuffle(像素重组)的主要功能是将 ...
神经网络上采样的方法
文章目录 1. 应用背景 2. 上采样方法参考内容本内容包含上采样的简要介绍,不包含运算,详细运算细节可见参考内容3 1. 应用背景一些操作中会涉及到将低分辨率图像采样为高分辨率图像 2. 上采 ...
python图像下采样_图像的上采样（upsampling）与下采样（subsampled）
缩小图像(或称为下采样(subsampled)或降采样(downsampled))的主要目的有两个:1.使得图像符合显示区域的大小:2.生成对应图像的缩略图. 放大图像(或称为上采样(upsampli ...
到底什么是上采样、下采样
上采样语义分割/实例分割等任务,由于需要提取输入图像的高层语义信息,网络的特征图尺寸一般会先缩小,进行聚合:这类任务一般需要输出于原始图像大小一致的像素级分割结果,因而需要扩张较小的特征图这就用到了 ...
深度可分离卷积、空洞卷积、反卷积、感受野计算、上采样
文章目录输出特征图尺寸的计算 Depthwise卷积和Pointwise运算成本比较低空洞卷积反卷积上采样输出特征图尺寸的计算 Depthwise卷积和Pointwise运算成本比较低如何 ...
AAAI2021 大运动“视频超分辨”中的对偶子网与多阶通信上采样方案
关注公众号,发现CV技术之美作者单位:西电.鹏城实验室论文链接:https://arxiv.org/pdf/2103.11744.pdf 编者言: 视频超分辨率(VSR)任务中第一个设计对偶学习的 ...
深度网络中的上采样总结
一.上采样概述在深度学习中,上采样是一种使图像分辨率变高的方法/技术. 目前有以下几种基本的上采样方法: 1. UpSample + Conv 1X1 2. ConvTransposed 3. Co ...

上采样(upsampling)方法总结

上采样(upsampling)方法总结相关推荐

最新文章

热门文章