Sub-pixel Convolution(子像素卷积)

Sub-pixel convolution是一种巧妙的图像及特征图upscale的方法，又叫做pixel shuffle（像素洗牌）。我们知道，用深度学习处理图像的话，经常需要对特征图放大。常见的方法有直接上采样，双线性插值，反卷积等等。本文主要介绍一种在超分辨率中经常使用的upscale方法——sub-pixel convolution。

采用CNN对feature map进行放大的方法，除了有deconvolution之外，还有一个叫做sub-pixel convolution的东西。如果做SR(超分辨率)的话，需要将一张低分辨率图像转换成一张高分辨率图像。如果直接用deconvolution作为upscale手段的话，通常会带入过多人工因素进来(有不少论文提到这个)。而sub-pixel conv会大大降低这个风险。先看看sub-pixel是怎么做的：

上图很直观得表达了sub-pixel convolution的做法，前面就是一个普通的CNN网络，到后面彩色部分就是sub-pixel conv的操作了。首先，如果我想对原图放大3倍，那么我需要生成出3^2=9个same size的特征图。将九个same size的特征图拼成一个X3的大图，这就是sub-pixel convolution的操作了。

这是一种抽样的反思想，如果把一张x3的大图，每隔三个点抽样一个，那就会得到9张低分辨率的图像。于是，如果我们可以通过CNN来获得9张符合分布的低分辨率图像，那么就可以组成一张高分辨率的大图。

Sub-pixel Convolution(子像素卷积)相关推荐

深入理解——亚像素 / sub-pixel、亚像素卷积
目录 1.1 亚像素理解 1.2 何谓亚像素? 1.3 何谓亚像素精度? 摘要: 2 图像处理中的sub-pixel是什么意思? 3 PixelShuffle(像素重组) 1.1 亚像素理解在相机成 ...
亚像素卷积网络(ESPCN)学习与Pytorch复现
论文内容论文地址:Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolution ...
【深度学习笔记】亚像素 / sub-pixel、亚像素卷积
近段时间需要用到亚像素卷积的知识,因此上网查阅了论文和资料,此文是根据网上的博文以及相关论文,依据个人的理解整理而来. 总而言之,拾人牙慧而已. Content 1 亚像素的定义 1.1 亚像素理解 ...
OpenCv-C++-亚像素级别角点检测(检测子像素中的corner的位置)
使用亚像素级别角点检测,返回角点的浮点数值,它的精度比整数像素更准确.可以用cornerSubPix()函数将角点定位到子像素,从而取得亚像素级别的角点检测效果. 使用函数: void cv::cor ...
pentile 子像素_三星和索尼OLED子像素排列方式对比有哪些差异？
目前已经有很多 VR 头戴设备在市面上进行发售,不同的厂家都因为价格定位的差异而选择不同的硬件解决方案.在其中最影响体验效果的自然是下面,我们就以三星和索尼的 OLED 产品为例进行浅要分析. 三 ...
亚像素卷积和转置卷积
CNN中对特征图进行上采样常用的操作有转置卷积和亚像素卷积 1.转置卷积转置卷积(Transposed Convolution)又称为反卷积(Deconvolution) 先看下普通的卷积过程: 如 ...
OpenCV检测子像素中的角点位置
OpenCV检测子像素中的角点位置检测子像素中的角点位置目标代码结果检测子像素中的角点位置目标在本教程中,您将学习如何: 使用OpenCV函数cv :: cornerSubPix查找更精 ...
什么是亚像素（子像素）？sub-pixel
什么是子像素? 像素是区域阵列相机图像平面的最小单位.例如,CMOS相机芯片的像素间距为5.2微米.在相机拍照时,物理世界中的连续图像被离散化了.成像平面上的每个像素只代表它附近的颜色."近 ...
pentile 子像素_OLED像素排列
现在的手机,屏幕越来越大,分辨率也越来越高,很多人在购买手机时,往往认为,分辨率越高, 屏幕显示效果越清晰.实际上,这种想法是不全面的. 屏幕的材质以及子像素的排列方式也是影响屏幕显示效果的重要因 ...

Sub-pixel Convolution(子像素卷积)

Sub-pixel Convolution(子像素卷积)相关推荐

最新文章

热门文章