计算摄影——图像超分
这一节主要介绍一下基于单张图的图像超分算法。图像超分，就是要从低分辨率的图像恢复为高分辨率的图像，它在日常的图像和视频存储与浏览中都有广泛的应用。
基于深度学习的图像超分算法
不同的采样结构
图像超分需要将低分辨率图片恢复为高分辨率图像，因此上采样结构在网络中是必不可少的，因此下面按照上采样结构在不同CNN模型中的位置来区分不同的算法，说明一下其原理和优缺点。
前上采样
前上采样即在网络的开始完成上采样过程，经典模型为SRCNN模型，其结构如下：
SRCNN模型步骤：
- 首先使用双线性插值等上采样方法进行初始化，得到目标分辨率大小的图像。
- 使用卷积层对输入的局部图像块进行特征提取，得到一系列特征图，即f1
- 接着使用1x1卷积进行维度变换，即扩增特征通道数
- 最后将高分辨率的图像块重新拼接为完成的图像，即f3
该模型学习过程比较简单，但是由于整个网络在高分辨率空间进行计算，因此计算量大，而且噪声容易被放大。
后上采样
后上采样即在网络的后部分才进行上采样。比较经典的模型结构为FSRCNN和ESPCN。
FSRCNN网络结构如下：
想比SRCNN，主要改进在三个地方：
- FSRCNN采用原始低分辨率图像作为输入，无需进行双三次插值，在网络末端引入反卷积层来完成上采样，极大的减小了网络参数。
- 网将SRCNN中的非线性映射层替换为FSRCNN中的三个层，即收缩、映射和扩展，减少特征参数维度。
- 将“宽”的非线性映射层用“**窄”的“深”**的网络来替代。
ESPCN网络结构如下：
该网络的关键亮点在于亚像素卷积层，首先介绍一下亚像素的概念：
面阵摄像机的成像面以像素为最小单位。在相机成像的过程中，获得的图像数据是将图像进行了离散化处理。例如两个感官元件上的像素之间有4.5um的间距，宏观上它们是连在一起的，微观上它们之间还有无数更小的东西存在，这个更小的东西就称之为“亚像素”。实际上，亚像素应该是存在的，只是缺少更细微的传感器把它检测出来，只能通过软件将起近似计算出来。
如下图所示，每四个红色点围成的矩形区域为实际原件上的像素点，黑色点为亚像素点：
根据相邻两像素之间插值情况的不同，可以调整亚像素的精度，例如四分之一，就是将每个像素从横向和纵向上当做四个像素点。也就是上面图里的红色点之间有三个黑色点。这样通过亚像素插值的方法可以实现从小矩形到大矩形的映射，从而提高分辨率。
在原文中，作者将网络模型定义为3层，前两层为普通卷积，最后的亚像素卷积层则包括两个部分，卷积+像素排列。即通过三个卷积层，得到与输入图像尺寸一致、通道数为r2的特征图像，再将特征图像的每个像素的r2个通道重新排列成一个r * r的区域，对应高分辨图像中一个r * r的区域，从而大小为H*W*r2的特征图像重新排列为rH*rW*1的高分辨率图像。
逐步式上采样
为了解决后采样模型无法对高倍率因子进行很好的超分的问题，逐步式上采样被提出，比较典型的为LapSRN，其网络结构为：
其主要包含两个分支：特征提取分支（即上图中上半部分）和图像重建分支（即图像中下半部分），其中特征提取分支包含多个不同分辨率层级，每一个层级使用多个卷积层来获取非线性特征映射，最后加上反卷积层来提升图像的分辨率；图像重建分支则将输入图进行上采样后和相同分辨率大小的特征提取分支相加来得到下一级分辨率的输出图，直到得到最终的高分辨率结果图。
优化目标
早期的基于CNN模型的超分框架如SRCNN，ESPCN都使用图像像素空间的欧式距离(即L2 loss，或者MSE损失)作为优化目标，结果能取得较高的PSNR和SSIM指标，但是存在结果过于平滑的问题。
人眼对重建结果质量的感知并不完全与这些指标相符，比如MSE指标较小并不能保证局部细节的清晰度，而较大的MSE指标也并不等价于较差的结果，比如原图偏移一个像素后与原图的MSE值可能较大，但是视觉感知效果很接近。
CNN网络的高层特征空间相比于原始的像素空间，具有较高的抽象层级，它使得原始图像的特征与目标图像的特征差异可以反应在语义级别，这非常符合人眼的主观评估感受，研究者基于此提出了感知损失。基于特征空间计算的欧式距离被称为感知损失(perceptual loss)，令φ来表示网络，j表示网络的第j层，表示第j层的特征图的大小，感知损失的定义如下；
参考资料：
【计算摄影】图像超分辨，深度学习核心技术与展望 - 知乎
图像超分算法小合集二：FSRCNN、DRCN、RDN、EDSR_暖风️的博客-CSDN博客_图像超分算法
ESPCN神经网络_uodgnez的博客-CSDN博客_espcn
计算摄影——图像超分相关推荐
- 【论文解读】图像超分最新记录！南洋理工提出图神经网络嵌入新思路，复原效果惊艳...
文章来源于极市平台,作者Happy paper: https://arxiv.org/abs/2006.16673 code: https://github.com/sczhou/IGNN(尚未开源) ...
- 《深度学习》图像超分初识
一:简介 图像超分(super-Resolution)是将低分辨率的图像或者视频序列恢复出高分辨率图像. 可以用在视频数字高清播放,视频监控,视频编码,图像还原和医学影像等领域,按照类别可分为单个图像 ...
- 46FPS+1080Px2超分+手机NPU，arm提出一种基于重参数化思想的超高效图像超分方案
编辑:Happy 首发:AIWalker 本文是ARM的研究员在大分辨率图像超分方面的一次探索,它将重参数化思想嵌入到图像超分结构中,并结合手机NPU硬件性能对现有超分的性能进行的对比分析.在Arm ...
- 【达摩院OpenVI】AIGC技术在图像超分上的创新应用
团队模型.论文.博文.直播合集,点击此处浏览 一.背景 近10年来,深度学习技术得到了长足进步,在图像增强领域取得了显著的成果,尤其是以GAN为代表的生成式模型在图像复原.老片修复,图像超分辨率等方面 ...
- 图像超分论文阅读列表 super_resolution_paper_lists
文章目录 1. Up-sample operation Real-Time Single Image and Video Super-Resolution Using an Efficient Sub ...
- 图像超分中的深度学习网络
图像超分中的深度学习网络 质量评估 操作通道 有监督算法 预上采样 后采样超分 逐步上采样 迭代上下采样 上采样的学习方式 残差块 递归学习 多路径学习 密集连接 通道注意力机制 其他卷积 像素递归网 ...
- 图像超分综述:超长文一网打尽图像超分的前世今生 (附核心代码)
文章目录 一.目的 二.研究背景 三.存在的问题 四.研究现状 五.各算法创新点及核心代码总结 SRCNN ESPCN VDSR DRCN DRRN EDSR SRGAN ESRGAN RDN WDS ...
- 深度学习磁共振图像超分与重建论文阅读
深度学习磁共振图像超分与重建算法研究 Super-resolution reconstruction of MR image with a novel residual learning networ ...
- (十)老照片修复、图像超分、图片提高分辨率、图片高清化、图片清晰化、黑白图片上色、人脸祛斑、美颜、人体瘦身、图像去噪、人像抠图、批量处理、视频提高分辨率、视频逐帧修复
(十)老照片修复.图像超分.图片提高分辨率.图片高清化.图片清晰化.黑白图片上色.人脸祛斑.美颜.人体瘦身.图像去噪.人像抠图.批量处理.视频提高分辨率.视频逐帧修复 本文的代码的功能是:可以对图片文 ...
最新文章
- 零基础学汇编 --小甲鱼
- pandas使用groupby函数计算dataframe数据中每个分组的N个数值的滚动标准差(rolling std)、例如，计算某公司的多个店铺每N天（5天）的滚动销售额标准差
- 在 vSphere Client(Vcenter 管理中心) 中迁移虚拟机(从一台物理主机迁移到另一台物理主机）
- 【修真院“善良”系列之十】初级Java程序员的学习路线
- linux内存管理分析 二,linux内存管理分析【二】
- Android获取最新发送短信的基本信息，没有之一
- 禁售苹果手机_苹果、华为供应商工厂突发火灾！浓烟冲天
- Android 免费模式将终结？
- utilities（C++）——单例（Singleton）
- paip 常用汉字形声字大全3500字
- CompoundButton（checkbox,switch，ToggleButton）和RadioGroup OnCheckedChangeListener() 引用冲突问题
- 算法面试基础：LR（逻辑回归）
- html和css如何制作小球,雨林寒舍 | CSS3制作3D跳动的小球
- 在element框架中使用videojs-markers插件时，无法正常引入的坑
- 佐治亚理工的网上计算机硕士,佐治亚理工计算机硕士读几年?
- thinkphp5.1和5.0下的中文分词
- java使用JSON-RPC进行BTC、LTC钱包开发
- 硬件实现声音信号压缩
- Spark获取CSV文件导入ClickHouse
- 自动驾驶感知——毫米波雷达