《深度学习》图像超分初识

一：简介
图像超分（super-Resolution）是将低分辨率的图像或者视频序列恢复出高分辨率图像。
可以用在视频数字高清播放，视频监控，视频编码，图像还原和医学影像等领域，按照类别可分为单个图像的超分（single image super resolution, SISR）和视频超分（multiframe super resolution）。

二：数学概述

退化函数很难得到，于是我们就找到一个函数F，能够将低分辨率的图像转换成搞分辨率。

以前常见的方法是：最近邻插值法、双线性插值法、双立方插值法。这样的方法优点是会很快，缺点是一般会模糊。

现在的方法是：基于学习的，利用大量的训练数据，从中学习低分辨率图像到高分辨率图像之间某种对应映射关系。然后根据学习到的映射关系来预测低分辨率图像对应的高分辨率图像。到目前更多的使用深度学习的方法。

二：深度学习应用于超分任务
下面会讲解这个DCNN for SR模块，就是运用深度卷积神经网络来构建表示关系。
DCNN for SR效果提升会很明显，原因如下：
1：多个卷积层，会使用邻近区域很多点来预测High-Resolution图像中的一个点，也就是考虑的范围信息广，不像插值那样只考虑附近几个点。
2：深度神经网络具有强大的表示能力。
3：我们拥有大量的数据能支撑训练。

DCNN for SR发展趋势是：网络越来越深（层数变多），越来越密集（链式结构到residual net到dense net connection），效果也是越来越好，计算量和参数量也越来越大。

DCNN for SR算法演进发展：
1：损失函数。保真度和清晰度，从L1损失函数到 perceptual loss，基于GAN的LOSS。
2：上采样的方式（图像/特征变大）。从一开始插值到学习，将插值方式变成了可学习的方式，比如subpixel和deconvolution。
3：尺度变换的位置和次数。比如，将先上采样再提取特性变到了先提取特征再后采样（减少计算量和参数），或者是逐步渐进上采样（如果图片尺度变化比较大，一步提升则会出现效模糊的情况）。
4：网络结构的设计：运用残差块，dense，attention等。

DCNN for SR发展面临的问题
1：网络的设计：耗费了大量的人力，依赖专家的经验。
2：模型的存储量和计算量也是激增，在手机/摄像头上运用不起来，限制了使用空间。
3：模型的通用性差，泛化能力有限：依赖数据集和模型。这个问题一直未解决

三：Efficient SR Model（高效的）
针对上述问题2（模型的存储量和计算量也是激增，在手机/摄像头上运用不起来，限制了使用空间）。必须将模型进行轻量化，减少参数量和计算量。

比如，将先上采样再提取特性变到了先提取特征再后采样（减少计算量和参数），或者是逐步渐进上采样（如果图片尺度变化比较大，一步提升则会出现效模糊的情况）。
比如，多个特征提取层（卷积层）共享参数（或者是反复执行同一个卷积计算），加深了网络运算但是同时减少参数量。

比如一些通道拆分，缩小通道数，拆分通道运算，最后合并在一起，
比如使用1x1卷积核来减少参数，至于为啥，以前我们学习过，可以自行查看之前的文章或者百度。

四：人工设计的缺陷
消耗人力和时间，人工设计的方式通常复用多个网络模块的复用。没有充分考虑不同深度的各个模块的特殊性。

后面逐渐的发展到，希望使用NAS（网格结构搜索）技术来帮助我们自动化找到轻量级和高精度的网络

关于NAS还有很多可延伸和优化的结构与理论。后面会单独学习一篇。

五：相关论文奉上

开山之作 SRCNN： http://personal.ie.cuhk.edu.hk/~ccloy/files/eccv_2014_deepresolution.pdf
FapCNN：https://arxiv.org/abs/1608.00367
ESPCN：https://arxiv.org/abs/1609.05158
VDSR：https://arxiv.org/abs/1511.04587
DRCN：https://arxiv.org/abs/1511.04491
RED：https://arxiv.org/abs/1606.08921
DRRN：http://openaccess.thecvf.com/content_cvpr_2017/papers/Tai_Image_Super-Resolution_via_CVPR_2017_paper.pdf
LapRSN：https://arxiv.org/abs/1704.03915
SRDenseNet：http://openaccess.thecvf.com/content_ICCV_2017/papers/Tong_Image_Super-Resolution_Using_ICCV_2017_paper.pdf
SRGAN：https://arxiv.org/abs/1609.04802
EDSR：https://arxiv.org/abs/1707.02921

《深度学习》图像超分初识相关推荐

深度学习图像超分辨率最新综述：从模型到应用
点击我爱计算机视觉标星,更快获取CVML新技术今日arXiv新上论文<Deep Learning for Image Super-resolution:A Survey>,详细回顾了近年 ...
深度学习图像超分辨率开山之作SRCNN——原理分析及代码（效果基本可以达到论文中的效果）
基于python+tensorflow下的超分辨率图像重构(效果基本可以达到论文中的效果) 论文地址:点击此处跳转搞这篇论文时,踩了很多坑,效果优于网上的大部分代码,网上大部分代码效果离理想效果差5 ...
那些让人耳目一新的深度学习图像超分辨率重建方法
本文章只记录(按时间),不分析网络结构.优劣.可能会有遗漏,见谅. 1. SRCNN -- ECCV2014 paper:Learning a Deep Convolutional Network f ...
图像超分中的深度学习网络
图像超分中的深度学习网络质量评估操作通道有监督算法预上采样后采样超分逐步上采样迭代上下采样上采样的学习方式残差块递归学习多路径学习密集连接通道注意力机制其他卷积像素递归网 ...
深度学习磁共振图像超分与重建论文阅读
深度学习磁共振图像超分与重建算法研究 Super-resolution reconstruction of MR image with a novel residual learning networ ...
SRCNN-基于深度学习的图像超分入门
图像超分图像超分辨率问题定义: 输入一张低分辨率图像时(low resolution,LR),通过算法,输出一张高分辨率图像(high resolution,HR) 传统的图像插值算法可以在某种程度 ...
深度学习图像融合_基于深度学习的图像超分辨率最新进展与趋势【附PDF】
因PDF资源在微信公众号关注公众号:人工智能前沿讲习回复"超分辨"获取文章PDF 1.主题简介图像超分辨率是计算机视觉和图像处理领域一个非常重要的研究问题,在医疗图像分析.生物特 ...
黄浴：基于深度学习的超分辨率图像技术发展轨迹一览
作者 | 黄浴转载自知乎导读:近年来,使用深度学习技术的图像超分辨率(SR)取得了显著进步.本文中,奇点汽车自动驾驶首席科学家黄浴对基于深度学习技术的图像超分辨率技术进行了一次全面的总结,分析了这 ...
【论文解读】图像超分最新记录！南洋理工提出图神经网络嵌入新思路，复原效果惊艳...
文章来源于极市平台,作者Happy paper: https://arxiv.org/abs/2006.16673 code: https://github.com/sczhou/IGNN(尚未开源) ...

《深度学习》图像超分初识

《深度学习》图像超分初识相关推荐

最新文章

热门文章