CameraSR----Camera Lens Super-Resolution个人笔记

Chang Chen, Zhiwei Xiong, Xinmei Tian, Zheng-Jun Zha, Feng Wu; Camera Lens Super-Resolution,The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019, pp. 1652-1660

一、简介

概述：现有的单幅图像超分辨率(SR)方法通常采用双三次或高斯下采样等综合退化模型进行评估。本文从相机镜头的角度研究SR，即CameraSR，旨在缓解现实成像系统中分辨率(R)与视场(V)之间的内在权衡。具体地说，我们把R-V退化看作是SR过程中的一个潜在模型，并学习用现实的低分辨率和高分辨率图像对来逆转它。

贡献：

一个新的视角，即，相机镜头的R-V退化，用于现实成像系统中的SR建模。
在City100中，有两种新的获取LR-HR图像对的策略，分别用于描述单反相机和智能手机相机下的R-V退化。
利用实际数据对常用的合成退化模型进行定量分析。
一种有效的解决方案，即CameraSR，用于在现实成像系统中促进现有的基于学习的SR方法。

二、主要内容

文章思路清晰，验证充分。

1、R-V退化->定义问题

缩小镜头可以得到更大的FoV（视野），但这是以物体分辨率下降为代价的。将这种R（分辨率）-V（视野）退化表示为，我们的目标是获得一个函数S(·)，该函数对真实图像SR反转：

2、数据获取->解决问题

明信片的平面形状保证了在小孔径下，长焦和短焦都能很好地聚焦，避免了外焦模糊。因此将明信片作为目标。

2.1 DSLR imaging system

我们将在55mm焦距下捕获的图像定义为HR真值，将在18mm焦距下捕获的图像定义为LR观测值。为了减轻噪声的影响，将ISO值设置为最低。由于焦距的变化是一个无法理想控制的机械过程，会有严重的不对齐问题：空间不对齐、强度变化和颜色不匹配。

将空间错位建模为全局二维平移：计算并匹配了HR图像和插值LR图像之间的SIFT关键点，然后估计单应性矩阵，最后对LR图像进行变换得到对齐的图像
将强度变化模型化为图像直流分量的偏置，并通过对整幅图像的像素强度进行平均估计。
将颜色不对齐建模为参数非线性映射，并利用颜色棋盘将其与多项式参数进行拟合来校准。就是拟合R\G\B三通道值的映射关系式

2.2 Smartphone imaging system

将近距离拍摄的图像定义为HR ground truth，远距离拍摄的图像定义为LR observation。将每个场景重复捕获20次，并对得到的图像进行平均，以减轻噪声的影响。

3、退化模型分析->分析问题

3.1 LR observation

不同退化模型得到的低分辨率观察图像间的差别较大。

3.2 SR result

虽然高斯下采样与真实LR观测在红点处的退化程度相匹配，但高斯sr的重建精度与摄像机相比仍有一定的差距。揭示了合成退化模型的缺点。

4、问题应用

4.1 Advanced digital zoom

我们的主要目标是减轻R-V权衡，甚至打破现实成像系统中光学镜头的物理变焦比，我们现在演示CameraSR实现了这一目标。当同一台单反相机的变焦镜头在55mm焦距达到最大放大率时，CameraSR能够进一步提高所捕获图像的分辨率

4.2 Generalizability

the content generalization：City100数据集是在只有单一主题类别，然而，在City100上训练的camerasr模型在不同主题的室内和室外环境中都表现得很好
the device generalization：在iPhone X版本的City100上训练的CameraSR模型可以很容易的应用到不同的智能手机上，如华为P20和三星S9。

CameraSR----Camera Lens Super-Resolution个人笔记相关推荐

(NIPS2020)Unfolding the Alternating Optimization for Blind Super Resolution 笔记
(NIPS2020)Unfolding the Alternating Optimization for Blind Super Resolution https://github.com/great ...
Unsupervised Real-world Image Super Resolution via Domain-distance Aware Training
Unsupervised Real-world Image Super Resolution via Domain-distance Aware Training(基于域距离感知训练的非监督真实图像超 ...
Super-resolution:Camera Lens Super-Resolution(论文解读二十）
Title:Camera Lens Super-Resolution From:CVPR2019 Note data:2019/07/31 Abstract:从相机的角度研究SR,减小分辨率和视野域的 ...
Camera Lens Coating
Camera Lens Coating Coating Progress 转换镜头,根据要求进行OEM和设计. 光学元件:望远镜.显微镜.相机和数码相机镜头.放大镜头和远摄镜头.定心镜头.投影镜头.投 ...
Google Pixel 超分辨率--Super Resolution Zoom
Google Pixel 超分辨率–Super Resolution Zoom Google 的Super Res Zoom技术,主要用于在zoom时增强画面细节以及提升在夜景下的效果. 文章的主要贡 ...
CV之SR：超分辨率(Super resolution)的简介、使用方法、案例应用之详细攻略
CV之SR:超分辨率(Super resolution)的简介.使用方法.案例应用之详细攻略目录超分辨率(Super resolution)的简介超分辨率(Super resolution)的使 ...
Hardware-in-the-loop End-to-end Optimization of Camera Image Processing Pipelines阅读笔记
Hardware-in-the-loop End-to-end Optimization of Camera Image Processing Pipelines阅读笔记目录 Hardware-in ...
论文翻译：2019_Speech Super Resolution Generative Adversarial Network
博客作者:凌逆战论文地址:基于GAN的音频超分辨率博客地址:https://www.cnblogs.com/LXP-Never/p/10874993.html 论文作者:Sefik Emre Es ...
论文翻译：Speech Super Resolution Generative Adversarial Network
博客作者:凌逆战论文地址:https://ieeexplore.ieee.org/document/8682215 博客地址:https://www.cnblogs.com/LXP-Never/p/ ...
【Super Resolution】超分辨率——SRCNN
SRCNN 01 闲聊--图像的超分辨率 02 SRCNN--超分和DL的结合 02-1 双三次插值 02-2 SRCNN的网络结构 02-3 Training 训练阶段 03 EXPERIMENTS ...

CameraSR----Camera Lens Super-Resolution个人笔记

CameraSR----Camera Lens Super-Resolution个人笔记相关推荐

最新文章

热门文章