ECCV 2020 | 空间-角度信息交互的光场图像超分辨,性能优异代码已开源
光场相机可以记录当前场景不同视角的图像,每个视角图像的上下文信息(空间信息)与不同视角之间的互补信息(角度信息)都有助于提升图像超分辨的性能。
近日,来自国防科技大学、上海科技大学等单位的学者提出了新型光场图像超分辨算法(Spatial-Angular Interaction for Light Field Image Super-Resolution),通过交互光场图像的空间信息与角度信息提升了超分辨性能。
相关论文已被ECCV2020录用,代码已开源。
引言(Introduction)
光场(light field,LF)相机可以记录当前场景多个视角的图像,在重聚焦、深度估计、显著性检测、场景3D感知方面具有广泛应用。
然而受硬件条件限制,光场图像在空间分辨率(每个视角的图像分辨率)与角度分辨率(视角的采样密度)上存在制约关系。
该文针对光场图像超分辨问题开展研究,提升每个视角图像的空间分辨率。
作为底层视觉的一个关键任务,图像超分辨在近年来受到了广泛关注。对于单幅图像,超分辨算法需要充分利用低分辨率图像的上下文信息(空间信息)恢复高分辨率图像中对应的细节纹理。
对于光场图像,结合每个视角图像的空间信息与不同视角图像的互补信息(角度信息)可以提升超分辨的性能。然而由于光场图像的高维特性,充分利用并结合空间信息与角度信息非常具有挑战性。
该文提出光场“空间-角度”信息交互网络(LF-InterNet)实现光场图像超分辨:
首先,该文结合光场的结构特性提出空间特征提取子(spatial feature extractor,SFE)与角度特征提取子(angular feature extractor,AFE),分别用于提取光场图像的空间信息与角度信息。
而后,该文设计LF-InterNet对所提取的空间信息与角度信息进行渐进式交互融合。
该文在6个公开数据集上对所提算法进行了测试评估,实验结果表明LF-InterNet的性能达到了领域SOTA水平,同时具有较小的参数量与较高的运行效率。
方法(Method)
• 空间-角度信息提取
图1 光场图像结构示意图
如图1所示,光场图像按照左图方式进行排列可以组成阵列子图像(sub-aperture image,SAI);若将每幅阵列子图像相同空间位置的像元按照视角顺序进行排列,则可以构成宏像元图像(macro-pixel image,MacPI)。该文所提SFE与AFE均以宏像元图像作为输入,如图2所示。
图2 空间特征提取子(SFE)与角度特征提取子(AFE)
图2为简化的光场宏像元图像示意图,其中光场的空间分辨率与角度分辨率均为3*3。图中涂有不同底色的3*3区域表示不同的宏像元,每个宏像元内的3*3像元标有不同的符号(十字、箭头等),表示其属于不同的视角。
AFE定义为kernel size=A*A,stride=A的卷积(其中A为光场的角度分辨率,图2中A=3);SFE定义为kernel size=3*3,stride=1,dilation=A的卷积。注意到,将AFE应用于宏像元图像时,只有单个宏像元内的像元参与卷积运算,而不同宏像元之间的信息不互通。
同理,将SFE应用于宏像元图像时,只有属于相同视角的像元参与卷积运算,而属于不同视角的像元不互通。因此,AFE和SFE可以分别提取光场的角度信息和空间信息,实现信息的解耦。
图3 LF-InterNet结构图
• 网络结构
基于AFE与SFE,该文构建了LF-InterNet网络,如图3所示。假设光场图像的空间分辨率为H*W、角度分辨率为A*A,上采样系数为α,网络的输入为低分辨率光场宏像元图像(HA*WA),输出为高分辨率光场阵列子图像(αHA*αWA)。网络可以分为特征提取、空间角度特征交互、特征融合重建三个阶段。
(1)特征提取:将该文所提AFE与SFE应用于输入的光场宏像元图像,可以分别提取光场的角度特征(H*W)与空间特征(HA*WA);
(2)空间角度特征交互:用于实现空间角度特征交互的基本单元为交互块(Inter-Block)。该文将4个交互块级联构成交互组(Inter-Group),再将4个交互组级联构成网络的交互部分。如图3(b)所示,如图3(c)所示,在每个交互块中,输入的空间特征与角度特征进行一次信息交互。一方面,角度特征上采样A倍后与空间特征进行级联,而后通过一个SFE与ReLU实现角度信息引导的空间特征融合;另一方面,空间特征通过AFE卷积提取新一轮的角度特征,并与输入的角度特征进行级联,而后通过一个1*1卷积与ReLU进行角度特征的更新。空间特征分支与角度特征分支均采用局部残差连接。
(3)特征融合与重建:网络的每个交互组输出的空间特征与角度特征分别进行级联,而后通过bottleneck模块进行全局特征融合。如图3(c)所示,在bottleneck模块中,角度特征首先通过1*1卷积与ReLU进行通道压缩,而后通过上采样与空间特征进行级联。所级联的空间特征通过SFE与ReLU进行通道压缩,而后与初始提取的空间特征相加实现全局残差连接。融合所得到的特征通过SFE进行通道扩增,而后通过光场结构转换层(LF reshape,图3(d))将宏像元形式的特征重组为阵列子图像形式,最后通过pixel-shuffle层与1*1卷积层输出高分辨率光场阵列子图像。
• 实施细节
该文采用表1所示的6个公开数据集进行训练与测试。网络训练采用L1 loss,评测指标采用峰值信噪比PSNR和结构相似度SSIM。除特殊说明外,输入光场的角度分辨率为5*5,LF-InterNet的通道数设为64,每个场景的评测数值为各视角子图像评测数值的均值,每个数据集的评测数值为该数据集下所有场景评测数值的均值。
表1 该文所采用的公开数据集
实验(Experiments)
(1) 消融学习(Ablation Study):
实验部分首先通过消融学习对网络中不同模块和方案的有效性进行验证:
• 角度信息与空间信息
表2 不同信息融合方式的对比
表2实验表明,空间信息与角度信息对超分辨性能均有增益,且该文所提SFE与AFE能够通过对空间信息与角度信息的解耦进一步的提升超分辨性能。
• 特征交互组的数量分析
表3 不同数量交互组的性能对比
• 角度-空间上采样方式
表4 不同角度-空间上采样方式的性能对比
• 角度分辨率
表5 不同角度分辨率的性能对比
(2)算法对比(Comparison to the State-of-the-arts):
该文在表1所示的6个公开数据集上将LF-InterNet与单图超分辨算法VDSR(CVPR16)、EDSR(CVPRW17)、RCAN(ECCV18)、SAN(CVPR19)、SRGAN(CVPR17)、ESRGAN(ECCVW18)以及光场图像超分辨算法LFBM5D(ICIP18),GB(TIP2018),LFSSR(TIP18),resLF(CVPR19),以及LF-ATO(CVPR20)进行了比较,结果如下。
• 数值结果
表6 不同超分辨方法数值结果比较
• 视觉效果
图4 不同超分辨算法视觉效果比较
• 运行效率
表7 不同超分辨方法运行效率比较
值得一提的是,即使将LF-InterNet的通道数从64减少至32,网络仍然可以达到很好的性能,同时参数量与运算量显著降低。
• 不同视角的超分辨性能
图5 不同视角超分辨性能的可视化对比
• 泛化性能
表8 不同超分辨方法泛化性能比较
该文在表1所示的6个公开数据集之外的UCSD数据集上对不同算法的泛化性能进行测试。实验结果表明,LF-InterNet算法可以较好地泛化到其他数据集的新场景。
• 真实降质下的超分性能
图6 真实降质下不同算法视觉效果比较
该文在STFlytro数据集原始分辨率的光场图像上对各个算法进行测试,视觉效果对比如图6所示。该文所提LF-InterNet算法在真实降质下可以取得较为理想的超分辨效果。
结论(Conclusion)
该文提出了空间-角度信息交互的光场图像超分辨网络(LF-InterNet),首先设计了空间特征提取子与角度特征提取子分别提取光场图像的空间与角度特征,而后构建LF-InterNet对两类特征进行渐进式交互融合。
实验验证了该文算法的有效性。LF-InterNet巧妙利用光场的结构特性,高效融合光场图像的空间信息与角度信息,解决光场图像空间分辨率与角度分辨率之间的矛盾。
论文链接:
https://arxiv.org/pdf/1912.07849.pdf
代码链接:
https://github.com/YingqianWang/LF-InterNet
备注:光场
光学、几何、光场成像交流群
光学成像、几何光学、光场成像等技术,
若已为CV君其他账号好友请直接私信。
我爱计算机视觉
微信号:aicvml
QQ群:805388940
微博知乎:@我爱计算机视觉
投稿:amos@52cv.net
网站:www.52cv.net
在看,让更多人看到
ECCV 2020 | 空间-角度信息交互的光场图像超分辨,性能优异代码已开源相关推荐
- ECCV 2020 | DADA:高效的可微分自动数据增强技术(已开源)
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要5分钟 Follow小博主,每天更新前沿干货 作者:Guosheng Hu 原文链接:https://zhuanlan.zhihu.com/p ...
- 树状图栏目切换_AAAI 2020 | 中山大学HCP实验室:基于树状结构策略的渐进强化学习,代码已开源...
作者 | 吴捷 编辑 | Camel 本文对中山大学.北京航空航天大学.DMAI合作完成,被AAAI2020录用的一篇关于多模态视频理解的论文<Tree-Structured Policy ba ...
- code epi 光场_一种基于EPI的光场图像超分辨的方法与流程
本发明属于计算机数字图像处理技术领域,具体涉及一种基于epi的光场图像超分辨的方法. 背景技术: 在实际生活中,我们身边的物体和场景都是三维的.传统的相机只能采集到空间光线的强度信息,丢失了光线的方向 ...
- McGill微软将卷积操作加入到ViT中,捕获更详细的局部信息!准确率达87.7%!代码已开源!...
关注公众号,发现CV技术之美 本文分享论文CvT : Introducing Convolutions to Vision Transformers,由McGill&微软联合提出<CvT ...
- ECCV 2020 | 对损失信息进行建模,实现信号处理高保真还原
编者按:信号在我们的日常生活中随处可见,例如:声音.图像.视频等.然而在信号的传输或存储过程中,往往会面临信号失真.质量变差等问题.今天这篇文章就来探讨一下信号处理中的信息丢失问题,其中包括微软亚洲研 ...
- 给1万帧视频做目标分割,显存占用还不到1.4GB,代码已开源 | ECCV 2022
明敏 发自 凹非寺 量子位 | 公众号 QbitAI 咦,怎么好好的藤原千花,突然变成了"高温红色版"? 这大紫手,难道是灭霸在世?? 如果你以为上面的这些效果只是对物体后期上色了 ...
- 隔墙有耳:利用电磁信号窃取目标信息项目代码已开源
近日一名计算机技术专家William Entriken发明了一种新的方法,利用该方法可以让计算机发送无线信号. 新思路新方法 William Entriken创建了一个C library(库),即使计 ...
- 刚刚 ECCV 2020放榜!新鲜论文出炉啦!(附部分论文和代码汇总)
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要8分钟 Follow小博主,每天更新前沿干货 ECCV的全称是European Conference on Computer Vision(欧 ...
- ECCV 2020 图像增强论文汇总
本文盘点 ECCV 2020 中底层图像处理方向相关的论文,包含:图像增强.图像恢复.去摩尔纹.去噪和质量评价论文,总计 29 篇,去摩尔纹 2 篇,去噪 10 篇,图像增强 7 篇,图像恢复 9 篇 ...
最新文章
- VHD安装的Win7 X64系统迁移到VMware虚拟机(P2V)...
- Vim取消查找后的高亮提示,:nohl或者:noh什么的都不管用,来一个简单粗暴方法
- It is possible that this issue is resolved by uninstalling an existi
- java获取excle表格对象_Java使用excel工具类导出对象功能示例
- c oracle实体模型,ADO.NET实体数据模型详细介绍
- python o创建文件_Python 文件I/O
- c#winform演练 ktv项目 播放歌曲同时显示歌曲名称与歌手
- Visual Studio 2017配置CTP的API文件
- e记法 python 底数_干货满满,30个Python源代码!
- Django-djangorestframework-异常模块-源码及自定义异常
- 全网首发:怎样制作CDKEY(7)-新思路
- wps表格宏被禁用如何解禁_怎么解除宏禁用_win7系统取消宏已被禁用提示的方法...
- 性能测试工具iPerf和Netperf使用介绍
- 计算机显示用户不存在,电脑出现未知设备提示驱动安装类无效或不存在如何解决...
- 程序员必须知道的硬件常识(一):打印机之彩印缺少某种颜色的解决方法
- xpath定位元素详解
- 各种加速卡 异构计算
- NR Qos 映射DRB
- GBase8d产品admin目录下的文件及文件夹说明
- 2018.11.3 PION模拟赛
热门文章
- java http 下载_Java 通过 HTTP 下载文件
- 数据可视化系列(三):布局格式定方圆
- 计算机视觉基础---图像处理(几何变换)cpp+python
- CSU 1558 和与积
- 网页没有横向滚动条_【第四课】网页里的表单
- 计算机教育类会议论文,中国教育和科研网(CERNET)第七届学术会议征集论文通知...
- 鸿蒙安装elasticsearch7,安装操作系统_岁寒,然后知松柏之后凋也的技术博客_51CTO博客...
- puml绘制思维导图_强推:9款超好用思维导图APP
- api-ms-win-crt-runtime-l1-1-0.dll和api-ms-win-downlevel-shlwapi-l1-1-0.dll免费下载
- java的环境变量设置_Java开发环境不再需要配置classpath