超分辨率技术:Adobe Photoshop与深度神经网络对比
与领先的超分辨率深度神经网络模型相比,Adobe的超分辨率有多有效?这篇文章试图评估这一点,Adobe的超级分辨率的结果非常令人印象深刻。
超分辨率技术
超分辨率是通过提高图像的视分辨率来提高图像质量的过程。拥有一种算法,可以有效地想象出在更高分辨率的图像中将会出现的细节。
有很多正面评论描述了Adobe Photoshop的Super Resolution的出色表现,例如“ Made My Jaw Hit the Floor”。 在超分辨率方面进行了多年的研究和试验之后,我想对图像分辨率增强和实际图像质量指标进行更为实证的比较。 在本文中,我将进行比较:
- 双三次插值法
- Adobe相机Raw的超级分辨率
- 信息蒸馏网络超分辨率
双三次插值算法
双三次插值是放大图像的最常用方法,通常会导致放大图像的外观模糊。 几乎每个图像编辑器都支持双三次插值,实际上,大多数Internet浏览器使用双三次插值来显示大于其物理尺寸图像。
Adobe Camera Raw的超级分辨率
Adobe Camera Raw超分辨率,或同等的Photoshop Camera Raw滤镜是最近非常快速和容易使用的超分辨率方法。
Adobe公司表示,这是一种先进的机器学习模型,可以对数百万张照片进行训练,但没有给出更多细节。更多信息来自Adobe的博客。
似乎该算法是一种深度神经网络,Adobe从推理速度、性能和处理非常大分辨率图像的能力上都取得了显著的成果。
信息蒸馏网络(IDN)超分辨率
通过信息蒸馏网络快速准确的单幅图像超分辨率展示了研究人员在深度卷积神经网络结构上训练的模型。
由于信息蒸馏网络(IDN)的超分辨率性能仍处于最先进水平,且具有很好的泛化性,因此我们选择了它进行比较。
研究人员还在相对高分辨率的图像上评估了他们的超分辨率结果,而不是早期基于深度神经网络的超分辨率通常使用的典型的“邮票”大小的图像。
质量(损失)度量
哪一种质量指标是最好的,这是一个有争议的问题,在不同的研究人员之间存在差异。我个人认为SSIM和MAE是最好的质量指标,尽管PSNR是学术研究评价超分辨率模型和算法最常见的指标。
为了比较,也将双三次插值的度量包括在内,在这些分辨率下,双三次放大的结果是一个相对高质量的图像。
峰值信噪比(PSNR)
峰值信噪比(PSNR)对于评估图像增强技术非常常见,例如“超分辨率”,其中信号是地面真实/原始图像,而噪声是模型无法恢复的误差。 尽管PSNR是一个基于基于MSE和对数的度量。作为一个质量指标,值越高质量越高。
结构相似性指数(SSIM)
结构相似性指数(SSIM)是一种感性的度量指标。SSIM基于图像中的可见结构。 使用SSIM进行图像增强评估是因为一些研究人员不再将PSNR视为图像质量下降的可靠指标。 它是一种感知指标,用于量化由处理引起的图像质量下降。 作为质量度量,较高的值表示较高的质量。
均方误差(MSE)
均方误差(MSE)用于比较真值/原始图像像素与预测/生成的图像像素之间的距离。 取每个像素差异的平均值,然后平方。 作为损耗或错误度量标准,较低的值表示较高的质量。
平均绝对误差(MAE)
平均绝对误差(MAE)是真值/原始影像与预测/生成的影像之间的绝对差之和。 作为损耗或错误度量标准,较低的值表示较高的质量。
使用Unsplash图片进行测试
这些是在受欢迎的Unsplash免版权摄影网站上对高质量和高分辨率图像执行的Super Resolution的各种示例集。
在每个示例中,左图是三次三次插值放大,中间图是Adobe的Super Resolution,右图是IDN深度神经网络的Super Resolution。
如上所述,这些指标正在将每种放大/超分辨率方法的输出与原始真实图像进行比较。
有了这些高分辨率图像,双三次插值的指标通常会很高,因为通过有效地单独使用模糊滤镜进行升频可以产生高质量的指标,尤其是对于MSE。
从Adobe的“超分辨率”中可以明显看出大多数图像在分辨率和质量上的视觉改善,尽管在IDN深度神经网络超分辨率中没有引入或夸大的伪影。
左:双三次插值
- PSNR:38.3776
- SSIM:0.9331
- MSE:9.4475
- MAE :0.0122
中: Adobe’s Super Resolution
- PSNR: 31.8368
- SSIM: 0.8905
- MSE: 42.5988
- MAE: 0.0358
右: IDN Super Resolution
- PSNR: 38.9078
- SSIM: 0.9400
- MSE: 8.3619
- MAE: 0.0122
尽管指标并没有表明这一点,但从人类的视觉角度来看,Adobe的超级分辨率的改进优于双三次插值。与IDN模型的超分辨率相比,改进幅度更大。
左
- PSNR:28.0634
- SSIM: 0.8128
- MSE: 101.5632
- MAE:0.0278
中
- PSNR值:26.6016
- SSIM: 0.7796
- MSE: 142.2055
- MAE:0.0384
右
- PSNR:29.0446
- SSIM: 0.8541
- MSE: 81.0245
- MAE:0.0254
这张图片的改进非常类似于Adobe的超级分辨率和IDN模型。IDN模型处理后毛皮和猫的胡须看起来稍微更明确和尖锐
左
- PSNR:31.5566
- SSIM: 0.9564
- MSE: 45.4386
- MAE:0.0091
中
- PSNR:31.1871
- SSIM: 0.9319
- MSE: 49.4732
- MAE:0.0147
右
- PSNR:34.1575
- SSIM: 0.9712
- MSE: 24.9650
- MAE:0.0077
Adobe的超级分辨率提高了分辨率,恢复了图像中的一些细节和特征,尽管夸大了图像中的许多工件,IDN模型再次得到了一个分辨率大大提高的图像。
左
- PSNR:28.5939
- SSIM: 0.7417
- MSE: 89.8862
- MAE:0.0559
中
- PSNR:26.5685
- SSIM: 0.6350
- MSE: 143.2957
- MAE:0.0747
右
- PSNR:29.4697
- SSIM: 0.8064
- MSE: 73.4695
- MAE:0.0513
作者拍摄照片测试
这是厨房里的一张非典型照片,用来测试超分辨率的能力。
从度量的角度来看,Adobe的超级分辨率比双三次插值要差得多,在视觉上它确实比双三次插值好,尽管只是稍微好一点。
左
- PSNR: 37.2630
- SSIM: 0.9419
- MSE: 12.2117
- MAE: 0.0101
中
- PSNR: 34.1691
- SSIM: 0.8990
- MSE: 24.8983
- MAE: 0.0167
右
- PSNR: 39.3837
- SSIM: 0.9528
- MSE: 7.4939
- MAE: 0.0089
作为额外的比较,这张位于英国伯明翰Oozells square的樱花树的超分辨率照片是对源图像进行超分辨率处理的一个例子,而不是源图像的低分辨率缩小版。这种比较是为了避免任何考虑而使用用于创建较低分辨率输入的双三次缩减。
在这里,原始输入图像的分辨率比原始图像高,因此没有真值来比较指标。从人类视觉的角度来看,与Adobe的超级分辨率相比,IDN模型在分辨率上的增强显得更大。例如,砖墙、树枝和窗户覆层都明显地更尖锐了。
注意Adobe的超分辨率是在原始相机图像上执行的,这给了Adobe的算法一个潜在的优势。
这个例子之所以被包括进来,是因为有研究人员认为将图像降尺度作为比较使用并不是一个真实世界的测试,双三次降尺度并不等同于最初以较低分辨率捕获的图像。例如,来自微软研究中心的ImagePairs:通过分束器相机平台纸获得的真实超分辨率数据集,其中一个数据集使用一个相机平台,同时使用一个低分辨率和更高分辨率的相机传感器,从而得到一个真正的低分辨率和高分辨率的图像对。
总结
Adobe在增强图像分辨率方面的超高分辨率性能是一个内置在图像处理和编辑软件套件中的功能。
虽然与IDN模型有显著的差异,但随着分辨率的提高,一些图像的分辨率提高接近于最先进的深度神经网络。改进过程中的变化表明,该算法的泛化性可能不太好。
从度量的角度来看,在本文的许多测试中,Adobe的超级分辨率是超分辨率中最低的。然而,从人类的视觉角度来看,它的改进远远优于双三次插值。很有可能它的算法是用一个更感性的度量来训练的。正如我经常提到的,什么更重要:参数还是人们对质量的感知?
Adobe的超级分辨率对图像中的噪音和伪影的容忍度要低得多,通常在低质量的图像上表现得更差。
Adobe的超级分辨率只能实现图像分辨率的2倍增强,而许多深度神经网络模型已经被训练可以实现图像分辨率的4倍增强。
对DIV2K验证数据集也进行了评估,该数据集为超分辨率竞赛和研究进行了整理。由于DIV2K数据集只允许学术使用,所以不能在这里使用。Adobe的超级分辨率在DIV2K验证数据集上表现得非常好。与这里的结果相比,原因可能是Adobe的超级分辨率训练过程包含了这些图像,这就是我们经常所说的数据泄露了。
高分辨率
Adobe的超级分辨率突出的特征是惊人的图像大小,它可以执行超级分辨率增强,一个令人难以置信的11,205×8,404像素图像升级到22,409×16,807像素。大多数深度学习模型在较小的分辨率下都会导致内存不足的问题。
如何使用Adobe的超级分辨率
使用Adobe的超级分辨率从Adobe Bridge中选择一张图像,并在Camera Raw中打开它,然后在上下文菜单中选择“增强”,最后选择你的图像。
本文作者:Christopher Thomas
超分辨率技术:Adobe Photoshop与深度神经网络对比相关推荐
- 【超分辨率实验】Matlab-使用深度学习的单图像超分辨率(Single Image Super-Resolution Using Deep Learning)
[超分辨率实验]Matlab-使用深度学习的单图像超分辨率(Single Image Super-Resolution Using Deep Learning) 此示例演示如何训练非常深的超分辨率 V ...
- 一键提升多媒体内容质量:漫谈图像超分辨率技术
编者按:作为将模糊的图像变清晰的神奇技术,图像超分辨率技术在游戏.电影.相机.医疗影像等多个领域都有广泛的应用.在这篇文章中,微软亚洲研究院的研究员们为你总结了图像超分辨率问题中的主流方法.现存问题与 ...
- 超分辨率分析(二)--深度学习方案综述
转自:https://www.jiqizhixin.com/articles/19022403 图像超分辨率(SR)是指从低分辨率(LR)图像中恢复高分辨率(HR)图像的过程,是计算机视觉和图像处理中 ...
- 漫谈图像超分辨率技术
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 作为将模糊的图像变清晰的神奇技术,图像超分辨率技术在游戏.电影.相 ...
- 微信扫码背后的图像超分辨率技术
微信扫码引擎功能强大,但同时也面临着越来越多的挑战.在长按识别场景中,许多码图像经过截图.朋友圈和聊天多次压缩转发,质量严重受损,分辨率下降,边缘变得模糊不清,这给识别带来了很大的困难.具体来说,这主 ...
- 图像几何变换时为何要用到插值算法?_图像超分辨率技术-简介
这篇是我之前的课程报告,格式传上来乱了,有时间我会调整,我先把pdf版本放在最前面,建议直接看pdf. 一. 定义与分类 超分辨率复原技术的基本思想是釆用信号处理的方法,在改善图像质量的同时,重建成像 ...
- 2020 超分辨率技术发展趋势
图像超分辨重建是一种提升图像分辨率的图像处理技术,而超分辨问题是一个难解的欠定问题,通常情况下,低分辨率图像被视为高分辨率图像经过模糊.下采样和噪声干扰后所得到的退化图像.从单一低分辨率图像恢复重构出 ...
- 超分辨率技术在实时音视频领域的研究与实践
前言 近日,计算机视觉和模式识别领域顶级会议 CVPR 在美国新奥尔良市举办,同时计算机图像恢复领域最具影响力的全球性顶级赛事 NTIRE 在会上颁奖,网易云信音视频实验室取得 NTIRE 高效率超分 ...
- Google 超分辨率技术 RAISR:模糊图片瞬间变清晰,运算速度快十倍
Google 超分辨率技术 RAISR:模糊图片瞬间变清晰,运算速度快十倍 Everyday the web is used to share and store millions of pictur ...
- Google 超分辨率技术 RAISR
Google 超分辨率技术 RAISR:模糊图片瞬间变清晰,运算速度快十倍 Everyday the web is used to share and store millions of pictur ...
最新文章
- linux更改文件夹权限_Linux 一些重点知识,整理的很全面,有必要收藏
- MYSQL 部分事务
- 【HEVC】1、HM-16.7编码器的基本结构
- python-dotenv的使用
- VMware vCenter Converter Standlone迁移手册
- MySQL Merge引擎实现分表
- UML类图详解_泛化关系
- 串操作指令及其应用程序的设计与调试运行——汇编实验四 用8086汇编完成下题 编制一程序,从键盘输入两个长度不同的字符串,设字符串长度小于25个字符。要求在屏幕上以右边对齐的形式显示出
- 下拉框_教你封装 Element Tree 树状下拉框
- python爬虫之bs4库_三分钟搞定bs4库的解析器
- 面向失败的设计之播控系统!
- 容器使用的12条军规——《Effective+STL中文版》试读
- 刘永行:领导者的得与失
- 二项分布的极大似然估计
- 港科百创 |【香港科大科创产业联盟】正式成立,创始理事相聚第四期科创午餐会...
- 即时聊天工具混战中国
- 基于机智云的智能花盆1.0
- 技术人员升级打怪的方法论
- HTML5中litle标签的作用,Litle是什么意思
- grant User 使用
热门文章
- 《我与长安城的朝花夕拾》
- OAS正式开放注册,元宇宙链游掘金时代震撼来袭
- inline-block元素高度为0,父级仍被撑起,问题元凶—strut
- usb扩展坞同时接键盘鼠标_雷柏XD200 USB-C 10口扩展坞分线转换器详解
- pr如何处理音效_PR音乐音效处理教程 Premiere Pro CC Essential Sound
- 追加安装sticky模块
- 京东、闲鱼、转转的二手战场
- 嘉兴 机器人仓库 菜鸟_菜鸟在嘉兴推出全新智能仓 宣布将在双11启用超级机器人仓群...
- 蓝凌工作ekp开发使用一些js编写开发记录
- 能量收集技术能为利用环境能源的应用带来巨大优势