有码变高清!一秒还原马赛克
文末有干货 “Python高校”,马上关注
真爱,请置顶或星标
作者 | 贝爽
转自:雷锋网(leiphone-sz)
论文地址:https://arxiv.org/pdf/2003.03808.pdf
像素不够,后期修图来凑?
在知乎搜索低像素修图,结果求助帖多到刷不完,而且从PS技巧、插件神器到各类修图App教程多到眼花缭乱,重点是效果不知道会怎么样。
不过,近日杜克大学(Duke University)研究团队开发了一款AI修图黑科技PULSE,可以解决所有低像素烦恼。据说它能够将图像原始分辨率放大64倍,任何渣画质都可以秒变高清、逼真图像,甚至被打了马赛克的人脸图像,毛孔、皱纹,头发也都能被清晰还原。
1
马赛克秒变高清人像
PULSE是一种新型超分辨率算法,它通过潜在空间探索对照片采样,可以将16x16像素的低分辨率(Low Resolution,简称LR)放大到1024x1024像素的高分辨率(High Resolution,简称HR),在几秒内增加了64倍,而传统方法最多只能放大8倍。
先来看一组示例,修图界最难处理的LR大头照,经过PULSE也可以秒变高清、细腻的图像。
更重要的是,PULSE可以定位面部的关键特征,以更高分辨率生成一组类似的细节。图中尽管头像被打上了马赛克,PULSE也可以自行“想象”出诸如眉毛、睫毛、头发、脸型等面部细节,形成高清、逼真人像。
不过,过度虚化产生的人像只是一种虚拟的新面孔,事实上它并不存在。正因如此,这项技术不能用于身份识别。比如监控摄像头拍摄的失焦、无法辨别的图片,不能通过PULSE还原成真实存在的人像。
一位杜克大学研究小组的计算机科学家Cynthia Rudin说“此前从来没有如此超高分辨率的图像被制作出来,它能够产生不存在的新面孔,而且看起来很真实”。
同时,她补充到,这项研究所采取的技术可以广泛应用于医学、显微镜、天文学,以及卫星图像等领域。另外,该研究团队已将论文已经发表至预印论文库arVix,同时被IEEE国际计算机视觉与模式识别会议(CVPR 2020)收录。
2
“缩减损失”,超越常规修图法
对于一个LR图像,传统将HR分辨率部分匹配给LR图像而获取超高分辨率(SR)的方式,往往会导致HR图像出现感光度差、不平滑,画面失真的情况。
在本次研究中,杜克大学研究团队开拓了一种新思路,提出新型超分辨率算法PULSE,它不是遍历LR图像来慢慢添加细节,而是发现与HR相对应的LR,通过“缩减损失”的方式得到SR图像。
原始LR(第一行),PULSE输出HR(中间行),HR对应的LR(最后一行)
PULSE使用了生成对抗网络(GAN),它是一种训练模型,顾名思义,通过对抗博弈的方式来进行目标训练。其主要结构包括一个生成器(Generator)和一个鉴别器(Discriminator),在同一组照片训练中,一个负责训练接收到的图像并输出,一个负责接收该输出,并检验其是否足够逼真。
以下是与原图对比后的试验结果:
图中,第一行为原图,第二行为通过“缩减损失”得到的HR所对应的LR,而第三行经过PULSE得到的HR,可以看出,尽管与原图还存在细微的差别,但还原度已经非常高。
论文中表明,为了检验PULSE在SR方面的优势,杜克大学研究团队采用4种不同的图像缩放方法与其进行了比较研究。本次研究利用CelebA HQ数据集中的1440张图像,以x8,x64的比例因子,对LR面部图像,尤其是眼部、唇部以及头发等细节之处进行了试验。
PULSE呈现出了明显的优势,尤其是在X64分辨率下,模糊头像被完全还原,尤其是在眼唇等细节之处,其他方法几乎达不到这样的效果。
另外,针对测试结果,研究人员采用感知超分辨率常见的MOS测试方式,邀请五位评分者对图像结果进行了1-5的打分,结果显示,HR源高清图像分辨率得分为3.74,而PULSE达到了3.60,仅差0.14,可以说几乎达到了真实的高质量图像的水平。
不过,研究人员也承认PULSE还不是很完美。它产生的高分辨率图像与专业原图像相比还有一定的差别。但随着技术和工具的改进,这项技术会被一点点的完善。
现在研究团队已经将PULSE发布到Github开源平台,而且收割了569科颗星星。有修图烦恼的朋友可以安装体验一下~(Github地址:https://github.com/adamian98/pulse)
引用链接:
http://pulse.cs.duke.edu/
https://www.gizmodo.co.uk/2020/06/researchers-have-created-a-tool-that-can-perfectly-depixelate-faces/
https://www.rt.com/news/492091-ai-tech-undo-pixelation/
可以扫码加我微信,大量Python,和AI相关资源,欢迎加我交流
欢迎点击「在看」支持
有码变高清!一秒还原马赛克相关推荐
- 有码变高清!AI一秒还原马赛克,杜克大学出品
作者 | 贝爽 转自:雷锋网(leiphone-sz) 论文地址:https://arxiv.org/pdf/2003.03808.pdf 像素不够,后期修图来凑? 在知乎搜索低像素修图,结果求助帖多 ...
- 太可怕啦!AI 一秒还原马赛克,有码变高清
作者 | 贝爽 转自:雷锋网(leiphone-sz) 论文地址:https://arxiv.org/pdf/2003.03808.pdf 像素不够,后期修图来凑? 在知乎搜索低像素修图,结果求助帖多 ...
- 太可怕,有码变高清!AI 一秒还原马赛克?
作者 | 贝爽 转自:雷锋网(leiphone-sz) 论文地址:https://arxiv.org/pdf/2003.03808.pdf 像素不够,后期修图来凑? 在知乎搜索低像素修图,结果求助帖多 ...
- 有码变高清!AI一秒还原马赛克
像素不够,后期修图来凑? 在知乎搜索低像素修图,结果求助帖多到刷不完,而且从PS技巧.插件神器到各类修图App教程多到眼花缭乱,重点是效果不知道会怎么样. 不过,近日杜克大学(Duke Univers ...
- python自动修图_有码变高清!AI修图PULSE一秒还原马赛克
[实例简介]PULSE是一种新型超分辨率算法,它通过潜在空间探索对照片采样,可以将16x16像素的低分辨率(Low Resolution,简称LR)放大到1024x1024像素的高分辨率(High R ...
- 杜克大学提出 AI 算法,拯救渣画质马赛克秒变高清
来源:HyperAI超神经 本文约1900字,建议阅读7+分钟 高清无码不是梦. 场景描述:将"马赛克"像素级别的大头照转换成高清照片,是一种怎样的体验?杜克大学提出的 AI 算法 ...
- 经典动漫秒变高清,需要怎么做?
你的记忆中是否也有一部经典的动漫.动画片.那是我们童年的美好记忆,但是我们现在如果再去重温时往往会因为太模糊而看不下去,那么我们有什么好的办法可以修复动漫的清晰度呢?一起来看看吧! 不管是修复动画片, ...
- 手机修图软件测试,照片秒变高清修图软件APP
照片秒变高清修图软件APP是一个非常好用的图片处理软件,能够轻松的解决照片分辨率低而模糊的问题,通过这个软件能够让你的照片秒变清晰,这个软件采用神经网络对图片进行放大降噪,效果非常明显,操作起来也非常 ...
- android tv intel x86,Android TV x86 发布:吃灰老电脑秒变高清盒子
新酷产品第一时间免费试玩,还有众多优质达人分享独到生活经验,快来新浪众测,体验各领域最前沿.最有趣.最好玩的产品吧~!下载客户端还能获得专享福利哦! 原标题:Android TV x86 发布:吃灰老 ...
- 拯救渣画质,马赛克图秒变高清,杜克大学提出AI新算法
作者 | 神经小兮 来源 | HyperAI超神经(ID: HyperAI) 导语:将「马赛克」像素级别的大头照转换成高清照片,是一种怎样的体验?杜克大学提出的 AI 算法,不仅可以「去掉马赛克」,还 ...
最新文章
- python 保留两位小数 实现方法
- python编程从入门到精通pdf-Python编程从入门到精通.pdf
- 把有限的精力放在最有意义的事上
- sql查table,VIEW,sp, function 及 trigger 物件
- AsyncTask中各个函数详细的调用过程,初步实现异步任务
- DL之AlexNet:AlexNet算法的架构详解、损失函数、网络训练和学习之详细攻略
- Java接口回调机制
- LSGO软件技术团队2015~2016学年第十六周(1214~1220)总结
- LINUX警告:检测到时钟错误。您的创建可能是不完整的。-转
- python的ols_Python Statsmodels 统计包之 OLS 回归
- 摄动法在计算机中的应用,H理论在计算机控制系统摄动模型中的应用研究
- ''' 疯狂填词 创建一个疯狂填词(Mad Libs)程序,它将读入文本文件
- python3 接入IOS推送apn
- 创建简单的Nape刚体
- 图像分类数据集 (FASHION-MNIST)
- Kubectl(完整)基本操作命令
- 适应iphone5 屏幕拉长的办法
- 数据库(分库分表)中间件对比(转)
- Web大学生网页作业成品 bootstrap响应式网站开发 基于HTML+CSS+JS+Bootstrap制作火锅美食网站(4页)
- 从零开发商城系统 系统功能模块整理