用技术致敬每一位妈妈,B站up主用AI还原李焕英老照片动态影像
公众号 “菜鸟学Python”
设为 “星标”,一起学Python!
转自:机器之心
「从我有记忆开始,妈妈就是中年妇女的模样,所以我会忘记,她也曾是花季少女。」
春节档上映的《你好,李焕英》让不少人在影院哭得稀里哗啦,它戳中了每个人心里最柔软的部分。有人看完电影之后会给妈妈打个电话,有人会拿出妈妈年轻时的照片,感叹一下爸爸的基因为什么要那么强大。
B 站知名 up 主大谷也是《你好,李焕英》的影迷之一,不过他做了一点不一样的事情:尝试用一系列 AI 技术修复了李焕英年轻时的黑白照片,不仅给照片上了色、提高了分辨率,还让照片中的人物动了起来。
原始黑白照片。
修复后的动态彩色照片。
整个修复的流程并不复杂,涉及 AI 色彩还原、AI 清晰度增强、脸部精修、手绘微调等过程:
最终的修复效果如下:
大谷表示,他是偶然间看到了这张老照片,很有感触,于是试着用 AI 脑补还原了一下拍摄前的动态影像。不过,由于还原场景动态与上色是基于 AI 技术生成,具有一定的想象元素,因此不等于准确还原。
为了帮助大家掌握这项技能,大谷还公布了他用到的两个开源项目:飞桨 PaddleGAN 和 DFDNet。
飞桨 PaddleGAN
GAN 的全称是生成对抗网络,被「卷积网络之父」Yann LeCun(杨立昆)誉为「过去十年计算机科学领域最有趣的想法之一」,是近年来火遍全网、AI 研究者最为关注的深度学习算法方向之一。
GAN 在诸多领域都有着成功的应用,如图像生成 / 修复、超分辨率、图像噪声消除、换装 / 妆、图像风格迁移、文字 / 声音生成等,覆盖互联网、娱乐、游戏等各个行业。
为了给开发者提供经典及前沿的生成对抗网络高性能实现,并支撑开发者快速构建、训练及部署生成对抗网络,百度飞桨打造了一个图像生成模型库——PaddleGAN,覆盖 Pixel2Pixel、CycleGAN、StyleGAN2、PSGAN 等经典 GAN 模型,支持视频插帧、超分辨率、老照片 / 视频上色、视频动作生成等应用。
除了上面展示的视频修复,PaddleGAN 还能提供各类不同的图形影像生成、处理能力。人脸属性编辑能力能够在人脸识别和人脸生成基础上,操纵面部图像的单个或多个属性,实现换妆、变老、变年轻、变换性别、发色等,使得一键换脸成为可能 *;* 动作迁移能够实现肢体动作变换、人脸表情动作迁移等。
比如这样:
让苏大强表达心中之痛,唱起 unravel(视频链接:https://www.bilibili.com/video/BV1Yy4y1r7DC)。
这样:
还有这样:
PaddleGAN 项目链接:https://github.com/PaddlePaddle/PaddleGAN/blob/develop/README_cn.md
DFDNet
近年来,基于参考的人脸修复方法已经受到了很多关注,但这些方法大多需要来自相同身份的高质量的参考图像,因此只适用于有限的场景。为了解决这一问题,来自哈尔滨工业大学、香港大学等机构的研究者在《Blind Face Restoration via Deep Multi-scale Component Dictionaries》一文中提出了一种名为深度人脸字典网络(deep face dictionary network,DFDNet)的方法来指导退化观测(dgraded observation 的修复过程。
首先,作者使用 K-means,利用高质量图像为感知显著的人脸部位(如左 / 右眼、鼻子和嘴)生成深度字典。接下来,利用退化输入(degraded input),研究者从相应的字典中匹配和选择最相似的部位特征,并通过提出的字典特征迁移块(DFT)将高质量的细节迁移到输入上。最后,利用多尺度字典逐步实现从粗粒度到细粒度的修复。
实验结果表明,作者提出的方法在定性和定量评估中都能实现合理的性能。更加重要的是,该方法可以在不需要 identity-belonging 参考的情况下,利用真实的退化图像(degraded image)生成逼真、有前景的结果。以下是一些人脸修复效果展示:
该网络的基本结构如下:
网络主要包含两个部分:a. 从大量包含各种姿态和表情的高质量图像中离线生成多尺度组件字典。这部分使用 K-means 算法为每个部位(即左 / 右眼、鼻子和嘴)在不同尺度上生成 K 个簇;b. 修复过程和字典特征迁移(DFT)块,用于以渐进的方式提供参考细节。
论文链接:https://arxiv.org/pdf/2008.00418.pdf
项目链接:https://github.com/csxmli2016/DFDNet
参考链接:
https://mp.weixin.qq.com/s/xSic1Tk93dk_N1qMylymtg
https://www.bilibili.com/video/BV1wh411k7YN?p=1&share_medium=iphone&share_plat=ios&share_source=WEIXIN_MONMENT&share_tag=s_i×tamp=1613972331&unique_k=KQGwoS
年度最火的文案
1).卧槽!Pdf转Word用Python轻松搞定!
2).学Python真香!我用100行代码做了个网站,帮人PS旅行图片,赚个鸡腿吃
3).首播过亿,火爆全网,我分析了《乘风破浪的姐姐》,发现了这些秘密
4).80行代码!用Python做一个哆来A梦分身
5).你必须掌握的20个python代码,短小精悍,用处无穷
6).30个Python奇淫技巧集
7).我总结的80页《菜鸟学Python精选干货.pdf》,都是干货
8).再见Python!我要学Go了!2500字深度分析!
9).发现一个舔狗福利!这个Python爬虫神器太爽了,自动下载妹子图片
用技术致敬每一位妈妈,B站up主用AI还原李焕英老照片动态影像相关推荐
- 动态“神还原”李焕英旧照,用技术致敬每一位妈妈!
来自|机器之心 编辑|张倩 「从我有记忆开始,妈妈就是中年妇女的模样,所以我会忘记,她也曾是花季少女.」 春节档上映的<你好,李焕英>让不少人在影院哭得稀里哗啦,它戳中了每个人心里最柔 ...
- 简单好听的id_一位妈妈给孩子的10大家规,简单实用,值得所有父母借鉴!
掘金首页动态话题小册活动搜索掘金搜索写文章登录注册_Hahn_2019年01月08日阅读 566<蜘蛛侠:平行宇宙>的视觉解析与滤镜实现早在四年前,索尼想要制作全新风格的"蜘蛛侠 ...
- 十年饮冰,难凉热血--毕业四年多的经历,致敬每一位IT男
原文地址http://bbs.51cto.com/thread-1173968-1.html 好文章留着激励孩子,O(∩_∩)O哈哈~ 我和众多坛友一样,都是从还没毕业就开始不停的担心未来的职业规划, ...
- 这家医院用这种方式致敬100余位逆行者,感谢他们对湖北的付出
这家医院用这种方式致敬100余位逆行者,感谢他们对湖北的付出@TOC (通讯员 裴霓裳)"戴防护镜把眼镜的腿压坏了,加上汗水的浸泡镜腿都被腐蚀了","颞侧皮肤也被损坏的镜 ...
- 看尽SLAM、ReID和文字识别等技术进展!15位视觉技术大咖齐聚一堂
当前,我国已成长为全球第二大AI大国,人工智能产业进入高速发展的黄金时期.重视青年开发者的工程化能力培养,创新人才引进的策略和渠道,为人工智能的纵深发展储备人才资源,是当下人工智能行业最迫切的任务之一 ...
- 佳能102种相片风格_一位妈妈用蔬菜水果等,为女儿拍了一组相片,没想到在INS火了...
正值夏天,天气炎热 吃个西瓜解解暑 这是咱们日常生活中场景 来自土耳其的这位妈妈 有一天,她切了一片西瓜 拿在手上叫女儿过来吃 听到妈妈的呼叫,远远地跑过来 这时她手中拿着的西瓜,就像是女儿的裙子一样 ...
- launch计算机上哪个初中,这位妈妈10年夏校经验告诉你:小学初中高中都该如何选择夏校?...
原标题:这位妈妈10年夏校经验告诉你:小学初中高中都该如何选择夏校? 作者/点路创始人江婕 点路是一家在线搜索夏令营夏校的平台,目前覆盖了八个国家的将近六百个项目 编辑/Summer 孩子的夏天,只有 ...
- 深度技术ghost win8 32位/64位装机旗舰版V2014
深度技术ghost win8 32位装机旗舰版V2014下载地址:http://pan.baidu.com/s/1kTLqJLt 深度技术ghost win8 64位装机旗舰版V2014下载地址:ht ...
- 易语言对x64进程卸载DLL技术(可卸载64位进程里DLL)
易语言对x64进程卸载DLL技术(可卸载64位进程里DLL) 代码非常简单: 以上是注入和卸载的代码 下面示范64位游戏魔兽世界: 详细视频教程:链接: https://pan.baidu.com/s ...
最新文章
- 精益数据分析(学习笔记)——长期更新
- CSS综合征病例,医药-churg-strauss 综合征 (css) 变应性嗜酸性肉芽肿.ppt
- 2d与2.5d坐标转换_Three.js 地理坐标和三维空间坐标的转换
- 美国次级贷款来龙去脉
- VC中的#pragma指令的用法
- java中文件,java中文件操作大全
- 计算机作文1000字,丢失的计算机作文1000字
- 从文件中读取一个long型数_Python 从文件中读取数据
- python网格搜索优化参数_python – 是否有可能通过网格搜索调整参数scikit-learn中的自定义内核?...
- iOS app发布ERROR ITMS-90096
- 定制约玩软件、开发陪玩系统,需要多少钱?
- 全屏在线秒表_在线秒表
- 【数学建模】数学建模(一)——数学模型概述
- 什么是端口?要如何修改端口?
- MATLAB随机森林计算重要性
- SpringBoot+Shiro+JWT+Mybatis-Plus搭建admin-shiro管理系统
- 激光类雷达障碍物检测与追踪——DON点云滤波
- PS高效处理图片总结
- 【图像处理】小波编码图像中伪影和纹理的检测附Matlab代码和报告
- JavaScript - ES6 - latest - 学习/实践