用iPhone给林徽因拍照会是啥样?这款“穿越相机”把老照片换成现代风
晓查 发自 凹非寺
量子位 报道 | 公众号 QbitAI
如何用iPhone给林肯拍大头照?除了肉身穿越回19世纪以外,你还可以试试这款“穿越相机”。
照相技术发明100多年以来,有无数历史名人留下了黑白照片。然而因为时代不同、技术不同以及岁月的侵蚀,这些历史照片逐渐失真。
能不能用现代相机的风格把他们都恢复原貌呢?
现在,来自华盛顿大学、UC伯克利、谷歌的最新论文Time-Travel Rephotography,将这些照片里的历史人物真实地展现在屏幕上。
比如,居里夫人、爱迪生、林徽因……
放大瑕疵的老照片如何恢复
从黑白照片乃至画像恢复人脸并不是什么新鲜事,比如最近恢复兵马俑、古代帝王的视频在社交网络大热。
但是从古老照片恢复人脸要复杂得多。
我们先看一张著名作家卡夫卡的还原照。Zhang等人恢复的照片粗看起来皮肤上有很多瑕疵,而“穿越相机”恢复的照片似乎自带“磨皮”。
那么是前一张恢复照片更加真实吗?
事实并非如此,卡夫卡脸上的瑕疵是当年底片技术导致的。如果只是简单给黑白照片填色,那么就不能充分表征旧胶片的特性和老化过程。
最早诞生玻璃感光底片只对蓝光紫外光敏感,1873年推出的新感光乳胶也只对绿光和蓝光敏感。
由于他们都缺乏对红光的敏感性,造成了人物脸上的雀斑和皱纹被放大,嘴唇变黑。
所以我们今天来看林肯的原始照片,会发现林肯脸上呈现出很多夸张的皱纹:
1907年,对红蓝绿都敏感的全色底片诞生。所以1913年采用新技术拍摄的潘克斯特(时年55岁),脸部皮肤要干净和平整得多:
因此,恢复这些历史照片不仅要考虑照片的模糊、褪色、噪点、低分辨率等问题,还要考虑不同老照片对颜色的感光差异。
而这款“穿越相机”相比之前的方法,在人物的还原上避免了当时技术造成的失真。
从StyleGAN2出发
对于1873年之前的照片,作者使用了蓝光敏感模型,对于1873年至1907年的照片,手动在蓝光敏感和正色底片之间选择,然后在1907年以后拍摄的照片,则在所有模型中手动选择。
作者利用StyleGAN2框架将旧照片映射到现代高分辨率照片的空间中,从而在统一的框架中实现所有这些效果。
作者使用其他彩色样本图像作为参考,它们与黑白图像具有相似的面部特征,但包含高频细节以及自然色和照明。为了进一步减小输入图像和现代人像之间的感知身份差距,他们还设计了特别适合于老照片的重建损失。
模型的结构如下:
1、同级编码器
以低分辨率灰度参考图像I作为输入,生成具有真实颜色和相似面部特征的同级图像Is。
2、同级颜色和细节转换
为了进一步限制颜色和皮肤细节,使其与同级图像匹配,模型引入了颜色转换损失Lcolor强制StyleGAN2的ToRGB层输出与同级图像的相似性。
3、老照片的重建损失
为了进一步减小输入图像和现代人像之间的感知身份差距,作者特别设计了适合于老照片的重建损失Lrecon,它对老照片的缺陷具有鲁棒性。
4、潜在编码优化
将之前的所有损失函数叠加起来,以此进行优化,生成最终图像Î。
据作者介绍,生成这样一张1024×1024的照片,需要在英伟达Titan X上运行10分钟。
与其他几种恢复老照片的方法相比,“穿越相机”的效果显然有着更真实的观感。
不过,“穿越相机”现在还存在着一些缺点。
首先是对在恢复人物发行与配饰方面存在着错误,或者会丢失细节。
另外,生成照片也非常依赖于统计图像的选择,如果选择了和原照片不一样的种族或性别,会造成黑人变白人、女人变男人。
作者简介
这篇文章作者包括华盛顿大学、UC伯克利与谷歌等学校与机构的6名学者。
其中第一作者是毕业上海交大ACM班校友罗璇,她现就读于华盛顿大学。
她今年还有一篇“水淹食堂”的CV论文,因为惊艳的效果引起了不小的轰动。
从交大毕业后,罗璇选择进入华盛顿大学研究“虚拟视觉”,又先后在迪士尼、谷歌等知名企业实习。
作者在项目主页中表示,“穿越相机”的代码将会很快开源。不过根据“水淹食堂”这篇论文开源的节奏,我们恐怕还要等上两三个月了。
论文地址:
https://arxiv.org/abs/2012.12261
项目地址:
https://time-travel-rephotography.github.io/
— 完 —
本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。
AI落地最佳参考!
2020中国人工智能年度评选结果揭晓
12月16日,量子位MEET 2021智能未来大会现场,50大领航企业、10大明星创业公司、30大商业领军人物、10大最佳产品、10大最佳解决方案、5大社会责任榜样、5大最佳技术社区等年度奖项悉数颁出。
点击图片查看完整榜单:
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见~
用iPhone给林徽因拍照会是啥样?这款“穿越相机”把老照片换成现代风相关推荐
- 一代才女林徽因 人生若只如初见
一代才女林徽因 人生若只如初见才女林徽因 人生若只如初见一代 林徽音是幸福的,徐志摩爱了她一生,梁思成相伴了她一生,金岳霖等了她一辈子... 婚前,梁思成问林徽因:"有一句话,我只问这一次, ...
- 人生若只如初见——林徽因
婚前,梁思成问林徽因:"有一句话,我只问这一次,以后都不会再问,为什么是我?" 林徽因答:"答案很长,我得用一生去回答你,准备好听我了吗?" 婚后,梁思成曾诙谐 ...
- 你若安好便是晴天——林徽因传
读<你若安好便是晴天--林徽因传>有感 ISBN: 9787511316585 作者:白落梅 推荐指数: ★★★★★ 阅读时间: 2016-03-15 ----白落梅 你可能在很多地方听说 ...
- 出水芙蓉,风华绝代----记民国才女林徽因
握笔踯躅,总想写下几笔什么,给我对林徽因的仰慕留下一些文字. 最初与她相识,是从高晓松的<如丧>中第二部分的一个剧本<林徽因>,没有隽永的文字,只是大概的介绍了林徽因美丽的一生 ...
- 《你若安好 便是晴天【林徽因传】》读后感
近日,妻听得一同仁说:当下有部好书,写得很是妙的,姐姐不妨买来读读看. 要是用这本书作者的口吻来写读后感,估计就是上面这种调调.我还是用正常状态谈谈读后感吧. ----------------- 由于 ...
- jQuery第5章简答题4(使用css()方法添加图片边框)5(制作林徽因简介页面)
ps:简答题4(使用css()方法添加图片边框) 代码如下: <!DOCTYPE html> <html lang="en"> <head>&l ...
- 《林徽因——不慌不忙的坚强》笔记和感悟
<林徽因--不慌不忙的坚强> 作者简介: 赵一,笔名榼藤子.蓝渊,畅销书作家,图书策划人.她内心柔软而不失坚韧,尝遍百般滋味,却始终跟随心灵的脚步,用优美的文字书写恬淡的心境,让你在温暖的 ...
- 我眼中的林徽因,梁思成
读完<我们是人间四月天>以及<林徽因传>有段时间了,但是现在才闲下来分享一下我个人的感受. 不知道是从什么时候开始,我脑海中有人林徽因这个人了,但是不知道她是谁,她是干嘛的,记 ...
- 读《一个真实的林徽因》有感
读过<一个真实的林徽因>后,小有体会,记下来算是自己的读书心得吧.书上这样写林徽因: 她有说不尽的美丽-- 林徽因的美丽,在她的外貌.两条小辫,颇具神采的清亮的 ...
最新文章
- 解决Chrome浏览器打开虾米音乐网页播放器时的排版问题
- 5 秒创建 k8s 集群[转]
- 京东共聚黑山县三方合力-农民丰收节·万祥军:谋定智慧农业
- Haproxy+多台MySQL从服务器(Slave) 实现负载均衡
- IntelliJ IDEA:使用Google Guava生成equals,hashCode和toString
- 数字图像-6空域滤波
- 本地yum仓库以及网络版yum的私有仓库详细的安装配置
- oracle的undo表空间不足,undo表空间不足,ORA-30036 unable to extend segment by ...
- 弹出模态窗口,关闭并刷新页面
- WiredTiger存储引擎知多少?
- 中国联通董事李福申辞任
- 从C语言到C++语言
- 昨天的性能优化与今天的网站故障
- 操作系统 第二部分 进程管理(一)
- 华为android7.0 root,华为荣耀畅玩6X EMUI5.0 7.0 root教程 荣耀6X获取7.0的root权限
- 2019年网络安全灾难事件,5大勒索病毒软件
- 2021年全球陶瓷基板收入大约409.7百万美元,预计2028年达到657.3百万美元
- 操作系统中文件存储空间的管理
- 【知识分享】HTML 与 CSS
- 西门子博途软件安装及使用
热门文章
- 使用批处理创建文件夹,但前提是它尚不存在
- 滚动后如何检查元素是否可见?
- 设计模式(十二):通过ATM取款机来认识“状态模式”(State Pattern)
- 系统自动登录及盘符无法双击打开问题处理
- PPTPD×××服务器架设
- 《Effective C#》Item 15:利用using和try-finally来释放资源
- docker 安装nginx_Docker18安装Nginx和Apache实验
- 海思芯片固件修改工具_地平线X3开发板开箱、固件刷写、环境配置
- 视图属性+对象动画组件ViewPropertyObjectAnimator
- ​网页图表Highcharts实践教程标之添加题副标题版权信息