【实战】（香港城市大学，微软亚洲研究院）让老照片重现光彩（一）：Bringing Old Photos Back to Life

香港城市大学和微软亚洲研究院的“让老照片重现光彩”（Bringing Old Photos Back to Life）项目侧重于对老照片进行划痕修复和人脸效果增强，在老照片处理方面取得了很好的成绩，在这篇文章里我们介绍一下这个项目。

论文地址：https://arxiv.org/abs/2004.09484

Github项目：https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life

（一）架构简介

作者开创性地使用了两个变分自动编码器（VAEs），分别将旧照片、干净照片映射到两个不同的潜码空间。这里，r 是真实的旧照片；(x, y) 是通过数据合成产生的配对数据集，y 是干净照片集，x 是由 y 退化而得到的破损照片集。

将数据集 { r }、{ x }、{ y } 分别映射到潜码空间 Zr 、Zx、Zy 。{ r }、{ x } 都是破损照片集，可以强化某种约束使 Zr ≈ Zx （通过联合训练的对抗判别器 adversarial discriminator 来闭合其域间隔）。利用合成的数据对 (x, y) ，将 Zx 映射（原文称之为：翻译）到 Zy，由于这个映射是在较小的低维度的潜码空间完成的，因此训练（原文称之为：学习）起来会比较容易。

为了达成较好的修复效果，特别针对划痕、斑点等照片退化问题引入了 mask input，并且在 Zx --> Zy 的映射中加入了一个全局分支路径（由一个 partial nonlocal block 和几个 residual blocks 组成）和一个局部分支路径（local branch）。其中，partial nonlocal block 针对结构化缺陷，如划痕和灰尘斑点； local branch 针对非结构化缺陷，如噪声和模糊。两个分支在潜码空间融合，从而提高了对带有多个缺陷的旧照片的恢复能力。

论文写得很精彩，建议同学们读一读英文原文，会更有收获。

（二）上手试用

（2.1）必备环境（Windows 10，NVIDIA Geforce RTX 2080Ti）

python 3.7.4
torch 1.5.0
torchvision 0.6.0

（2.2）从 Github 下载源代码，解压缩，进入工作目录，安装其他软件环境：

https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life

pip install -r requirements.txt

（2.3）下载组件

（2.3.1）https://github.com/vacancy/Synchronized-BatchNorm-PyTorch

将上面项目的代码下载下来，解压缩，将 .\sync_batchnorm 拷贝到：.\Global\detection_models 和 .\Face_Enhancement\models\networks 两个目录下。

（2.3.2）http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2

将下载的压缩包解压缩，拷贝到：.\Face_Detection 下。

该文件也可到百度网盘下载：https://pan.baidu.com/s/1E0J0gOlTcrjWkA5G1qddPw 提取码:qm3h

（2.4）下载预训练模型

https://portland-my.sharepoint.com/personal/ziyuwan2-c_ad_cityu_edu_hk/_layouts/15/onedrive.aspx?id=%2Fpersonal%2Fziyuwan2%2Dc%5Fad%5Fcityu%5Fedu%5Fhk%2FDocuments%2FOld%5FPhoto%5FPretrain%5FModel&originalPath=aHR0cHM6Ly9wb3J0bGFuZC1teS5zaGFyZXBvaW50LmNvbS86ZjovZy9wZXJzb25hbC96aXl1d2FuMi1jX2FkX2NpdHl1X2VkdV9oay9FaDFndGpmTGlXdExpQkRHWmhhVHZva0J2RFVkdkE1ajQ5Zl9OcExfUHA5RlBBP3J0aW1lPXowdF9VOTFlMkVn

将 .\Face_Enhancement\checkpoints.zip （327MB）解压缩，保存为：.\Face_Enhancement\checkpoints 目录及相关文件

将 .\Global\checkpoints.zip （1.62GB）解压缩，保存为：.\Global\checkpoints 目录及相关文件

也可以到百度网盘下载：https://pan.baidu.com/s/1T2tEqUsi4QRwBSbPNNLWPQ 提取码：fdgx

（2.5）修改几个文件

run.py，加入一行代码：

os.environ["KMP_DUPLICATE_LIB_OK"] = "TRUE"

.\global\detection_models\networks.py，修改：

from .sync_batchnorm.replicate import DataParallelWithCallback
from .antialiasing import Downsample

.\Face_Enhancement\models\networks\normalization.py，修改：

from .sync_batchnorm import SynchronizedBatchNorm2d

（2.6）将待修复的带划痕/有破损的老照片放到：.\test_images\old_w_scratch 目录下，将不带划痕需要改进色彩或清晰度的老照片放到：.\test_images\old 目录下，运行以下命令行（命令行中需要使用绝对目录！）：

修复带划痕/有破损的老照片（使用 RTX 2080Ti 最大可修复 512x512 的照片）：

python run.py --input_folder \ai\Bringing-Old-Photos-Back-to-Life-master\test_images\old_w_scratch --output_folder \ai\Bringing-Old-Photos-Back-to-Life-master\output_images --GPU 0  --with_scratch

改进老照片的色彩或清晰度（使用 RTX 2080Ti 最大可改善 1024x1024 的照片）：

python run.py --input_folder \ai\Bringing-Old-Photos-Back-to-Life-master\test_images\old --output_folder \ai\Bringing-Old-Photos-Back-to-Life-master\output_images --GPU 0

（2.7）为了避免成果照片混淆，在完成上一次修复/改进操作后，将成果照片（放在：.\output_images\final_output 目录下）移走后请将 .\output_images 下的子目录清空，然后再进行下一次操作。

（三）使用效果

（3.1）老照片修复

论文给出的例子：

实测效果

修复前：修复后：

（3.2）改进照片表现力（色彩或清晰度）

论文给出的例子：

实测效果

改进前：改进后：

总之，这个项目做得很棒，实用效果也不错，值得推荐！

（完）

【实战】（香港城市大学，微软亚洲研究院）让老照片重现光彩（一）：Bringing Old Photos Back to Life相关推荐

让老照片重现光彩：Bringing Old Photos Back to Life（实战）
Bringing Old Photos Back to Life 香港城市大学和微软亚洲研究院的"让老照片重现光彩"(Bringing Old Photos Back to Lif ...
现代软件工程教学计划中国科学技术大学-微软亚洲研究院联合培养班
屈指一算, 我已经讲了3年 <现代软件工程>, 教了 4 个班. 2007 - 2009 清华大学理论计算机科学研究中心 (姚班) 2009 ...
微软亚洲研究院副院长周明离职，将加入创新工场
据悉,微软亚洲研究院副院长周明于近日宣布从微软离职,并将加入李开复创办的创新工场. 在朋友圈里,周明发表了以下感言: 周明是微软亚洲研究院副院长.国际计算语言学协会(ACL)主席.中国计算机学会理事. ...
突发！微软亚洲研究院副院长周明离职，将加入创新工场
点击上方"CVer",选择加"星标"置顶重磅干货,第一时间送达本文转载自:AI科技评论作者 | 青暮.陈大鑫 AI科技评论获悉,微软亚洲研究院副院长周 ...
中国AI半壁江山：微软亚洲研究院20年20大创业公司
转自:量子位 (公众号 ID: QbitAI)授权转载,转载请联系出处. △ 当年.图片来自@MSFTResearch 微软亚洲研究院(MSRA)20周岁了. 这20年里,发表论文5000多篇,和30 ...
打造AI产教融合共赢生态，微软亚洲研究院扩大开放了这些资源
2019年5月10日,由教育部国际合作与交流司.科学技术司指导,教育部中外人文交流中心主办, 微软亚洲研究院承办,信息技术新工科产学研联盟特别协办的"中国高校人工智能人才国际培养计划&quo ...
2015年微软亚洲研究院的惊艳项目，人工智能抢眼
2015年微软亚洲研究院的惊艳项目,人工智能抢眼发表于2015-12-01 14:20| 949次阅读| 来源CSDN| 6 条评论| 作者钱曙光机器学习微软亚洲研究院人工智能大数据数据库云计算深 ...
“数说故事——香港城市大学AI联合实验室”筹备会议今日召开
12月11日,香港城市大学协理学务副校长(策略规划)兼数据科学学院署任院长李端教授.香港城市大学媒体与传播系讲座教授祝建华.香港城市大学商学院副教授李彦志.香港城市大学数据科学学院和数学系副教授周翔一 ...
预见未来: 微软亚洲研究院看下一个二十年
(上图为微软全球资深副总裁.微软亚太研发集团主席.微软亚洲研究院院长洪小文) 2018年11月8日,微软亚洲研究院迎来了二十周年庆典.1998年11月,微软亚洲研究院正式在北京成立,是微软设在美国本土 ...

【实战】（香港城市大学，微软亚洲研究院）让老照片重现光彩（一）：Bringing Old Photos Back to Life

【实战】（香港城市大学，微软亚洲研究院）让老照片重现光彩（一）：Bringing Old Photos Back to Life相关推荐

最新文章

热门文章