微软开源的 AI 工具,让旧照片焕发新生
原文地址:Bringing Old Photos Back to Life
原文作者:Ziyu Wan
译者 & 校正:HelloGitHub-小鱼干 & 鸭鸭
写在前面
在 GitHub 热点趋势 Vol.046 中,HG 介绍过一个微软开源的 AI 工具——Bringing-Old-Photos-Back-to-Life
它可以让破损、残旧的图片焕发新生,在本周更是获得近 3k star。而本文则是项目团队成员 Ziyu Wan 发布于 Hacker News 的项目介绍,Enjoy it~
概述
我们打算通过深度学习的方法来修复老化严重的旧照片。与传统的监督式学习 supervised learning 的修复任务不同,真实照片的老化更为复杂,合成图像和真实旧照片之间的领域差距 domain gap 使得网络无法泛化。因此,我们提出了一种利用真实照片和大量合成图像对的新型三重域翻译网络。具体来说,我们训练了两个变分自编码器 (VAE),分别将旧照片和干净照片转换为两个潜在空间。通过合成配对数据来学习两个潜在空间之间的转换。因为在紧凑的潜在空间中,domain gap 是封闭的,所以这种翻译网络可以很好地泛化为真实照片。
此外,为了解决混杂在旧照片中的多个退化问题,我们设计了一个带有 partial nonlocal block 的全局分支,用于处理结构性缺陷,如:划痕、尘点,和一个局部分支,用于处理非结构性缺陷,如:噪点、模糊。两个分支在潜在空间融合,提高从多个退化问题中恢复旧照片的能力。该方法在相片修复的视觉质量方面优于现有的方法。
架构全览
我们首先训练两个变分自编码器 VAE:VAE1 用于真实照片 r ∈ R 和合成图像 x ∈ X,通过联合训练一个对抗判别器缩小它们的 domain gap;对干净图像 y ∈ Y 进行 VAE2 训练。利用 VAE 将图像转换到紧凑的潜在空间。
我们了解了在紧凑潜在空间将损坏的图像恢复到带 partial non-local block 的干净照片的映射。
对比图
更多修复细节
近距离围观
团队成员 Ziyu Wan 对 Bringing-Old-Photos-Back-to-Life 的介绍已经翻译完毕,感兴趣的小伙伴可以去把玩下,项目地址:
https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life
最后,欢迎优秀的你加入 HelloGitHub 的「译文亦舞」系列,让你的才华舞动起来!把优秀的文章分享给更多的人。要求:
平时浏览 GitHub、开源、编程、程序员等英文资讯和文章
想把自己阅读到优秀的英文文章分享给更多的人
翻译准确但不是直翻或机翻
保证每月至少翻译或校正 1 篇高质量文章
了解 Markdown 和排版规则
联系微信:xueweihan (备注:翻译)
微软开源的 AI 工具,让旧照片焕发新生相关推荐
- 微软开源自动机器学习工具 – NNI安装与使用
微软开源自动机器学习工具 – NNI安装与使用 NNI的众多特点 开启你的第一次NNI之旅 · 安装 · 三步准备实验 (1) 准备搜索空间 (2) 准备实验代码 (3)定义实验配置 · 一行命令开始 ...
- github可视化工具_Github标星2.6K!微软开源的可视化工具,未免太酷炫了吧
开源最前线(ID:OpenSourceTop) 猿妹编译 链接:https://visualstudiomagazine.com/articles/2019/10/14/sanddance.aspx ...
- 微软nni_微软开源自动机器学习工具NNI安装与使用
微软开源自动机器学习工具NNI安装与使用 发布时间:2018-12-29 11:51, 浏览次数:951 , 标签: NNI 微软开源自动机器学习工具 – NNI安装与使用 在机器学习建模时,除了准备 ...
- 微软开源项目-AI修复老照片
今天介绍一个Python的开源项目,是由微软研究院团队的Ziyu Wan,Bo Zhang等人开发的,通过深度学习方法来恢复受损严重的老照片.github项目地址如下 https://github.c ...
- 微软开源 Malmo AI 平台,构建复杂机器人任务
上周四,微软透露Malmo项目从一小群计算机科学家手中的一个私人预览转变到在GitHub上公开的源代码.让微软Malmo人工智能项目平台开源.微软Malmo项目是一个人工智能系统,用Minecraft ...
- 脸书研发新AI工具:让照片中闭眼的人重新睁眼
▼ 点击上方蓝字 关注网易智能 为你解读AI领域大公司大事件,新观点新应用 [网易智能讯 6月18日消息]有很多方法可以处理照片,比如消除红眼或镜头眩光等,让人像看起来更好看.但到目前为止,眨眼已经被 ...
- 微软开源实验环境构建工具 SimuLand,模拟攻击者知识技能
聚焦源代码安全,网罗国内外最新资讯! 编译:奇安信代码卫士 微软开源一款工具,名为 "SimuLand",用于构建实验环境,供安全团队模拟攻击并验证微软安全产品的检测效果. Si ...
- 微软开源!世界首个AI量化投资平台 Qlib 基本使用教程
量化往期推荐 Easytrader 超简单的股市自动交易神器 Lean - 优秀好用的开源量化交易平台 30分钟教你搭建普罗监控系统-股票人气榜实时变化! 可转债交易薅羊毛策略 - Python 量化 ...
- 微软开源: 老旧照片修复的AI算法
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 开源最前线(ID:OpenSourceTop) 猿妹整编 | 来源 ...
最新文章
- silver light
- [leetcode]Jump Game
- Silverlight/Windows8/WPF/WP7/HTML5周学习导读(9月24日-9月30日)
- 从零开始做一个SLG游戏(一):六边形网格
- 算法 从 数中选出_算法可以选出胜出的nba幻想选秀吗
- SpringMvc异步请求的使用及部分原理
- java引用类型_Java引用类型
- 项目Beta冲刺(团队)第七天
- Delphi XE的RTTI增强,动态Hook某些内部事件
- Ajax无刷新实现省市联动,并在回发后保留省市下拉框状态
- set up BU Printer on ubuntu
- CString Char* 转换 - C++学习
- Python爬虫_宅男福利?妹纸勿点__一蓑烟雨任平生
- 无法启动WORKSTATION服务解决方案
- 股票、基金、场内ETF基金下载数据代码例子
- 如何把vs2003转化成vs2005
- 【推荐】万物兴歇——衰老与寿命的演化
- 1. Arthas的命令
- 关键链项目管理方法的缓冲区管理
- 计算机技术服务业成本核算,技术服务成本怎么核算?
热门文章
- 数据产品经理的招聘JD
- Linux(CentOS 6.X)命令行下安装Oracle 11g
- 在动态规划的海洋中遨游(三)
- gen2 服务器只显示spbc,西子奥的斯GEN2调试说明-20210711142816.docx-原创力文档
- 新浪与MSN合作,囧
- 当前的网卡配置及虚拟网卡设置及默认网卡配置
- Mysql 8.0修改密码
- php获取网址怎么缩短,PHP网址缩短代码(生成短网址)_PHP教程
- Jquery从入门到精通:二、选择器 2、选择器(1)CSS选择器
- Android调用系统自带的文件管理器获取图片绝对路径