还原时代原声,AI修复老北京再次火爆全网
点击上方“3D视觉工坊”,选择“星标”
干货第一时间送达
凭借AI修复老北京影像火爆B站的Up主大谷兄,今天又来带我们玩穿越了!
这次是1929年的老北京,除了AI上色、补帧、扩大分辨率外,还百分百还原了时代原声,老北京的味儿太足了!
人头攒动,熙熙攘攘,有赚吆喝的、看热闹的、闲聊的,老北京集市好不热闹。
大鼓、笛子、四胡、三弦,手艺人的一曲《打新春》,有内味了。
盲人"爵士"乐队
原来理发最低不是5块,还有2块的!
听他们聊天,网友表示想看相声了。
师傅:疼不疼?
小伙:不疼。我还不哭呢外带着。
小伙:这个头好,剃得不疼,剃不好,真疼,剃好了咱还找你去。
师傅:唉
......
如果精神小伙穿越到现在,会不会是一位优秀的Up主?
精神小伙理发记
溢出屏幕的开心劲儿,看来发型很满意。在我们这年代都不用理,用不了几年就能天然形成[傲娇]
吃饭还能这么热闹吗?我们现在都是隔着两米!
惊现“地摊经济”
3min的珍贵影像资料,可谓真真切切地感受了老北京九十年前的生活状态。虽然看起来物质生活不是很富裕,但隔着屏幕都是感受到那时候人们的欢乐。准确的来说,这段影像记录的是1927-1929年的老北京,出自南卡罗莱纳大学影像库馆藏胶片。
另外,这段影像修复视频依然出自B站Up主大谷之手,此前他曾用AI修复过1920-1927年的一段老北京影像,在B站爆火,视频点击量超过了200万,还受到了央视新闻的报道。不过,从影像的修复效果过来看,显然这次在去噪和着色方面处理的更好,而且还是自带原声的影像资料。
这次的修复作品是与央视新闻联合发布的,视频上传不到30min,在B站就收获了30多万的播放量,弹幕更是爆屏。
1
AI修复是如何实现的?
据大谷介绍,这部修复作品采用了新的AI技术DeepRemaster。与此前相比,它在上色、补帧、分辨率方面都有更出色的表现。这项技术的研发者是日本建筑大学的Satoshi Iizuka和和早稻田大学的Edgar Simo-Serra。他们的论文还被计算机图形学顶会SIGG2019收录。
论文地址:http://iizuka.cs.tsukuba.ac.jp/projects/remastering/en/index.html
我们知道以前的影像资料一般都是黑白的,而且像素、质量比较低。如果修复的话,需要提高分辨率、去除噪声和增强对比度的处理。基于这些任务,作者中提出了一个DeepRemaster模型。
它基于时间卷积神经网络,在视频上训练注意力机制(Source-Reference),这种注意力机制可以处理任意数量的彩色图像,同时不需要对长视频进行分割,因此保持时间的一致性。经过定量分析表明,DeepRemaster的模型性能可以随着视频长度和彩色图像的增加而提高,远优于现有的修复模型。
DeepRemater模型的内部架构
在模型Input端输入黑白图像,经过时间卷积网络的预处理和Source-Reference注意力机制的深度训练后,可以结合任意数量的彩色图像来生成最终的色度信道。在这一过程中, Source-Reference注意力机制允许模型再给视频上色时,参考彩色图像(Reference Images)中的相似区域。
基于递归的卷积神经网络,在传播信息时,通常是逐帧传播,不能进行并行处理,并形成依赖关系。因此,在参考彩色图像时,图像会反复重新开始,这样时间上的相关性就会丢失。而基于Source-Reference注意力机制的卷积神经网络在处理任何帧时能够并行使用所有的参考信息。
以下是DeepRemaster修复的效果图:(右侧为参考彩色图像)
2
修复方法比较
Zhang、Yu和Vondrick等人曾对世界经典电影和和Youtube视频进行AI修复试验,结果取得了不错的效果。作者为验证DeepMaster的修复性能,与之进行了对比。
首先是与Zhang、Yu的比较。作者从Youtube的300视频数据集中随机抽取了一段8M视频作为修复目标,其中所用到参考彩色图像,取自源视频,并每隔60帧截取一次。
噪声处理:从修复结果来看,当前的方法在去噪处理方面,显然优势明显。第一列为存在噪声瑕疵的原图像,前两种几乎没有对齐进行修复,第四列可以看到在高保真的状态下,噪声被处理的很好,与第四列真实图像几乎没有差异。
着色处理:图中第一列为原始图像,后三列为不同方法的处理着色处理结果,最后一列为参考彩色图形。可以看出第三列的颜色处理与第四列几乎无差异。因此,基于Source-Reference注意力机制的模型着色效果更好。
另外,作者将Zhang和Vondrick的修复方法结合,并进行了比较。上部图像为参考彩色图像,分别对第5、85、302帧的图像进行了修复,结果可以看出目前的方法在着色效果上更好。
更多论文详细内容参考:
http://iizuka.cs.tsukuba.ac.jp/projects/remastering/data/remastering_siggraphasia2019.pdf
本文仅做学术分享,如有侵权,请联系删文。
推荐阅读:
专辑|相机标定
专辑|3D点云
专辑|SLAM
专辑|深度学习与自动驾驶
专辑|结构光
专辑|事件相机
专辑|OpenCV学习
专辑|学习资源汇总
专辑|招聘与项目对接
专辑|读书笔记
重磅!3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群,目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群,请扫描下面微信号加群,备注:”研究方向+学校/公司+昵称“,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球:针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近1000+星球成员为创造更好的AI世界共同进步,知识星球入口:
学习3D视觉核心技术,扫描查看介绍,3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
还原时代原声,AI修复老北京再次火爆全网相关推荐
- 还在找怎么修复老照片?火爆全网的老照片修复技术方法其实很简单
火爆全网的老照片修复技术,今天终于被我找到了!试了一下,模糊照片秒变清晰,头发丝都能看得见,真的太神奇了! 相信每个小伙伴的家中,或多或少会有一些年代久远的老照片.这些照片承载着的是老一辈人过去的回忆 ...
- 本周AI热点回顾:AI技术重现的老北京原声影像又火了、百度ERNIE-ViL刷新5项任务记录、Transformer 3发布
01 剃头挑子.京韵大鼓.摆地摊,AI技术重现的老北京原声影像又火了 剃头挑子.街边地摊.京韵大鼓,多数人可能只在电影.电视剧中看过老北京的这些景象.但早在 90 年前,就有人将这些场景都拍了下来,而 ...
- AI技术重现的老北京原声影像又火了,网友:这口音太过真实
来源:机器之心 本文约1700字,建议阅读7分钟. "大谷的游戏创作小屋"又用AI修复了一段老北京影像,这次还带时代原声-- 剃头挑子.街边地摊.京韵大鼓,多数人可能只在电影.电视 ...
- 一秒带你穿越!AI 修复百年前北京影像,路边摊、剃头匠太真实了
作者 | 马超 责编 | 伍杏玲 封图 | CSDN 付费下载自东方 IC 出品 | CSDN(ID:CSDNnews) 近日,B站UP主"大谷的游戏创作小屋"发布的<我用人 ...
- 程序员用 AI 修复百年前的老北京视频后,火了!
公众号关注 "GitHubDaily" 设为 "星标",带你了解技术圈内新鲜事! 最近,一个 "修复老北京街道" 的视频刷屏全网. 一段由加 ...
- 100年前的北京Vlog火了!AI修复古老纪录片还原逼真场景
点击上方"迈微电子研发社",选择"星标★"公众号 重磅干货,第一时间送达 是不是很好奇,百年前的北京是什么样子? 最近,一位叫大谷Spitzer的微博网友,将人 ...
- 黄家驹演唱会31年后重映,再次带火AI修复,1小时播放破亿
明敏 鱼羊 发自 凹非寺 量子位 | 公众号 QbitAI 一场没怎么预热的演唱会,在抖音直播间里火了. 开场10分钟,观看人次就突破1600万,1小时后飙升到1亿以上. 而这场演唱会,其实是从31年 ...
- 跟郎朗媳妇有得一拼的AI,只看弹琴动作,完美复现原声 | CVPR 2020
金磊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 见识过「听歌识曲」,体验过看弹奏动作识曲吗? 就像最近的一档综艺节目中,郎朗比划了几个弹钢琴的动作,他媳妇(吉娜·爱丽丝)秒答:<柴可 ...
- 澎思科技马原:AI安防竞争还未结束,落地进入后发优势时代 | MEET2020
鱼羊 整理自 MEET2020智能未来大会 量子位 报道 | 公众号 QbitAI 安防,是AI最先触达的领域之一.激烈竞争之后,看似"战争结束",但亦有后发者,表现出了亮眼实力. ...
最新文章
- 一文详尽系列之EM算法
- FastJson 原理
- Keil生成汇编文件、bin文件
- 《安卓开发必知的50个技巧》读书笔记
- C++ 关于复制、移动构造函数和移动、复制 赋值运算符的重载问题;
- 不止是安防 红外摄像机在应急产业的应用
- 规则执行管理平台中远程和服务管理的学习1
- apk ionic 破损_ionic3-android打包完美解决
- bwlabel和bwconncomp区别
- 如何零成本录制一首单人ACAPPELLA
- Jade模板引擎教程
- python结合mysql 购物管理系统
- 图片服务器-存储图片技巧
- echarts 横向条形图 对比
- aar打包依赖 android_打包依赖.aar文件以及坑总结
- 你知道云渲染和自己渲染有什么区别吗?
- check the manual that corresponds to your MySQL server
- stormzhang的推荐!
- 总结:对象存储、块存储、文件存储的区别
- brpc源码分析——数据报处理过程