让模糊图片变视频,找回丢失的时间维度,MIT这项新研究简直像魔术
晓查 发自 凹非寺
量子位 报道 | 公众号 QbitAI
在拍照时我们常常会遇到这样的苦恼:由于设置的快门时间太长,快速运动的物体会在身后产生严重的拖影。
除非是为了特殊的艺术效果,一般来说这张照片就报废了。
然而来自MIT的研究人员却告诉我们,拍糊了的照片不要扔,丢给这个神经网络,还你一份运动视频。拖影里包含的信息其实可以找回丢失的时间维度。
他们提出的模型可以从运动模糊的图像中重新创建视频。论文第一作者说:“我们能够恢复这个细节几乎就像魔术一样。”
不仅如此,作者还表示,这种模型不仅可以解决时间维度上的损失,还能挽救空间维度上的损失。未来这种技术甚至可能从2D医学图像中检索3D数据,只用一张X光片得到CT扫描的信息。
目前这篇论文已经被计算机视觉顶会ICCV 2019收录。
恢复视频并不容易
照片和视频通常会将时空折叠到更低维度上,我们将之称为“投影”(projection)。
比如拍摄X光片,是把3D图片投影到一张2D底片上,这是空间上的投影。长时间曝光,让星星在照片上留下常常的轨迹,这是时间上的投影。
投影过程中会丢失信息,下面的向量投影中,我们就损失掉了另一个维度的信息,而且完全无法恢复。
但是大多数物体的尺寸通常比其在图像中拖影的尺寸小得多,研究人员可以通过投影的信号生成恢复原貌的概率模型。
之前,也是来自MIT一项研究,用一种“角落照相机”的算法可以检测到拐角处的人。在这样的场景中,由于边缘遮挡物的存在,场景的反射光会沿空间维度塌陷。
但是这种算法并不完善,目前仅能根据模糊图像恢复一些简单的线条。而最新的这项研究则可以较清晰地恢复物体的原貌。
从模糊中恢复真相
MIT的研究人员收集了一个由35个视频组成的数据集,其中有30个人在指定区域中行走。他们将所有视频折叠成用于训练和测试模型的投影。
模型从投影中精确地重新恢复了人行走过程中的24帧。而且该模型似乎了解到,随着时间而变暗和变宽的像素可能对应于一个人在靠近相机。
此外,他们还在人脸数据集FacePlace上进行了测试,从左右摆动高度模糊的图像中恢复出五官样貌。
如果图像中有两个物体在运动,该算法也能处理。
研究人员让两个MNIST手写体数字相互运动,图像甚至模糊到连一般人也看不出里面是什么,但AI模型不但推断出了数字的笔画形状,还分析出了两个数字的运动方向。
原理
实现从2D投影到恢复3D时空的的网络架构如下图所示:
该网络有三个参数化函数:qψ(·|·) 表示变分后验分布,pφ(·|·) 表示先验分布,gθ(·, ·)表示反投影网络。z在训练时从q网络中采样,在测试时从p网络中采样。
对于后验分布的参数编码器q,其中包含一系列3D跨度卷积运算符和Leaky RELU激活函数,以获得μψ和σψ两个分布参数。
条件先验编码器p以类似的方式实现,因为没有时间维度信息,它只有2D跨度卷积。
对于反投影函数gθ(x, z),它使用UNet型的体系结构计算x的每个像素特征。UNet分为两个阶段:在第一阶段,应用一系列2D跨度卷积算子提取多尺度特征;第二阶段应用一系列2D卷积和上采样操作,合成x和更多数据通道。
传送门
相关报道:
论文地址:
— 完 —
活动推荐 | 品玩2019科技创新者大会
2019年10月25日,PingWest品玩2019科技创新者大会 - 杭州站。阿里钉钉、阿里平头哥、蘑菇街、云浪生、驭势科技、VIPKID等都技术大咖都将来到现场,分享产业实战案例。免费票限时预订中,点击小程序即可报名。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
喜欢就点「好看」吧 !
让模糊图片变视频,找回丢失的时间维度,MIT这项新研究简直像魔术相关推荐
- 一秒给黑白照片上色、模糊图片变清晰
** 一秒给黑白照片上色.模糊图片变清晰 ** 基于人工智能高精密图像处理算法,以及得益于高性能GPU保障,我们开发完成了在线秒速给黑白照片上色.图像清晰度增强平台:http://distinctai ...
- 模糊图片变清晰,这款AI图片修复工具,一键轻松修复!
在日常的工作学习生活中,我们总是避免不了,要去网上找各种素材图.然而有时候找到的图片,并不是那么完美,比如存在清晰度不够等问题. 就算你亲自进行拍摄,也有可能会因为粗心大意,拍了张模糊照片. 造成照片 ...
- 怎么把模糊图片变清晰?试试这几种简单有效的修复方法
模糊的图片可能是由于摄影技术不佳.设备质量差.运动模糊.手抖等原因导致的.修复模糊的图片可以使其更加清晰.细腻.有质感,让人们更容易欣赏和喜欢.如果您是一名摄影师或设计师,修复模糊的图片可以使您的作品 ...
- deepfake 图片_担心自己照片被Deepfake利用?试试波士顿大学这项新研究
换脸视频是滥用 DL 的一大后果,只要网上有你的照片,那么就有可能被换脸到其它背景或视频.然而,有了这样的开源攻击模型,上传的照片不再成为问题,deepfake 无法直接拿它做换脸. 机器之心报道,参 ...
- python 图片 变清晰_图片无损放大利器,把模糊图片变清晰
前言 经常下载图片或者使用表情包的朋友都可能会遇到一个问题--图片模糊不清晰! 现有图片分辨率低.图片尺寸小.图片模糊等,很多时候又找不到原始的高分辨率清晰大图,只能将就使用?(ノ-_-)ノ~┻━┻ ...
- 识图在线识图_三个图片无损放大在线工具分享,把模糊图片变清晰
前言 经常下载图片或者使用表情包的朋友都可能会遇到一个问题--图片模糊不清晰! 现有图片分辨率低.图片尺寸小.图片模糊等,很多时候又找不到原始的高分辨率清晰大图,只能将就使用?(ノ-_-)ノ~┻━┻ ...
- 旧照片修复-模糊图片变清晰-2023年度最强神器 codeformer
CodeFormer是一种基于AI技术深度学习的人脸复原模型,由南洋理工大学和商汤科技联合研究中心联合开发.该模型通过结合了VQGAN和Transformer等技术,可以通过提供模糊或马赛克图像来生成 ...
- 让模糊图片变清晰:滴滴云推出图像超分辨API,新用户免费调用100次
在日常生活或视觉生产工作中,我们经常有放大图像的需求.直接进行尺寸放大,会导致图像质量模糊.滴滴云最近提供了图像超分辨API服务,可将图像在长宽方向放大的同时,保证图像质量,可用于美化图片,重建可辨别 ...
- 【复现】deblurGAN: 用GAN使模糊图片变清晰(ECCV2018)
requirements: Linux Python3.6 Github地址:https://github.com/RaphaelMeudec/deblur-gan 直接用这个代码会有问题,因为作者升 ...
最新文章
- 中天亮剑——打击网络风暴侵袭
- 微服务,微架构[五]之springboot读取properties文件
- php如何压缩txt文件怎么打开,PHP-压缩txt文件,同时保持文件扩展名
- 工信部通告:任何组织和机构不得继续实施“计算机信息系统集成企业资质认定”...
- php使用office modi吗,使用phpoffice/phpexcel拓展读取excel内容卡死解决
- js vue将后台返回的url图片地址以图片形式保存到本地
- 10、并发容器,ConcurrentHashMap
- response.end后抛了异常_(七)异常处理
- 免费12个月!阿里云助力中小企业0成本上云
- SQL语句写返回一天内的纪录,得到一周内星期几的时间
- Android 代码中的常见的问题总结
- linux调度器(四)——主调度器与CFS
- java线程--object.waitobject.notify
- vs 2005 sp1 安装失败的解决方案 安装VS2005 sp1的方法
- 人工智能会取代程序员吗?
- Risk Management and Financial Institution Chapter 9 —— Interest Rate Risk
- js正则表达式限定输入框内容为非负数
- 人工智能证书有什么作用?
- 数据结构点餐管理系统java,C语言实现餐饮点餐管理系统
- 钱宝网可靠吗? 不信可以先试用后在说
热门文章
- GPS经纬度算附近有什么 --- GeoHash核心原理解析
- Microsoft MSDN Windows 8 各版本下载
- mysql-5.1.30+nginx-0.7.63+php-5.2.8+phpmyadmin(解压)等软件
- python 跳过迭代_Python迭代和解析(4):自定义迭代器
- 自动渗透测试工具集APT2
- 编码/解码和进制转化工具hURL
- linux服务器配置php mysql,Linux系统如何安装配置Apache+PHP+MySQL服务器环境
- 北京语言大学计算机调剂,北京语言大学2019考研调剂通知
- win7不显示移动硬盘_win7系统插上移动硬盘后灯一直闪但是不识别如何解决
- Xcode控制台打印集锦