我在A4纸上看宫崎骏动画

2024-05-16 00:41:50

杨净发自凹非寺
量子位报道 | 公众号 QbitAI

随意弯曲、任意抖动，丝毫不影响我在纸上看《龙猫》。

这不是什么屏幕黑科技，而是AI合成的图像。

来自港中文-商汤联合实验室、浙江大学、英伟达的研究人员，用AI将图片视频投影到实时弯曲的纸面上，还更改图片的视角、光照条件。

AI可以在纸上放电影

那么具体是如何实现的呢？

简单来说，就是通过预测光流来替换视频中的图片。

以《星空》为例。

第一步，将这幅画打印在A4纸上，然后录制视频。在不同角度、光照、抖动情况下捕捉纸张，并从中提取帧。

第二步，也是最为关键的一步。

用LIFE单独预测《星空》在视频画面中的流动，然后将其替换成其他的图片or视频。

这里的LIFE，是研究人员提出的弱监督框架，该框架只需要将整个图像的相机姿势变换作为弱监督。

用这一框架来训练神经网络，来估计图像对之间的不变光流。

通过运动结构（Structure-from-Motion，SfM）技术，可以很容易地估计出视角变化大、光照变化大的图像对之间的相机姿势。

稀疏对应关系通常是通过特征匹配和指定图像来建立的。

然鹅，在跨图像特征匹配时候，指定图像会出现一些差错，阻碍了下游任务的进行。

下面这两个样本，就有种蹦迪的赶脚~

而用LIFE来指导特征匹配，利用图像对中丰富的上下文信息来解决模糊匹配的问题。

就如圆圈中特征点，正是LIFE预测下找到与原图像最匹配的点。

最终，LIFE在各种场景下，都分优于目前最先进的光流估计方法。

来具体看下实现效果~

比如，随意弯曲。

以及在不同视角的变换。

即便是在黑暗的场景下，也能清晰的看到图像。

好的，又蹦迪了！

感兴趣的旁友可戳下方链接了解更多细节哟~

论文链接：
https://arxiv.org/abs/2104.03097
参考链接：
https://drinkingcoder.github.io/publication/life/

我在A4纸上看宫崎骏动画相关推荐

太酷啦！我在A4纸上看宫崎骏动画
转载自:量子位随意弯曲.任意抖动,丝毫不影响我在纸上看<龙猫>. 这不是什么屏幕黑科技,而是AI合成的图像. 来自港中文-商汤联合实验室.浙江大学.英伟达的研究人员,用AI将图片视频投影 ...
wps打印缩放到一页_WPS文档过长时，如何在A4纸上完美打印
本教程适用版本:WPS Office 2019 PC版点此使用现在WPS已经是不可或缺的办公软件了,大家在办公时肯定会遇到Excel表格打印的问题,小编就会时常遇到一个头疼的问题,就是在表格过长的时 ...
普通打印机如何在A4纸上打印不同内容的标签
在平时很多单位办公时用的大多都是打印A4纸的普通打印机,而且也有很多不干胶标签纸运用的也是A4大小的纸张,然后在上面布局多排的小标签,下面我们就看一下在A4纸上打印不同内容的标签该如何操作? 一.打开 ...
如何将身份证扫描到A4纸上？这3个方法简单有效
分享3个简单有效的将身份证扫描到一张A4纸上的方法,全部都是看一遍就会,扫描后的身份证不仅可以直接进行打印,还能在手机上保存为电子版,随时都可以进行打印. 1.万能图片转换器一个非常全能的图片格式处 ...
证件拍照扫描——基于C++与深度神经网络实现证件识别扫描并1比1还原证件到A4纸上
前言数字化时代的到来,越来越多的证件需要进行电子化处理,例如身份证.驾驶证.护照等.在进行电子化处理时,最常见的需求就是将证件照片复制到A4纸上,以便于打印.存档或传输.同时,为了方便信息的录入和管 ...
PaperBack：如何在一张A4纸上存储数据
从这里来: https://blog.csdn.net/fenfeiqinjian/article/details/48976901 一天,一位程序员的儿子问爸爸:"光盘是怎么存下那么多数据 ...
如何将证件照片打印在A4纸上
打印证件照片时,我们一般使用的都是专业的照片纸,连接的也是照片打印机,但是有些用户会有一些其他的要求,比如把证件照片打印在A4纸上.这对于专业的证件照片打印软件来说是很简单的,下面我们就介绍一下操作方 ...
如何在A4纸上排版多个二维码？
随着二维码技术的成熟以及使用的普及,很多用户在打印二维码时不再局限于专业二维码打印机,也会连接办公室的普通打印机,在普通的A4纸上打印二维码.那么,具体的操作步骤如何呢,我们下面详细介绍. 首先打开条 ...
苹果电脑打印A4纸上纸盒的细线很浅
苹果电脑打印A4纸上纸盒的细线很浅把ai文件转成PDF,再在打印设置里设置成"以图片形式"打印(无缩放),效果好些.

最新文章

热门文章