AI 编辑视频！这特效太逆天了！代码开源 SIGGRAPH Asia 2021
点击下方“AI算法与图像处理”，一起进步！重磅干货，第一时间送达大家好，我是阿潘，今天给大家分享一篇最新的成果《Layered Neural Atlases for Consistent Video Editing》，可以用于视频编辑，从demo来看，可以实现的效果包括删除视频中的物体、可以对视频内的物体进行编辑、风格化迁移等等，效果非常的惊艳。
论文标题：
Layered Neural Atlases for Consistent Video Editing
NeROIC: Neural Object Capture and Rendering from Online Image Collections
论文、代码和主页链接：
https://arxiv.org/abs/2109.11418
https://github.com/ykasten/layered-neural-atlases
https://layered-neural-atlases.github.io/
效果：
上面是一些视频编辑的应用示例。
从上往下分别实现的效果是：
第一行：对冲浪者脚下的水花添加特效
第二行 ：对河面上的鸭子（可能是鸭子吧）添加特效
第三行：对骑车男孩周围的环境施加特效
第四行：对狗做标记
(a) 各种编辑效果直接应用于我们的输出图集（顶部 4）或给定的视频帧（底部）；这些效果包括风格化前景对象 (Blackswan) 或背景 (Bicycle)、转移纹理元素 (Kite-surf、Libby) 或将静止图像转移到移动背景 (Boat)。在所有情况下，编辑都会自动且一致地映射到原始视频帧。有关这些编辑的视频示例，请参阅补充材料。
更多效果：
摘要
我们提出了一种将输入视频分解或“展开”为一组分层 2D 图集的方法，每个图集都提供了视频上对象（或背景）外观的统一表示。对于视频中的每个像素，我们的方法会在每个图集中估计其对应的 2D 坐标，从而为我们提供一致的视频参数化以及相关的 alpha（不透明度）值。重要的是，我们将地图集设计为可解释和语义化的，这有助于在地图集域中轻松直观地进行编辑，而所需的手动工作最少。应用于单个 2D 图集（或输入视频帧）的编辑会自动且一致地映射回原始视频帧，同时保留遮挡、变形和其他复杂的场景效果，例如阴影和反射。我们的方法采用基于坐标的多层感知器 (MLP) 表示，用于映射、图谱和 alpha，它们在每个视频的基础上联合优化，使用视频重建和正则化损失的组合。通过纯粹在 2D 中操作，我们的方法不需要任何关于场景几何或相机姿势的先验 3D 知识，并且可以处理复杂的动态现实世界视频。我们演示了各种视频编辑应用程序，包括纹理映射、视频风格传输、图像到视频纹理传输和分割/标签传播，所有这些都是通过编辑单个 2D 图集图像自动生成的。
整体思路
框架图：
图 2. 我们的两个图集的管道示意图：视频
AI 编辑视频！这特效太逆天了！代码开源 SIGGRAPH Asia 2021相关推荐
- 编辑视频贴纸软件_视频特效编辑软件下载-视频特效编辑器下载V10.9.93-西西软件下载...
视频特效编辑器是一款非常不错的图片视频特效编辑应用.软件使用是完全免费的.视频特效编辑器app为您带来无与伦比的特效编辑.软件为用户提供了:配乐修改, 动感贴图,视频滤镜和特效,视频剪辑等功能.通过视 ...
- 华为云+AI，视频分析全面进入智能时代
华为云+AI,视频分析全面进入智能时代 云计算.大数据.物联网.人工智能等信息技术飞速发展及传统产业数字化的转型,一方面媒体数据量呈现几何级增长,据IDC预测,全球数据总量预计2020年达到44ZB; ...
- 编辑视频贴纸软件_微剪辑 - 视频编辑神器/专业剪辑软件 贴纸/字幕/音乐
微剪辑 - 视频编辑神器/专业剪辑软件 贴纸/字幕/音乐 介绍 微剪辑 - 视频编辑神器/专业剪辑软件 贴纸/字幕/音乐 微剪辑是最好的视频剪辑软件,操作简单,让您随心所欲成为自己生活的导演!一个视频 ...
- AI软件视频生成工具 抖音蓝V运营小助手
AI软件视频生成工具为用户提供了智能混剪.批量生成标题文案.智能发布和移动端操作等功能. 海量自定义风格商务模板: AI软件视频生成工具提供了大量专业商务风格的视频模板,模板可根据用户的需求进行自定义 ...
- 5G 时代，从视频互动特效技术看未来趋势
疫情期带来了在线娱乐行业的爆棚式发展,也让行业本身更加审视在交互体验上的突破价值.优酷团队开始了对互动视频体验的全新升级,升级集中体现在三个方面:直播化.游戏化.特效化. 本文根据阿里巴巴的资深算法专 ...
- AI根据视频画面自动配音 ，真假难辨 !（附数据集）
本文经AI新媒体量子位(公众号ID:qbitai)授权转载,转载请联系出处 本文长度为3216字,建议阅读7分钟 本文为你分享实现AI自动为视频配音的流程. 先来做个"真假美猴王" ...
- 移动版“全功能”Photoshop发布！还有AI剪视频一键传抖音、一键抠图功能上线 | Adobe MAX 2019...
鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 现在,你真的可以在iPad上用Photoshop了. 图片变AR.AI秒抠图.AI剪视频也通通正式上线. 这都是刚刚结束的Adobe MAX ...
- 教ai玩游戏_简单解释：DeepMind如何教AI玩视频游戏
教ai玩游戏 by Aman Agarwal 通过阿曼·阿加瓦尔(Aman Agarwal) 简单解释:DeepMind如何教AI玩视频游戏 (Explained Simply: How DeepMi ...
- 深度学习实战22(进阶版)-AI漫画视频生成模型，做自己的漫画视频
大家好,我是微学AI,今天给大家带来深度学习实战22(进阶版)-AI漫画视频生成模型. 回顾之前给大家介绍了<深度学习实战8-生活照片转化漫画照片应用>,今天我借助这篇文章的原理做一个AI ...
- 如何给视频添加特效字幕？分享一个简单好用的办法
如何给视频添加特效字幕?现如今短视频剪辑已经十分普遍,我们在日常生活中也是经常需要接触到.说到短视频剪辑,可能大家心中多少都有点好奇.其实剪辑短视频并没有你们想象中的那么复杂,我们只需要准备好相应的素 ...
最新文章
- 给表增加字段 本地测试正常 上传到服务器不正常
- 利用ConfigParser读取配置文件
- LA3403 天平难题
- css3-响应式布局
- 一文搞定JS事件基础与进阶
- Lingoes 2.8 手动去广告步骤
- 20 个最常用的 Git 命令用法说明及示例
- sqlachemy入门基础手册
- 博客专题计划：《在实践中深入理解常见网络协议》
- docker 网桥冲突了解决
- JAVA上百实例源码以及开源项目
- Excel 闪退及老是提示内存不足情况实测解决方法
- word文档打印表格时预览时看的到表格打印出来的表格没有上下两根横线？
- 如何用VB开发游戏外挂
- 基于 Mybatis 和 Springboot 的后台管理系统 BootDo | 软件推介
- 统计各种字符数量(包括汉字)
- 【dedecms】DedeCms的搜索引擎优化方法小结
- 【MySQL 09】安装mysql时出现：需要这两个包perl(Data::Dumper)，perl(JSON)
- 猫哥教你写爬虫 039--存储数据
- drools决策表的简单使用