AI 隐身术,让你在视频中消失的“黑魔法”,想拥有吗?
来源 | Jack Cui
责编 | 晋兆雨
头图 | 付费下载于视觉中国
前言
刚刚过去的 2020 年 ECCV,有一项 AI“隐身”技术引人瞩目。
正在坐秋千的小孩,突然只剩下秋千架。
让漫步的行人消失,让奔驰的汽车消失。
这么好玩的 AI 算法,你想学吗?
老规矩,今天,继续手把手教学。
算法原理、环境搭建、效果实现,一条龙服务,尽在下文!
FGVC
FGVC 的作者是一位 90 后北京小伙,目前在弗吉尼亚理工大学计算机工程专业就读博士三年级,师从华人教授 Jia-Bin Huang。
FGVC 算法本质上是一个基于光流法的视频修复算法。
光流法是视域中物体运动检测的概念,其用于描述运动所造成的观测目标、表面或边缘的运动,主要应用于计算机视觉和影像处理等。
使用光流法,可寻到不同帧之间的关系,并通过在不同帧之间传播信息来补全视频。
FGVC 主要包含三个步骤:Flow completion、Temporal propagation、Fusion。
Flow completion:具体操作时,要计算相邻帧之间的正向光流和反向光流、以及一组非相邻帧 (Non-local) 的正向光流和反向光流。
Temporal propagation:按照光流的轨迹,为每个丢失的像素找到一组候选像素,对于每个候选帧,都要估计一个置信分数以及一个二进制有效性指标。
Fusion:使用置信加权平均值,将每个缺失像素的候选像素与至少一个有效候选像素融合。对于没有候选像素,则使用一个关键帧,并使用单个图像补全技术来填充它。
更具体的原理,比如边缘引导的光流补充等,可以去「啃下」论文,学习一下。
Paper 地址:
https://arxiv.org/abs/2009.01835
环境配置
想要测试算法效果,先要部署下开发环境。
Github 开源项目地址:
https://github.com/vt-vl-lab/FGVC
Github 下载慢的,可以下载我已经打包的代码(提取码:4lgs):
https://pan.baidu.com/share/init?surl=rh1I2B4ssjiNdydUc_DflA
这里推荐使用 Anaconda 完成部署。
FGVC 算法依赖于另外两个算法 DeepFill 和 RAFT。
所以,可以创建两个虚拟环境 FGVC 和 raft。
FGVC 环境使用 PyTorch 0.4.0,并配置算法 DeepFill 的环境。
DeepFill 环境配置方法:
https://github.com/nbei/Deep-Flow-Guided-Video-Inpainting#install--requirements
直接使用指令安装依赖库:
pip install -r requirements.txt
raft 环境使用 PyTorch 1.6.0,并配置算法 RAFT 的环境。
RAFT 环境配置方法:
https://github.com/princeton-vl/RAFT#requirements
这里比较简单,使用 conda 安装需要的库即可。
都配置完毕,就可以测试算法效果了!
效果测试
先激活 raft 虚拟环境,直到运行结果出现提示:
「Please switch to Pytorch 0.4.0」
然后切换到 FGVC 虚拟环境,然后再运行一次代码。
Object removal:
cd tool
python video_completion.py \--mode object_removal \--path ../data/tennis \--path_mask ../data/tennis_mask \--outroot ../result/tennis_removal \--seamless
FOV extrapolation:
cd tool
python video_completion.py \--mode video_extrapolation \--path ../data/tennis \--outroot ../result/tennis_extrapolation \--H_scale 2 \--W_scale 2 \--seamless
想要计算速度更快些,可以去掉 seamless 参数。
算法需要 rgb 图片和 mask 图片,这些数据是已知的,想要去除什么物体,给个物体的 mask 即可。
运行效果示意图:
更多精彩推荐
☞技术人专访:GrapeCity,技术老炮开启低代码新征程
☞苹果发布首款 Mac 自研芯片 M1,贯通生态快人一步!
☞详解微软 ALUM:当语言模型遇到对抗训练
☞腾讯竟然是这样招人的,哈哈哈哈哈
☞AI 隐身术,能让物体在视频中消失的魔法
☞一文教你如何在生产环境中在Kubernetes上部署Jaeger
点分享点点赞点在看
AI 隐身术,让你在视频中消失的“黑魔法”,想拥有吗?相关推荐
- Clarifai的AI可检测图像和视频中的不合规内容
文章来源:ATYUN AI平台 在互联网上过滤色情,毒品,血腥和其他令人反感的内容并不容易.Facebook目前在全球拥有7500名内容版主,而2017年5月为4500名.而在4月份,谷歌旗下的You ...
- 边缘设备上的实时AI人员检测:检测视频中的人员
下载数据-19.3 MB 下载模型-43.5 MB 下载结果-36.66 MB 从本系列的前几篇文章中,我们获得了使用SSD DNN模型检测图像中人物的Python代码.而且我们已经展示了该代码可以在 ...
- JavaScript+TensorFlow.js让你在视频中瞬间消失
最近,一个实时人物删除(Real Time Person removation)的项目在GitHub上流行起来. 这个项目的神奇之处在于,只需要在网页浏览器中使用JavaScript,并使用200多行 ...
- 让一个人从照片中消失,从未如此简单 | AI应用体验
乾明 发自 凹非寺 量子位 报道 | 公众号 QbitAI "简单.直接.暴力." 这是我体验到名为Bye Bye Camera应用程序后的直接感受. 借助神经网络,拍个照片,这 ...
- MIT又出新玩法,利用AI可轻松分离视频中的乐器声音
本文由人工智能观察编译 译者:Sandy 均衡器是大概是被用来在音乐中加入低音的一种常用方式,但近日,麻省理工学院计算机科学与人工智能实验室(CSAIL)的研究人员研发了一个更好的解决方案.他们的深度 ...
- AI 在爱奇艺视频广告中的探索
嘉宾介绍 刘祁跃,爱奇艺科学家. 从事视频分析相关算法和业务落地,其中将 AI 应用于广告是重要工作方向. 导读:本次分享的主题为 AI 在爱奇艺视频广告中的探索.AI 可以对视频内容.广告素材进行理 ...
- 爱奇艺------AI在爱奇艺视频广告中的探索
分享嘉宾:刘祁跃 爱奇艺科学家 导读:本次分享的主题为 AI 在爱奇艺视频广告中的探索.AI 可以对视频内容.广告素材进行理解和加工,并应用于视频广告,尤其在广告的点位挖掘和生成.点位分析.素材创作等 ...
- 如何处理视频中过多的噪点?AI视频降噪工具让后期处理变得更轻松
视频噪点问题是很常见的,特别是在低光照条件下或是传感器工作时间过长的情况下.这些噪点会严重影响视频的观看效果,所以视频降噪是一个非常重要的处理步骤.视频降噪怎么处理? 拍摄视频时,自然光线是很难把控的 ...
- “从视频中学习”——Facebook启动新AI项目,IBM早早探索出AI视频解析新方法?| 硅谷速递...
随着我们日渐掌握越来越强大的计算能力.更先进的计算算法.更易用的软件系统,以及不断下降的数据存储成本,我们正在具备对无处不在的大量视频进行实时分析的能力. Facebook启动Learning fro ...
最新文章
- Eclipse svn代码提交冲突
- python报错ordinal not in range(128)
- hexo的yelee主题本地搜索故障
- jQuery新版本加载json注意事项。
- 带有DIY的Openshift上的Spring Boot / Java 8 / Tomcat 8
- 人眼定位python代码_使用dlib,OpenCV和Python进行人脸识别—人眼眨眼检测
- Java中List转换为数组,数组转List
- 网友写的验证码生成方案,可防止绝大多数机械识别。
- 谁来结束 GUI 程序?| CSDN 博文精选
- STM32:定时器中断与优先级
- 改变select组件的option选中状态的快捷方法
- 2021-09-01 myAtoi(
- 批量添加手机联系人:csv/excel转vcf
- 装黑苹果的那些事儿(以ThinkpadE540为例)
- 机动车污染排放检验信息系统信息化建设目标及规范
- 马哥教育42期第三周作业
- (四十五:2021.08.05)《利用深度学习对ecg信号进行分割》
- ACL 2020 | 香侬科技提出用Dice Loss缓解数据集数据不平衡问题
- 外贸收款方式精辟分析
- Laya Stage