绿幕抠图/蓝幕布抠图自然背景抠图 Robust Video Matting 内容整理

一、RobustVideoMatting

这个大神算法的一作是由林山川在字节跳动实习期间完成的，他以一作身份发表论文《Real-Time High-Resolution Background Matting》，提出了Background Matting V2方法。实时感受一下这只AI的效果，

demo地址：https://peterl1n.github.io/RobustVideoMatting/#/demo

GitHub地址：https://github.com/PeterL1n/RobustVideoMatting

论文地址：https://arxiv.org/abs/2108.11515

Speed

Speed is measured with inference_speed_test.py for reference.

GPU	dType	HD (1920x1080)	4K (3840x2160)
RTX 3090	FP16	172 FPS	154 FPS
RTX 2060 Super	FP16	134 FPS	108 FPS
GTX 1080 Ti	FP32	104 FPS	74 FPS

Note 1: HD uses downsample_ratio=0.25, 4K uses downsample_ratio=0.125. All tests use batch size 1 and frame chunk 1.
Note 2: GPUs before Turing architecture does not support FP16 inference, so GTX 1080 Ti uses FP32.
Note 3: We only measure tensor throughput. The provided video conversion script in this repo is expected to be much slower, because it does not utilize hardware video encoding/decoding and does not have the tensor transfer done on parallel threads. If you are interested in implementing hardware video encoding/decoding in Python, please refer to PyNvCodec.

Third-Party Projects

NCNN C++ Android (@FeiGeChuanShu)
lite.ai.toolkit (@DefTruth)
Gradio Web Demo (@AK391)
Unity Engine demo with NatML (@natsuite)
MNN C++ Demo (@DefTruth)
TNN C++ Demo (@DefTruth)

在windows上实现的时候需要借助使用Lite.AI.ToolKit C++工具箱来跑RobustVideoMatting的一些案例(GitHub - DefTruth/lite.ai.toolkit:

绿幕抠图/蓝幕布抠图自然背景抠图 Robust Video Matting 内容整理相关推荐

没有绿幕，AI也能完美视频抠图，发丝毕现，毫无违和感 | CVPR
鱼羊发自凹非寺量子位报道 | 公众号 QbitAI 在阳台上给小姐姐拍个视频: 再把她P到喷泉广场: 需要几步? 现在,无需绿幕,AI 就能搞定这件事. 就像这样,随便用手机给小姐姐拍张照片, ...
一键绿幕抠像替换背景，绿幕抠图是如何操作的？
一般要抠像的视频,前期都使用绿幕或蓝幕拍摄.拍摄结束进入后期软件进行抠像处理.那再我们日常生活中,没有用绿幕蓝幕拍摄,我们又改如何进行视频抠像替换背景的操作呢? 在电影.电视剧拍摄中应特效需要常用到绿 ...
虚拟直播、绿幕直播、绿幕抠图换背景虚拟直播介绍
什么是虚拟直播: 是基于绿幕抠图技术(把所有绿色变成透明),实时换背景图片.背景视频(背景可以是产品特写.PPT宣传文案等),配合DY里的手机录屏功能,实现一个人的虚拟专业直播间(无须其他费用支出 ...
编程去除背景绿幕抠图，基于.NET+OpenCVSharp
摘要:本文介绍了一种使用OpenCVSharp对摄像头中的绿幕视频进行实时"抠人像.替换背景"的方式,对于项目中的算法进行了分析.本文中给出了简化OpenCVSharp中Mat.M ...
java绿幕抠图_无需绿幕的全自动视频抠图工具｜unscreen
早前我有分享过用AI算法去除图片背景的方法(AI抠图),最近看到群里有人分享了一个视频抠图的网站.同大家一起分享下. 抠图是一个相关行业的必备技能,但是大部分小白只有看大声炫技的份.此时多么希望能 ...
视频制作中的绿幕与拜耳阵列
先来欣赏一些大片背后的特效. 现在国内的电影市场越来越大,做短视频的自媒体也越来越多,在他们的后期视频制作的片花中可以看到很多都在使用绿幕或者蓝幕,这是为什么呢? 首先肯定是为了抠图的方便.将主体部分 ...
绿幕直播、虚拟直播的总结
前言: 2021年春节前和春节后的两三个月, 对接了一些绿幕直播的客户, 我们自己去做直播, 出差去拜访主播,在不同的手机上测试绿幕直播的性能,去聊,去看,思考, 见过很多客户,发现对绿幕直播的认知, ...
没有绿幕，AI给我们造 | 超强的稳定视频抠像 (RVM)来了
稳定视频抠像 (Robust Video Matting,RVM)[1],专为稳定人物视频抠像设计! ‍‍‍图1 抠像效果回想我第一次看见论文效果的时候,是在B站偶然浏览到效果展示视频,效果简直惊为 ...
没有绿幕，AI给我们造！超强的稳定视频抠像 (RVM)来了
稳定视频抠像 (Robust Video Matting,RVM)[1],专为稳定人物视频抠像设计! ‍‍‍图1 抠像效果回想我第一次看见论文效果的时候,是在B站偶然浏览到效果展示视频,效果简直惊为 ...

绿幕抠图/蓝幕布抠图自然背景抠图 Robust Video Matting 内容整理

Speed

Third-Party Projects

绿幕抠图/蓝幕布抠图自然背景抠图 Robust Video Matting 内容整理相关推荐

最新文章

热门文章

绿幕抠图/蓝幕布抠图 自然背景抠图 Robust Video Matting 内容整理

Speed

Third-Party Projects

绿幕抠图/蓝幕布抠图 自然背景抠图 Robust Video Matting 内容整理相关推荐

最新文章

热门文章

绿幕抠图/蓝幕布抠图自然背景抠图 Robust Video Matting 内容整理

绿幕抠图/蓝幕布抠图自然背景抠图 Robust Video Matting 内容整理相关推荐