终于！商汤科技开源DAVIS2017视频目标分割冠军代码

（关注52CV——有价值有深度的公众号~）

用目标重识别改进视频目标分割。

传统视频分割经常依赖于时序连续来生成mask（目标的掩膜），而真实的视频中的目标位置往往存在着一些跳变，比如在目标快速漂移和被遮挡的时候因为较大的位移而使得这种假设目标运动连续的算法失败。为了克服这个问题，来自香港中文大学、哈尔滨工业大学和商汤科技公司的研究团队提出了一种更有效的机制，即通过自适应的目标重识别（object re-identification）应对目标丢失。

基于此的目标重识别视频分割（VS-ReID）模型包括目标mask生成模块和ReID模块。mask生成模块通过光流卷曲（flow warping）生成初始的（目标-背景）引导概率图，ReID模块则在视频序列中通过自适应匹配检索丢失的目标实例。这两个模块迭代应用，有效解决了视频分割中突然的目标位移过大带来的丢失，VS-ReID模型在2017 DAVIS视频分割比赛中获得了冠军。

问题描述：给定视频序列和第一帧的标注，输出所有实例后续的mask

困难点：实例分割中小目标和精细的结构与尺度和姿态的变化，跟踪中频繁的遮挡：

应对策略：Mask 生成模块与目标重识别模块

VS-ReID算法总览：

Mask生成模块示图：

通过前后帧的光流再前一帧mask的卷曲，生成引导概率图：

目标重识别模块：

从重识别模块给定的包围盒恢复目标mask:

例子：在第21帧和80帧恢复了两个之前被遮挡的目标：

DAVIS 2017比赛测试集上取得了最好的精度：

一些分割示例：

算法来自论文《Video Object Segmentation with Re-identification》

https://arxiv.org/abs/1708.00197

代码：

https://github.com/lxx1991/VS-ReID

https://liuziwei7.github.io/projects/VSReID.html

点击阅读原文可以在www.52cv.net查看本文和代码主页。

欢迎随手转发，让更多人看到——不是看到这个算法好，而是看到你很努力

更多精彩推荐：

视频语义显著实例分割数据集SESIV

重磅！彭博社“机器学习基础”教程视频及讲义下载

谷歌更新TensorFlow目标检测API

MultiPoseNet:人体检测、姿态估计、语义分割一“网”打尽

阿里巴巴提出Auto-Context R-CNN算法，刷出Faster RCNN目标检测新高度

终于！商汤科技开源DAVIS2017视频目标分割冠军代码相关推荐

商汤科技开源DAVIS2017视频目标分割冠军代码
出处"来自微信公众号:我爱计算机视觉" 商汤科技开源DAVIS2017视频目标分割冠军代码用目标重识别改进视频目标分割. 传统视频分割经常依赖于时序连续来生成mask(目标的掩膜 ...
AAAI 2020论文解读：商汤科技发布新视频语义分割和光流联合学习算法
来源 | Every Frame Counts: Joint Learning of Video Segmentation and Optical Flow 编辑 | Carol 出品 | AI科技大 ...
AAAI 2020论文解读：商汤科技提出新弱监督目标检测框架
来源 | Object Instance Mining for WeaklySupervised Object Detection 编辑 | Carol 出品 | AI科技大本营(ID:rgznai1 ...
商汤科技中科院自动化所：视觉跟踪之端到端的光流相关滤波 | CVPR 2018
作者丨朱政学校丨中科院自动化所博士生单位丨商汤科技研究方向丨视觉目标跟踪及其在机器人中的应用本文主要介绍我们发表于 CVPR 2018 上的一篇文章:一种端到端的光流相关滤波跟踪算法.据我们所 ...
商汤科技招聘全职研究员和实习生
作为全球领先的人工智能平台公司,商汤科技SenseTime是中国科技部指定的首个"智能视觉"国家新一代人工智能开放创新平台.公司自主研发并建立了全球顶级的深度学习平台和超算中心,推 ...
合成视频以假乱真新高度！商汤科技、中科院、南洋理工大学联合提出当前最高清的语音驱动视频生成系统...
点击我爱计算机视觉标星,更快获取CVML新技术昨天ArXiv新出一篇效果异常赞的语音驱动的人脸视频合成论文,出自商汤科技,视频效果异常好.给定一段15分钟的演讲视频,应用该技术,即可生成一段该人物新 ...
ICCV2019 视频理解比赛冠军代码库，商汤开源X-Temporal
作者:商汤 X-Lab 组编译:CV君今天,来自商汤科技的 X-Lab 组开源了用于视频理解的代码库X-Temporal,提供了一众 State-of-the-art 的视频分类模型. 该库基于 ...
商汤科技62篇论文入选CVPR 2019！多个竞赛项目夺冠！
点击我爱计算机视觉标星,更快获取CVML新技术心心念念,人工智能从业者翘首以盼的CVPR 2019终于来了! 作为与ICCV.ECCV并称为计算机视觉领域三大国际会议之一,本届CVPR大会共收到52 ...
ICCV 2019 ｜商汤科技57篇论文入选，13项竞赛夺冠
点击我爱计算机视觉标星,更快获取CVML新技术本文转载自商汤科技SenseTime. 商汤科技及联合实验室共有57篇论文入选ICCV 2019(包含11篇Oral),同时在Open Images.C ...

终于！商汤科技开源DAVIS2017视频目标分割冠军代码

终于！商汤科技开源DAVIS2017视频目标分割冠军代码相关推荐

最新文章

热门文章