opencv 阈值分割_CVPR2019实例分割Mask Scoring RCNN

点击上方↑↑↑“OpenCV学堂”关注我

欢迎留言，参与互动讨论，发表自己的看法

作者博客: https://blog.csdn.net/linolzhang

今年的Oral，在coco数据集表现超过了Mask RCNN，来自地平线的华科实习生。

提出背景

Mask RCNN 提出以来，一直是作为经典霸屏，但这里面一直存在一个严重的问题，那就是其score机制：由于沿用了 Faster RCNN 的 class和box，对应class是类别score，并不能代表mask的好坏，看下图：

算法框架

问题提出来，很简单的想法就是，我能否加一个分支预测mask部分的score呢？比如用IoU来度量。

思路很简单，在Mask head的基础上，加了一个分支，将ROI对齐后的特征与得到的Mask做了一个concat，然后通过卷积层+全连接层，得到IoU Score，最后通过score相乘得到最终的得分：

Smask = Scls ∗ Siou

来看网络是如何训练的？给几个key point：

对于新增的IoU分支，训练样本是RPN的正样本(负样本只参与分类)，与Mask分支一致；定义正样本为RPN的Box与Ground Truth的IoU大于0.5。

针对得到的Mask结果，根据阈值(文中是0.5)做二值化，计算二值化结果和 Ground Truth的mask IoU；当二值化mask结果与GT一致时，Loss = 1 - Mask IoU = 0这里的二值化可以考虑修改一下，比如采用soft mask的方案。

3个head分支同时训练。

这里作者试验了多个head，根据试验效果最后选择当前head，这里也有改进的空间，大家可以好好分析一下。推理阶段

对于输出的box做soft-NMS处理后，得到score top-k(文中k=100)的box；这一步和mask RCNN并无区别，根据输出box映射到mask 分支，获取对应的分割图。

将得到的分割图送入mask IoU分支，计算对应得分；

仅使用Mask IoU的score来矫正class core，能够整体反应分割的够不够好；

测试效果

测试效果很不错，请看下图：

在COCO 2017数据集上的表现(不同backbone上均有显著提升)：

论文：Mask Scoring R-CNN

Paper URL: https://arxiv.org/abs/1903.00241github URL: https://github.com/zjhuang22/maskscoring_rcnn

往期精选

海思总裁致团队公开信对技术人员的启示
OpenCV视频分析背景提取与前景提取
使用条件GAN实现图像到图像的翻译
OpenCV4系统化学习路线图与教程

关注【OpenCV学堂】

长按或者扫码即可关注

opencv 阈值分割_CVPR2019实例分割Mask Scoring RCNN相关推荐

神经网络 | Mask Scoring R-CNN：实例分割综述
博主github:https://github.com/MichaelBeechan 博主CSDN:https://blog.csdn.net/u011344545 神经网络 | TensorMask ...
超像素、语义分割、实例分割、全景分割傻傻分不清？
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达在计算机视觉中,图像分割是个非常重要且基础的研究方向.简单来说,图 ...
干货丨计算机视觉必读：图像分类、定位、检测，语义分割和实例分割方法梳理（经典长文，值得收藏）
文章来源:新智元作者:张皓 [导读]本文作者来自南京大学计算机系机器学习与数据挖掘所(LAMDA),本文直观系统地梳理了深度学习在计算机视觉领域四大基本任务中的应用,包括图像分类.定位.检测.语义分 ...
深度学习 --- CNN的变体在图像分类、图像检测、目标跟踪、语义分割和实例分割的简介（附论文链接）
以上就是卷积神经网络的最基础的知识了,下面我们一起来看看CNN都是用在何处并且如何使用,以及使用原理,本人还没深入研究他们,等把基础知识总结完以后开始深入研究这几个方面,然后整理在写成博客,最近的安排 ...
图像分类、目标检测、语义分割、实例分割和全景分割的区别
1.Image Classification(图像分类) 图像分类(下图左)就是对图像判断出所属的分类,比如在学习分类中数据集有人(person).羊(sheep).狗(dog)和猫(cat)四种,图 ...
语义分割和实例分割_一文读懂语义分割与实例分割
以人工智能为导向的现代计算机视觉技术,在过去的十年中发生了巨大的变化.今天,它被广泛用于图像分类.人脸识别.物体检测.视频分析以及机器人及自动驾驶汽车中的图像处理等领域.图像分割技术是目前预测图像领域 ...
图像分割，语义分割，实例分割
目标检测基础 1 semantic segmentation(语义分割) 2 Instance segmentation(实例分割) 3 Panoramic segmentation(全景分割) 学习 ...
计算机视觉：图像分类、物体检测、图像语义分割、实例分割和全景分割
计算机视觉图像分类 Image Classification 物体检测 Object Detection/ Object Localization 语义分割 Semantic Segmentatio ...
计算机视觉、图像分类、目标检测、人脸比对、人脸识别、语义分割、实例分割、图像搜索
计算机视觉.图像分类.目标检测.人脸比对.人脸识别.语义分割.实例分割.图像搜索目录

opencv 阈值分割_CVPR2019实例分割Mask Scoring RCNN

opencv 阈值分割_CVPR2019实例分割Mask Scoring RCNN相关推荐

最新文章

热门文章