论文：https://arxiv.org/pdf/1703.06870.pdf
视频：https://www.bilibili.com/video/BV1ZY411774T?spm_id_from=333.999.0.0

文章目录

论文概述
Mask-RCNN主体结构
Mask分支结构
训练注意点！
Mask-RCNN损失函数

论文概述

Mask-RCNN模型论文第一张图：

Mask-RCNN模型= Faster RCNN模型（RoI pooling 更换为 RoIAligh） + Mask分支

提供了两种head结构，最常用的还是右边的FPN结构的：

在消融实验中：
（1）a图是backbone区别；
（2）b图是每个像素点在类别间不存在竞争关系，是解耦的，不使用softmax效果更好；
（3）c图表明ROI Align 很厉害；
（4）d图比较了ROI Align 和 ROI pooling，在实例分割里ROI Align 表现很好，在目标检测里ROI Align 也更好；
（5）e图展示FCN全卷积网络比MLP更好。

Mask-RCNN主体结构

两个分支的 ROI Align 不一样，mask分支的ROI Align 输出是14x14，因为分割想要获取更多信息，所以pool不能过猛。

Mask分支结构

每个类别都有一个28x28的mask蒙版，彼此之间不耦合。

Mask-RCNN与FCN区别：
（1）FCN最后的分割特征，会沿channel方向对每个像素做softmax，也就是类别之间存在竞争关系，某个像素点属于类别1的概率增加的话，那么这个像素点属于别的类别的概率就会减少，这是耦合的。
（2）Mask-RCNN对于每个类别都有一个mask蒙版，而且不会沿channel方向对每个像素做softmax，不存在竞争关系。

训练注意点！

训练Mask-RCNN的时候，传入mask分支的是RPN网络提供的，而且只需要正样本proposals；
Mask-RCNN在推理的时候，传入mask分支的是由Faster RCNN网络提供的。

训练的时候，正样本proposals提供的框可能如下所示，这些bbox不是gt bbox，不是准确的，但是是必然符合与gt bbox有iou交集的，这些bbox中肯定是有目标的，将这种特征图传入mask分支训练，有一定数据增广（随机裁剪）的作用。
推理的时候，Faster RCNN网络已经nms掉多余的框，只留下Faster RCNN网络认为最准的目标框，这个时候把这个目标框传入mask分支，就能得到mask结果。

Mask-RCNN损失函数

前两项是Faster RCNN的损失，最后一项是mask分支损失。

下图显示了训练过程中的mask分支损失计算：

推理的时候：

【深度学习】Mask-RCNN 计算机视觉实例分割模型介绍 Mask分支相关推荐

深度学习应用篇-计算机视觉-语义分割综述[5]：FCN、SegNet、Deeplab等分割算法、常用二维三维半立体数据集汇总、前景展望等
[深度学习入门到进阶]必看系列,含激活函数.优化策略.损失函数.模型调优.归一化算法.卷积模型.序列模型.预训练模型.对抗神经网络等专栏详细介绍:[深度学习入门到进阶]必看系列,含激活函数.优化策略 ...
HALCON 21.11：深度学习笔记---对象检测, 实例分割(11)
HALCON 21.11:深度学习笔记---对象检测, 实例分割(11) HALCON 21.11.0.0中,实现了深度学习方法. 本章介绍了如何使用基于深度学习的对象检测. 通过对象检测,我们希望在 ...
[转载] python实现语义分割_使用Keras实现深度学习中的一些语义分割模型
参考链接: Keras中的深度学习-数据预处理 Keras-Sematic-Segmentation 使用Keras实现深度学习中的一些语义分割模型. 配置 tensorflow 1.13.1+ten ...
动手深度学习13：计算机视觉——语义分割、风格迁移
文章目录一.语义分割 1.1 语义分割简介 1.2 Pascal VOC2012 语义分割数据集 1.2.1下载.读取数据集 1.2.2 构建字典(RGB颜色值和类名互相映射) 1.2.3 数据预处 ...
化学实验室自动化 - 1. 深度学习视觉检测（实例分割） - Mask-RCNN模型训练和预测
在上一篇文章中,我们完成了化学实验室常见物体的COCO格式的实例分割数据集制作.上一篇文章的数据集中总共只有65张图像,而且被分成了训练集.验证集和测试集,经Mask-RCNN模型训练测试,发现模型的 ...
maskrcnn用于目标检测_用自己的数据训练Mask R-CNN目标检测/分割模型
摘要: 本文讲述了如何使用Mask-CNN对图像中的大量数据进行目标识别与目标分割. 计算机非常擅长数字运算,但对分析图像中的大量数据束手无策.直到最近找到了解决方法,即创建图像处理单元库,利用数千个 ...
Mask R-CNN：实例分割与检测算法
摘要目的:对象实例分割(区别出不同的对象) 提出:Mask R-CNN(扩展的FasterR-CNN)--通过在每个RoI处添加用于预测分割的mask(小的FCN),与用于分类和边界框回归的Fast ...
化学实验室自动化 - 1. 深度学习视觉检测（实例分割） - COCO格式的化学实验室常见物体实例分割数据集制作
前言随着自动化.智能化技术在各行各业获得了广泛应用,化学实验室领域也不可避免的迎来了变革.视觉检测是自动化和智能化的基础,本文将介绍化学实验室常见物体的COCO格式的实例分割数据集的制作方法,后续将 ...
深度学习7 Transformer系列实例分割Mask2Former
文章目录前言正文开源地址安装验证(下载对应模型) 训练注册自定义数据集指定训练数据集训练状况处理 1)显存不够 2) 3)数据集分类数与模型不一致前言正文开源地址 https: ...

【深度学习】Mask-RCNN 计算机视觉实例分割模型介绍 Mask分支