物体分割--Deep Watershed Transform for Instance Segmentation

Deep Watershed Transform for Instance Segmentation
CVPR2017
https://github.com/min2209/dwt

本文将传统的 watershed transform 分割算法结合 CNN网络实现物体分割

首先来回顾一下 instance level segmentation 都有哪些方法：
1）Proposal based: 基于候选区域提取的方法，首先提取物体的候选区域，然后再对候选区域进行细化分割 refinement
2）Deep structured models: CNN+ conditional random field (CRF)
3）Template matching: CNN+ template matching scheme
4) Recurrent Networks: CNN+ recurrent neural network (RNN) , ConvLSTM
5) CNN[15]: 只用CNN来完成
6）Proposal + recursion [14]: CNN 候选区域+ recursion

3 A Review on the Watershed Transform
首先来看看分水岭算法的大致思路：我们可以将一幅灰度图像看作一个地形图 topographic surface，我们从地形图的最低点 minima 开始注水，同时我们建造谁把barriers 用于防止两个不同注水的的水融合到一起去。这样我们就可以将地形图分割为若干区域，这里每个区域我们称之为 catchment basins，我们建造的水坝 barriers or watershed lines 表示两物体的边界线。

分水岭算法一个问题就是容易过分割。这里我们使用 CNN 网络来解决这个过分割问题。

4 Deep Watershed Tranform
这里我们希望使用 CNN网络来学习预测一个 energy landscape，其每个 basin 对应一个物体，如上图的下半部分所示。但是从头开始学习这个 energy landscape 很难。这里我们定义了一个中间任务，就是我们学习分水岭能量图的下降方向 direction of descent of the watershed energy，然后将这个输入到另一个网络用于学习最终的能量图。我们可以将这个中间结果理解为学习每个目标内的点到其边界的距离，learning to perform the distance transform of each point within an object instance to the instance’s boundary

我们的整体网络结果如下图所示：

4.1. Direction Network (DN)
这里的输入只关注物体区域， the original RGB image gated by semantic segmentation（PSPNet [34]），非物体区域清零。input image is augmented by adding the semantic segmentation as a fourth channel

这一步主要用于 estimate the direction of descent of the energy at each pixel，对应 Figure 4 中的 f

4.2. Watershed Transform Network (WTN)
基于分水岭能量图的下降方向图，我们来 predict a modified watershed transform energy
对应 Figure 4 中的 g

4.3. Network Training
首先预训练 DN and WTN networks
分别定义了几个损失函数：
Direction Network pre-training: mean squared error in the angular domain

Watershed Network pre-training: modified cross-entropy loss

End-to-end fine-tuning:

4.4. Energy Cut and Instance Extraction
得到最终的分割结果

5 Experimental Evaluation
Cityscapes

物体分割--Deep Watershed Transform for Instance Segmentation相关推荐

Deep Snake for Real-Time Instance Segmentation：基于Deep Snake的实例实时分割
本文针对自己所看的 Deep Snake 做一个总结和存档,也方便其他同学学习 -- 阿波,2020.4.23 论文原文:Deep Snake for Real-Time Instance Segme ...
【论文阅读/翻译笔记】Deep Snake for Real-Time Instance Segmentation
原论文标题:Deep Snake for Real-Time Instance Segmentation 原论文链接:https://arxiv.org/abs/2001.01629 翻译:张欢荣用 ...
孤读Paper——《Deep Snake for Real-Time Instance Segmentation》
<Deep Snake for Real-Time Instance Segmentation> 论文借鉴了snake算法,将snake算法做成了轮廓结构化特征学习的方法.DeepSn ...
Deep Snake for Real-Time Instance Segmentation论文理解
用于实时实例分割的Deep Snake算法论文链接https://arxiv.org/abs/2001.01629 论文代码:https://github.com/zju3dv/snake/ 本人小 ...
《Deep Snake for Real-Time Instance Segmentation》
博客迁移至 https://blog.csdn.net/racesu/article/details/107068468 带来不便,敬请谅解
Instance Segmentation入门总结
前一阵子好忙啊,好久没更新了.最近正好挖了新坑,来更新下.因为之前是做检测的,而目前课题顺道偏到了instance segmentation,这篇文章简单梳理一下从检测.分割结果到instance s ...
3D Instance Segmentation via Multi-Task Metric Learning
Abstract 我们提出了一种新方法,用于密集3D体素网格的实例标签分割.我们的目标是使用深度传感器或多视图立体方法获取的体积场景表示,并使用语义3D重建或场景完成方法进行处理.主要任务是学习有关单 ...
gan pytorch 实例_重新思考一阶段实例分割(Rethinking Single Shot Instance Segmentation)
点击上方"CVer",选择加"星标"或"置顶" 重磅干货,第一时间送达作者:谢恩泽 https://zhuanlan.zhihu.com/ ...
《Deep Occlusion-Aware Instance Segmentation with Overlapping BiLayers》简述
引言最先进的实例分割方法通常遵循Mask R-CNN范式,第一阶段检测边界框,然后第二阶段分割实例掩码.然而,本文注意到,大多数性能的改进来自于更好的主干架构设计,而在从目标检测中获得感兴趣区域 ...

物体分割--Deep Watershed Transform for Instance Segmentation

物体分割--Deep Watershed Transform for Instance Segmentation相关推荐

最新文章

热门文章