Abstract

我们提出了一种基于稀疏卷积和点亲和力预测的 3D 实例分割新方法，该方法指示两个点属于同一实例的可能性。所提出的网络基于子流形稀疏卷积[3]，处理体素化点云并预测每个占用体素的语义分数以及不同尺度下相邻体素之间的亲和力。一种简单而有效的聚类算法根据预测的亲和性和网格拓扑将点分割成实例。每个实例的语义由语义预测确定。实验表明，我们的方法在广泛使用的ScanNet基准测试 [2] 上大大优于最先进的实例分割方法。我们在 https://github.com/art-programmer/MASC上公开分享我们的代码。

1. Introduction

近年来，视觉社区见证了3D数据捕获和处理技术的巨大进步。消费级深度传感器使研究人员能够收集3D场景的大规模数据集 [2, 1, 7]。此类数据集的出现使基于学习的方法能够处理各种 3D 任务，例如对象识别、部分分割和语义分割。其中，3D 实例分割是一项重要但具有挑战性的任务，因为它需要基于实例准确分割 3D 点没有固定的标签集。在本文中，我们提出了一种简单而有效的方法来学习点之间的亲和力，该方法基于哪些点被聚类为实例。

3D 数据的不规则性对 3D 学习技术提出了挑战。体积 CNN [21, 15, 12] 首先被探索，因为它们是成功的 2D 对应物的直接扩展。提出了各种技术来降低昂贵的 3D 卷积的成本。 OctNet [17] 和 O-CNN [19] 通过八叉树表示利用 3D 数据的稀疏性来节省计算量。其他方法 [9, 14] 直接处理 3D 点云，无需体素化。虽然显示出有希望的结果，但这些方法缺乏对输入点云的局部结构进行建模的能力。后来的方法 [16, 8, 10] 使用各种技巧对局部依赖关系进行建模，但网络处理的点数仍然非常有限（例如，4、096）。室内空间的点云通常包含更多的点，这意

MASC: Multi-scale Affinity with Sparse Convolution for 3D Instance Segmentation相关推荐

Affinity Derivation and Graph Merge for Instance Segmentation阅读笔记
论文链接:https://arxiv.org/abs/1811.10870 用于实例分割的亲和派生和图合并方法一.简介文章提出了一种基于像素亲和信息的实例分割机制,使用了两个相似的网络结构,一个网 ...
《MA‑CRNN: a multi‑scale attention CRNN for Chinese text line recognition in natural scenes》论文阅读
参考博文: CRNN的一个变种,可以读一读,看看相对于CRNN来说有什么变化?以及为什么? 文章目录 make decision step1:读摘要 step2:读Introduction step3 ...
通俗易懂的解释Sparse Convolution过程
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达作者丨月明星稀风萧萧@知乎(已授权) 来源丨https://zhua ...
Sparse Convolution Submanifold Sparse Convolutional
论文阅读:Submanifold Sparse Convolutional Networks 通俗易懂的解释Sparse Convolution过程
论文阅读：3D Semantic Segmentation with Submanifold Sparse Convolutional Networks
题目:基于子流形稀疏卷积网络的三维语义分割也是spconv,稀疏卷积提出者来源:CVPR, 2018 下载连接:https://ieeexplore.ieee.org/document/85790 ...
Semantic Segmentation -- (DeepLabv3)Rethinking Atrous Convolution for Semantic Image Segmentation论文解
DeepLabv3 Rethinking Atrous Convolution for Semantic Image Segmentation 原文地址:DeepLabv3 代码: TensorFlo ...
(CVPR 2018) 3D Semantic Segmentation with Submanifold Sparse Convolutional Networks
Abstract 卷积网络是分析图像.视频和3D形状等时空数据的事实标准.虽然其中一些数据自然密集(例如照片),但许多其他数据源本质上是稀疏的.示例包括使用LiDAR扫描仪或RGB-D相机获得的3D点 ...
语义分割 DeepLabv3--Rethinking Atrous Convolution for Semantic Image Segmentation
Rethinking Atrous Convolution for Semantic Image Segmentation https://arxiv.org/abs/1706.05587v1 代码还 ...
【语义分割】ASPP：Rethinking Atrous Convolution for Semantic Image Segmentation
文章目录一.主要思想二.实现三.代码一.主要思想为了提高对不同尺度目标的语义分割,作者串联或并联使用不同扩张率的空洞卷积来实现对多尺度上下文的语义信息捕捉. Atrous Spatial P ...

MASC: Multi-scale Affinity with Sparse Convolution for 3D Instance Segmentation

Abstract

1. Introduction

MASC: Multi-scale Affinity with Sparse Convolution for 3D Instance Segmentation相关推荐

最新文章

热门文章