ABSTRACT

本文研究了 3D 实例分割问题，该问题在机器人技术和增强现实等现实世界中具有多种应用。由于3D物体的周围环境非常复杂，不同物体的分离非常困难。为了解决这个具有挑战性的问题，我们提出了一个新的框架来对 3D 实例进行分组和优化。在实践中，我们首先为每个点学习一个偏移向量并将其移动到其预测的实例中心。为了更好地对这些点进行分组，我们提出了一种分层点分组算法来逐步合并集中聚合的点。所有点都被分组为小簇，这些小簇进一步逐渐经历另一个聚类过程以合并成更大的组。这些多尺度组被用于实例预测，这有利于预测具有不同尺度的实例。此外，还开发了一种新颖的 MaskScoreNet 来生成这些组的二进制点掩码，以进一步细化分割结果。在 ScanNetV2 和 S3DIS 基准上进行的大量实验证明了所提出方法的有效性。例如，我们的 MaskGroup 在 ScanNetV2 测试集上以 0.5 IoU 阈值实现了 66.4% 的 mAP，比最先进的方法高出 1.9%。

索引词——点云、3D 实例分割、分层点分组

1. INTRODUCTION

为了解决 3D 实例分割问题，探索了一系列基于检测的方法 [1、2]，用于从观察到的点数据预测 3D 边界框。这些方法生成一个掩码以获取边界框内的实例。此外，基于嵌入的方法 [3、4、5、6、7] 为每个点学习空间或特征嵌入向量，并利用聚类算法获得实例。例如，Jiang 等人 [6] 提出了 PointGroup，这是一种端到端的自底向上架构，它通过考虑对象之间的空隙空间来对 3D 点进行分组。 PointGroup 首先学习空间偏移以将对象点移向它们的实例中心。然后，根据空白区域的距离对所有点进行聚类。一定距离内的两个点合并为一组。然而，很难确定一个特定的单一距离来满足各种情况&

MASKGROUP: HIERARCHICAL POINT GROUPING AND MASKING FOR 3D INSTANCE SEGMENTATION相关推荐

(NeurIPS 2019) Learning Object Bounding Boxes for 3D Instance Segmentation on Point Clouds
Abstract 我们提出了一种新颖的.概念上简单的通用框架,用于在3D点云上进行实例分割.我们的方法称为3D-BoNet,遵循每点多层感知器(MLP)的简单设计理念.该框架直接回归点云中所有实例的3 ...
【文献翻译CVPR2022】SoftGroup for 3D Instance Segmentation on Point Clouds
点云三维实例分割的软分组目录点云三维实例分割的软分组摘要 1 简介 2 相关工作 3 方法 3.1 逐点预测网络 3.2 软分组 3.3 自上而下的精细化 3.4 多任务学习 4 实验 4.1 ...
3D Instance Segmentation via Multi-Task Metric Learning
Abstract 我们提出了一种新方法,用于密集3D体素网格的实例标签分割.我们的目标是使用深度传感器或多视图立体方法获取的体积场景表示,并使用语义3D重建或场景完成方法进行处理.主要任务是学习有关单 ...
CVPR 2020——OccuSeg: Occupancy-aware 3D Instance Segmentation
OccuSeg: Occupancy-aware 3D Instance Segmentation Abstract (一)Introduction (二)Related Work (三)Method ...
OccuSeg: Occupancy-aware 3D Instance Segmentation
图 1. 给定输入的彩色点云,对每个体素的占用大小进行回归,从而预测其所属实例占用的体素数量.自适应聚类方案同时考虑占用信息和嵌入距离,进一步应用于3D实例分割. Abstract 如今,3D实例分割 ...
(ICCV 2021) Hierarchical Aggregation for 3D Instance Segmentation
Abstract 点云上的实例分割是3D场景感知中的一项基本任务.在这项工作中,我们提出了一个简洁的基于聚类的框架HAIS,它充分利用了点和点集的空间关系.考虑到基于聚类的方法可能导致过度分割或分割不 ...
MASC: Multi-scale Affinity with Sparse Convolution for 3D Instance Segmentation
Abstract 我们提出了一种基于稀疏卷积和点亲和力预测的 3D 实例分割新方法,该方法指示两个点属于同一实例的可能性.所提出的网络基于子流形稀疏卷积[3],处理体素化点云并预测每个占用体素的语义分 ...
Deep Projective 3D Semantic Segmentation
Deep Projective 3D Semantic Segmentation 原文:https://arxiv.org/abs/1705.03428 深度投影3D语义分割摘要三维点云的语义分割 ...
HiFormer Hierarchical Multi-scale Representations Using Transformers for Medical Image Segmentation
[WACV2023] HiFormer: Hierarchical Multi-scale Representations Using Transformers for Medical Image S ...

MASKGROUP: HIERARCHICAL POINT GROUPING AND MASKING FOR 3D INSTANCE SEGMENTATION

ABSTRACT

1. INTRODUCTION

MASKGROUP: HIERARCHICAL POINT GROUPING AND MASKING FOR 3D INSTANCE SEGMENTATION相关推荐

最新文章

热门文章