深度学习|实例分割：3D-BoNet

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

一、摘要

本文提出了一个简单高效的新型3D点云实例分割框架3D-BoNet，核心思想是逐点多层感知（MLP）。该框架直接预测3D边框，同时预测边框内各个点的二分标志，即判断它是属于物体还是属于背景。对应这两个功能，它有两个组成部分，一是3D边框预测网络，二是框内点分类网络。3D-BoNet不仅是单阶段、无锚点、端到端的系统，而且相比于传统思路效率大幅度提高，因为它不需要非极大值抑制（NMS）、特征采样、聚类、投票等后处理操作。在数据集ScanNet 和 S3DIS上的结果显示，本文提出的方法可以有十倍的速度提升。

二、主要算法

1、主要思路

本文主要是针对传统方法的缺点，提出了一种全新的架构，因此要理解本文的思路，就需要先对传统方法做一些分析。

3D点云实例分割在此之前主要有两类，第一类是基于候选目标框的算法(Proposal-based methods)，这类方法通常先生成大量的候选框，然后依赖于两阶段的训练和昂贵的非极大值抑制等操作来对密集的候选框进行选择，缺点自然是运算量特别大。第二类是无候选目标框的算法(Proposal-free methods)，这类方法的核心思想是为每个点学习一个分类，然后再通过聚类方法来将属于同一个实例的点聚集到一起，缺点最终聚类到一起的实例目标性比较差，而且后处理步骤的时间成本也比较高。

明确了传统方法的缺陷，以及造成缺陷的原因，那么改进的思路就自然浮出来了，也就是本文的核心思路。首先不使用候选框，但为了提高目标性，不能放弃边界框，所以可以直接预测边界框，这带来一个问题，就是怎样训练，也就是怎样把预测的边界框和真值对比，作者为了解决这个问题，就设计了一种边界框关联的方法，把预测和真值关联在一起，完成关联，后续的损失值设计等步骤就好做了。最后再对回归的边界框内的点做一个二分类，把背景点去掉，就可以得到实例分割的结果了。

2、算法实现

按照上面的思路分析，我们把思路变成每一步具体的步骤就可以了。

首先看整体框架，如下图所示。

从上图可以看出，得到点云之后，首先提取全局特征，直接使用这个全局特征来预测边界框。与此同时，提取点的特征，待边界框回归结束以后，某些点就会落入对应的框中，这样就可以进行二值分类，分割出实例目标。

为了更详细地了解框架内部工作流程，作者还提供了另外一张图，如下图所示。

从框架流程图里，我们可以明确地看到之前提到的边界框的关联，因为这个关联的需求是本文提出的框架所带来的新问题，也是本文的核心内容，所以作者为了解释清楚，专门为这个模块绘制了一张图。

从上图就可以非常详细地看到这个模块的流程了，梳理一下，大致可以分为以下几步：

1）分配预测框给最近的真值框

2）计算顶点之间的欧式距离、交并比、交叉熵

3）计算损失函数

4）反向估计

完成了边界框的回归，剩下的最后一步就是背景点的剔除了，具体流程图下图所示。即根据点特征和边界框的得分，对框内的点进行二分类。

三、实验

作者首先展示了实例分割效果，如下图所示。

从分割效果上可以看出，本文的方法分割更精细。为了定量对比，作者在数据集ScanNet 和 S3DIS上和其他方法的精度统计结果做了分析，结果如下表所示。

从表中可以看出，该方法只在部分指标上取得了最优结果，但由于它的效率远远大于其他方法，所以整体上会更有优势。

四、结论

作者提出了一种简单高效的3D点云实例分割方法，克服了传统基于候选框和不使用候选框两类方法的缺点，同时为了解决新方法带来的数据关联问题，使用了最优分配的思路实现了损失函数计算。经过候选框预测和背景点剔除两步之后，能够很好地完成实例分割，并且在效率上是传统方法的十倍，整体上取得了巨大优势。

推荐阅读：

专辑|相机标定
专辑|3D点云
专辑|SLAM
专辑|深度学习与自动驾驶
专辑|结构光
专辑|事件相机
专辑|OpenCV学习
专辑|学习资源汇总
专辑|招聘与项目对接
专辑|读书笔记

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近1000+星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈里有高质量教程资料、可答疑解惑、助你高效解决问题