PartNet: A Recursive Part Decomposition Network for Fine-grained and Hierarchical Shape Segmentation

摘要
3D分割可被视为多类标签问题。
现有模型针对固定标签集进行训练，极大地限制了它们的灵活性和适应性。本文中，我们采用自上而下的递归分解，并基于递归神经网络开发了第一个用于3D形状的分层分割的深度学习模型。
一介绍
数据驱动方法比传统几何方法具有明显的优势。（数据驱动不知道什么意思）
如今研究人员一直在寻求利用深度神经网络的强大特征学习能力来取代以前手工制作的特征。
现有模型存在两个问题。
1 模型针对固定的标签集进行训练，限制了它们的灵活性和适应性。例如，训练时，椅子分成三个语义部分的模型不能用于正确地分割具有四个部分的椅子。
2 不能利用形状分解的层次性。
我们方案的优势
1 通过将多类标记问题划分为二元标记问题，减少了形状分割的困难。2可以利用不同层次的结构约束，高层次的分割限制低层次的分割。

图1
PartNet以自上而下的递归方式划分3D点云，从而形成细粒度的层次结构。根据输入形状的结构复杂性，可以使用针对Chair类训练的相同模型将不同的椅子模型分割成不同数量的部件。
过程：
从完整点云开始，执行递归二进制分解，其中层次结构中所有节点处的分解网络共享权重。在每个节点处训练节点分类器，确定类型（邻接或对称）以及分解是否应该停止的标准（叶节点）。高级别节点中提取的特征递归传播到低级别的节点。因此，高级别的分解提供上下文，限制低级别的分段。同时，为了提高每个节点的分割精度，我们利用为相应部分提取的形状特征来增强递归上下文特征。我们的方法能将点云中的3D形状分割为不固定数量的部分，显示出强大的通用性和灵活性，并实现了最先进的性能。
使用ShapeNet数据集训练网络，对于每个形状，使用现有的基于规则的方法构建层次结构[35]，有助于训练更快收敛。在每个节点处计算loss，包括节点分类loss和二进制点标记loss。
由于动态的基于RVNN的架构的灵活性，可对任意数量的部件进行高度细粒度的分解。此外，它恢复了导致标记精度的部分关系（邻接或对称），例如，可以识别对称部分，从而将其标记为正确（图1）。
主要贡献包括：
提出了基于动态RvNN架构的自上而下的分层，对3D形状细化分割的深度学习模型
集成了上下文信息和每个零件的几何形状的零件特征学习方案。
构建了一个3D形状的细粒度，零件实例分割的基准。
应用我们的细粒度结构恢复高质量的图像形状重建。
二相关工作
3D形状的分层分割
3D形状可用part以分层构造方式建模，这在文献【20】中被证明。受此想法，我们对3D形状进行分层分解。采用自下而上的分组方法或基于全局拓扑分析的自上而下方式来实现分层形状分割。给定一个预先分割的3D形状，Wang等人基于接近度和对称关系推断出部件的层次组织。后来，文献【29】通过无监督学习进行改进。再后来，易等人提出了一种有监督的学习方法，用于3D形状的分层分割。
以上模型都需要一组固定的语义标签。
然而我们的方法不需要规定的规范层次结构。
递归神经网络
递归神经网络（RvNN）由Socher等人开发，用于文本和图像理解，以及3D形状分类。最近，李等人引入了生成递归自动编码器，用于生成3D形状结构。给定预分割的3D形状的集合，通过基于RvNN的部分结构的编码和解码来学习自动编码器（VAE）模型。基于RvNN的VAE也被训练用于3D场景生成，结构感知单视图3D重建和子结构先验学习的零件组合。
三方法
我们首先介绍PartNet的整体架构，它是一个递归的部分分解网络。
图2 PartNet的架构。在每个节点处设计了三个模块，分别为上下文传播，层次结构构建和点云分割。
3.1 递归部分分解网络
图2显示了PartNet的体系结构。将三维形状的点云作为输入，PartNet执行自顶向下分解，并在part实例级别输出分割点云。
在每个节点上设计了三个模块：
•节点解码模块，用于将全局上下文信息从当前节点传递给其子节点。
•节点分类模块，用于构建分解层次结构的拓扑结构。指的是预测分解节点类型以及何时停止分解的节点（叶子节点）。
•节点分段模块，用于执行当前节点的点云分割。通过学习点分类网络来实现。
下面我们详细讨论这些模块。
节点解码模块
首先利用pointnet提取128D特征，然后将其复制并连接，形成256D父节点特征。将该256D特征解码为两个128D特征，其中一个用于其两个子节点中的每一个，我们将其称为递归上下文特征。通过Max pooling提取128D特征，称为零件形状特征。然后，128D零件形状特征与从父节点传递的128D递归上下文特征连接，形成当前节点特征。

图3 节点解码模块和节点分类模块的网络设计。递归上下文特征和部分形状特征被连接并馈送到节点分类器中
解码模块采用具有tanh激活函数的双层全连接网络
所有PointNets都使用点法线来改善细粒度的零件分割性能。因此，PartNet的输入张量尺寸为2048×6。
节点分类模块
节点分类模块将节点类型预测为以下三个之一：邻接，对称或叶子节点。通过确定节点如何以及是否拆被分，该模块构造了层次结构的拓扑结构。该节点分类模块由两个具有tanh非线性的全连接层实现。
请注意，当一个节点被分类为对称节点时，我们将其左子节点解释为对称生成器，将其右子节点解释为对称参数。在对称生成器部分上应用对称参数获得该对称节点的完整点云。例如，对应于转椅腿部（图1，左）中的辐条的节点是旋转对称节点。它的左子代表一个辐条的点云，右子代表对称轴和对称折叠。
节点分割模块
我们使用PointNet提取每点特征，从而得到N×128特征矩阵。然后对于每一行（点特征），我们通过连接256D当前节点特征来增强它。生成N×384特征矩阵，将其送到点分类网络以产生逐点二进制标签。
对于对称节点，仅需要对其左子节点（即对称生成器）进行分段。在分割之后，基于预测的对称参数将点标签传送到所有其他对称对应物。

图4 节点分段模块的网络设计
3.2 损失函数
对于每个训练点云，PartNet的整体损失函数Lpartnet由所有相关节点上的平均节点分类loss和平均节点分段loss组成

其中Lclass 和Lseg 分别是节点n的分类loss和分段loss。 H是层次结构中所有节点的集合，T是所有非叶节点的集合。
3.3训练细节
4.结果和评估
4.2分割结果和评估
我们的方法在复杂零件结构上也能进行精确的细粒度分割。此外，一旦经过训练，可以使用相同的模型将测试点云分成不同数量的部分，从而展示其灵活性和通用性。图6演示了PartNet的相同模型如何根据结构复杂性将类别中的不同形状分割为任意数量的目标部分。

图6 根据输入形状的结构复杂性，可以使用在椅子组上训练的相同PartNer模型将不同的椅子模型分割成不同数量的部件。
消融研究的定量评估
我们感兴趣的是PartNet中使用的两个重要节点特征的效果：递归上下文特征（RCF）和零件形状特征（PSF）。节点分类（图3）和节点分割（图4）删除了RCF，为了补偿RCF缺失，128D零件形状特征被复制到256D特征中，使用FineSeg训练集重新训练网络。在没有PSF中，仅从节点分类模块中移除PSF。
** ShapeNet对细粒度分割的挑战**
我们在ShapeNet上进行细粒度分割。我们从ShapNet中随机选择一组形状，并使用PartNet对它们进行分割。在下图中，可以看出我们的方法完成了细粒度的分割，此外，我们的方法获得了分解部分的邻接关系和对称关系。

4.3 语义分割的比较
虽然PartNet是为细粒度分割而设计的，但递归分解对于语义分割应该更好，因为后者通常是更粗略的分割。
请注意，PartNet不会为点生成语义标签，因此无法执行带标签的分段。为了进行比较，我们向PartNet添加了一个额外的模块，以预测它分解的每个部分的语义标签。部件标签预测模块将叶节点的节点特征作为输入，并输出该叶节点中包括的所有点的语义标签。该模块使用三个完全连接的层实现。
4.4实例分割的比较
SGPN 是第一个学习3D点云实例分割的深度学习模型。它对对象实例进行分段并预测每个实例的类标签，这与我们的方法非常相似（增强了标签预测模块）。
比SGPN的优点：我们的方法执行自上而下的递归分解，将整个形状分割成级联的部分形状分割。其次，SGPN使用的点特征仅是点卷积特征，而我们的特征既考虑局部部分形状又考虑全局背景。
6结论
我们提出了一种自上而下的递归分解网络，用于3D点云的细粒度分割。
通过层次分解方案，即使对于高度复杂的形状，我们的模型也可以获得细粒度和精确的分割。与大多数现有的基于加深学习的分割模型不同，我们的方法根据其结构复杂性将形状分割成任意数量的部分，而不是产生具有固定标签集的标记分割。即使对于语义分割，我们的模型也可以实现卓越的性能，受益于我们的分而治之的细分学习。
该方法有一些限制，首先，尽管PartNet以分层方式对形状进行分段，但得到的分段层次结构不一定有意义。其次，尽管我们的模型可用于将不同形状分割成不同数量的零件，而不是针对固定零件标签组。它仍然需要分别训练每个形状类别。学习一个更通用的模型来从多个类中递归分解形状将是一个非常有趣的未来方向。第三，未来的另一个方向是以无人监督的方式学习分层分割，而不需要建立地面真相层次结构。

PartNet: A Recursive Part Decomposition Network for Fine-grained and Hierarchical Shape Segmentation相关推荐

抓取检测之 End-to-end Trainable Deep Neural Network for Robotic Grasp Detection and Semantic Segmentation
前言: 最近研究没有进度,就想着找几篇质量高点的最近的关于抓取检测的论文,这篇文章很新,联合了抓取检测和语义分割,正好自己也想着将语义分割应用到自己的抓取网络中,奈何自己编码基本功不到位,只能先看看思 ...
[PaperReading]: Cascaded Decomposition Network for Cross-Domain Few-Shot FER
link: code:https://github.com/zouxinyi0625/cdnet paper:https://arxiv.org/abs/2207.07973 motivation: ...
[论文阅读]BiSeNet V2: Bilateral Network with Guided Aggregation for Real-time Semantic Segmentation
前言光看名字,看到Guided Aggreagation感觉又是一个使用attention的(全局特征指导局部特征)? Abstract 问题的提出: 现有的加速model的方法大部分都是牺牲低等级 ...
论文主要要点记录《BiSeNet V2: Bilateral Network with Guided Aggregation for Real-time Semantic Segmentation》
摘要: 为了获取语义信息而丢失了底层细节信息,提出细节获取和语义信息分开获取. 较浅的网络层获取细节信息,较深的网络层获取语义信息融合层融合特征表示提出助推器训练策略booster trainin ...
基于视觉的机器人抓取: 论文及代码(Vision-based Robotic Grasping: Papers and Codes)
本文同步于微信公众号:3D视觉前沿,欢迎大家关注. 本文总结了基于视觉的机器人抓取的相关论文及代码,同步于 GitHub. 机器人抓取必需的信息是相机系下抓取器的6DoF位姿,包括抓取器的3D位置和抓 ...
CVPR2019论文题目中文列表
英文题目中文题目 Finding Task-Relevant Features for Few-Shot Learning by Category Traversal 少镜头学习中用类别遍历法寻 ...
【CVPR2019】论文完整列表一
CVPR 2019 Paper list No.1-1000 ?CVPR2019 完整列表二论文题目与链接 Finding Task-Relevant Features for Few-Shot L ...
CVPR2019| 最新CVPR2019论文：含目标检测、分割、深度学习、GAN等领域
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散推荐几篇CPRR2019最新论文,含目标检测.分割.深度表示.GAN等领域 [1]Strong-Weak Distr ...
CVPR学习（三）：CVPR2019－各个方向
一.各个方向视频人体骨架跟踪 [1]Learning Regularity in Skeleton Trajectories for Anomaly Detection in Videos 论文地址 ...

PartNet: A Recursive Part Decomposition Network for Fine-grained and Hierarchical Shape Segmentation

PartNet: A Recursive Part Decomposition Network for Fine-grained and Hierarchical Shape Segmentation相关推荐

最新文章

热门文章