CVPR 2021 | 港大、牛津提出PAConv: 一种位置自适应卷积，点云分类、分割任务表现SOTA

论文链接：

https://arxiv.org/abs/2103.14635

代码：

https://github.com/CVMI-Lab/PAConv

一、引言

近年来，深度学习在三维点云处理上取得了显着进步，但鉴于点云的稀疏性、不规则性和无序性，这仍然是一项具有挑战性的任务。现有方法大致分为三类：

第一类是对点云进行体素化以便可以采用三维网格卷积处理，然而重要的几何信息可能由于量化而丢失，体素化通常也会带来额外的存储和计算成本；
第二类是用共享MLP处理所有点，这种方式难以表征点云空间复杂的变化关系；
第三类则是设计可以直接处理点云的卷积核，现有方法亦受限于计算复杂度或灵活性，本文中也特别对现有的点云卷积与本文方法的关系和区别进行了详尽的讨论。

本文提出了一种即插即用的位置自适应卷积PAConv，通过动态组装基本权重矩阵来构造内核，这些权重矩阵的组合系数由ScoreNet自适应地学习点的相对位置关系得到。PAConv以数据驱动的方式灵活地对三维点云的复杂空间变化和几何结构进行建模，同时保持很高的效率。另外值得一提的是，最近的点云卷积工作大多采用其量身定制的复杂网络架构，使得我们难以评估到底是其自身卷积操作还是网络设计而带来性能的提升。所以，作者直接将PAConv集成到最简单的MLP点云网络中，旨在最大程度地降低网络结构的影响，以更好地评估PAConv本身的性能。

二、方法概述

首先，本文定义了一个Weight Bank，其中每一个代表着一个权重矩阵，是权重矩阵的个数。直观地，较大的有助于用于内核组装的权重矩阵更加多样化。但是，过多的权重矩阵可能会带来冗余，并带来较大的内存/计算开销。作者发现将设置为8或16是合适的，并在实验部分进行了讨论。

接下来，作者设计了一个ScoreNet，根据点的位置关系学习一个系数向量以组合权重矩阵。具体地，ScoreNet的输入为点云中某一个局部区域的中心点和其相邻点之间的相对位置关系向量，作者在实验部分也探讨了不同的输入表征。输出为一个归一化的系数向量:

其中是一个非线性函数，由MLP实现。代表Softmax归一化函数，是输入的点的位置关系向量，输出向量，其中表示构建核函数时，每个权重矩阵的位置自适应系数。Softmax确保输出的系数在 (0,1) 的范围内，以概率选择每个权重矩阵，系数越高，表示输入的位置向量和权重矩阵之间的关系越强，作者在实验部分也比较了不同的归一化函数。

最终，通过将Weight Bank中的权重矩阵与ScoreNet预测出的相应系数进行组合，得出PAConv的卷积核函数：

PAConv以动态数据驱动的方式构造卷积核，其中权重矩阵的系数是从点的位置关系自适应学习的，该内核组装策略可以灵活地对点云的不规则几何结构进行建模。

此外，由于权重矩阵是随机初始化的并且可能会收敛为彼此非常相似，因此无法保证权重矩阵的多样性。为了避免这种情况，作者设计了一个权重正则化函数来惩罚不同权重矩阵之间的相关性，其定义为：

从而使得不同的权重矩阵将更分散和独立，进一步确保了所生成卷积核的多样性。

至此，本文还将PAConv与现有主流的几种点云卷积PointCNN，PointConv和KPConv进行了详细的对比论述。

三、简单的网络结构

虽然最近的点云网络结构差异较大，但是大多数可以视为经典的MLP点云网络的不同变体。为了评估PAConv的有效性并最大程度地减少复杂网络架构的影响，作者针对不同的点云任务采用了三个基于MLP的经典且简单的网络主干来集成我们的PAConv，而不修改原始的网络架构（如网络层数、特征通道数）。

对于物体分类和物体部件分割任务，作者直接使用PAConv替换了DGCNN中的EdgeConv 和PointNet编码器中的MLP。而对于室内场景分割任务，作者采用了PointNet++最简单的单尺度分组（SSG）版本，并用PAConv直接替换PointNet ++编码器中的MLP。

四、实验

对于物体分类任务，作者采用了ModelNet40数据集，取得了现有方法中最高的分类准确率，并且在不改变原始骨干网络PointNet和DGCNN的结构的情况下，分别带来了明显的提升。

其次，本文还在物体部件分割任务的数据集ShapeNet Part上对PAConv进行了评估，同样也给DGCNN带来了显著的提升。

最后，作者进一步在大规模室内场景分割数据集S3DIS上测试了PAConv的性能。值得一提的是，KPConv和PosPool都对输入点云进行了体素化（Grid-sampling）预处理以获得更规则的输入结构和更多的背景信息来提升性能，然而这种方式不可避免地带来更多的训练内存开销，所以作者直接参考PointNet++ 采用了更简单的块采样（Block-sampling）来进行数据预处理。PAConv依然为骨干网络PointNet++ 带来了明显的提升，并保持着较少的计算开销（FLOPs）。

此外，论文还可视化了ScoreNet学到的系数在空间中的分布。可以看出，对于每个权重矩阵，其系数的分布是不同的，表明不同的权重矩阵捕获了不同的点位置关系。

五、总结

本论文提出了PAConv，一种具有动态内核组装的位置自适应卷积，用于点云处理。PAConv通过结合Weight Bank中的基本权重矩阵以及通过ScoreNet从点位置学习的相关系数来构造卷积核。将PAConv集成到简单的MLP点云网络而无需修改网络配置时，它依然可以表现SOTA，并且保持着很高的模型效率。大量的实验和可视化证明了PAConv的有效性。

CVPR 2021 | 港大、牛津提出PAConv: 一种位置自适应卷积，点云分类、分割任务表现SOTA相关推荐

CVPR2021 | PAConv：一种位置自适应卷积，点云分类、分割任务表现SOTA
导读: 由香港大学CVMI Lab和牛津大学合作提出了一种点云上具有动态内核组装的位置自适应卷积--PAConv: Position Adaptive Convolution with Dynam ...
CVPR 2021 旷世团队提出YOLOF
CVPR 2021 旷世公司提出的YOLOF FPN的成功之处在于,它对目标检测优化问题的分治解决方案,而不是多尺度特征融合.本文不是采用复杂的特征金字塔--仅利用一级特征进行检测.提出了两个关键部分 ...
#今日论文推荐# ICDE 2022 | 港大等提出：基于时空自监督学习的犯罪预测
#今日论文推荐# ICDE 2022 | 港大等提出:基于时空自监督学习的犯罪预测犯罪问题已成为许多城市关注的主要问题,准确的犯罪预测对于政府相关部门的事先决策至关重要.预测城市中每个地理区域的城市 ...
CVPR 2021 | 港科大旷视提出ACON：激活还是不激活？学习自定义激活函数
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达本文转载自:GiantPandaCV | 作者:zzk 简介在该工作中,我们提出了一种名为ACON(Act ...
CVPR 2021 | 论文大盘点：3D目标检测
作者丨我爱计算机视觉@知乎来源丨https://zhuanlan.zhihu.com/p/389319123 编辑丨3D视觉工坊本篇汇总 3D 目标检测相关论文,包含基于单目.基于深度图.基于激光 ...
CVPR 2021 论文大盘点-人员重识别篇
关注公众号,发现CV技术之美本篇文章总结人员重识别相关论文,包含无监督人员重识别,基于视频.部分身体的行人重识别,可见光红外人员重识别,域泛化人员重识别,换装人员重识别,行人检索等等.共计 26篇. ...
CVPR 2021 | 澳洲国立大学提出基于模型的图像风格迁移
©作者|侯云钟学校|澳洲国立大学博士生研究方向|计算机视觉本文从另外一个角度解读,澳洲国立大学郑良老师实验室 CVPR 2021 新工作.一般而言,我们需要同时利用两张图片完成图像的风格迁移(s ...
CVPR 2021 论文大盘点-医学影像篇
关注公众号,发现CV技术之美本文总结医学影像相关论文,包含医学图像分割.医学图像合成.X射线检测等.共计 22 篇. 大家可以在: https://openaccess.thecvf.com/CVP ...
CVPR 2021 论文大盘点-图像视频去雨篇
本文继续总结图像处理相关论文,关注一类特殊的图像修补任务--视频.图像去雨,共计 10 篇. 大家可以在: https://openaccess.thecvf.com/CVPR2021?day=all ...

CVPR 2021 | 港大、牛津提出PAConv: 一种位置自适应卷积，点云分类、分割任务表现SOTA

CVPR 2021 | 港大、牛津提出PAConv: 一种位置自适应卷积，点云分类、分割任务表现SOTA相关推荐

最新文章

热门文章