【迁移学习】PointDAN: A Multi-Scale 3D Domain Adaption Network for Point Cloud Representation

文章目录

摘要
1.介绍
2.相关工作
- 2.1 3D Vision Understanding
- 2.2 Unsupervised Domain Adaptation (UDA)
3.Model
- 3.1 Problem Definition and Notation
- 3.2 Local Feature Alignment
- 3.3 Global Feature Alignment
- 3.4 训练过程
4.PointDA-10 Dataset
5.实验
- 5.1 实验设置
- 5.2 PointDA-10数据集的分类结果
- 5.3 定量分析
- 5.4 结果可视化
6.总结

摘要

域自适应(DA)方法在广泛的机器学习和计算机视觉任务(即分类、检测和分割)中取得了显著的改进。然而，很少有方法可以直接在3D点云数据上实现域自适应。点云数据的独特挑战在于其丰富的空间几何信息，而整个对象的语义是通过包含区域几何结构来实现的。具体而言，大多数通用DA方法难以实现全局特征对齐并且忽略了局部几何信息，因此不适用于3D域对齐。在本文中，我们提出了一种新的点云数据三维域自适应网络（PointDAN）。PointDAN以多层次方式联合对齐全局和局部功能。对于局部对齐，我们提出了具有动态感受野的自适应（SA）节点模块来建模用于对齐域的可区分局部结构。为了表示分层缩放的特征，进一步引入节点注意模块来加权对象和域之间的SA节点关系。对于全局对齐，采用对抗训练策略来学习和对齐跨域的全局特征。由于3D点云DA场景没有通用的评估基准，我们从三个流行的3D对象/场景数据集（即ModelNet、ShapeNet和ScanNet）中提取一个通用基准（即PointDA-10），用于跨域3D对象分类。在PointDA-10上的大量实验表明，我们的模型优于最先进的通用DA方法。

1.介绍

3D视觉在广泛的现实世界应用（如自动驾驶汽车、机器人和监控系统）中取得了有希望的成果。如今，深度相机或激光雷达传感器捕获了大量的三维点云数据。需要复杂的3D视觉和机器学习算法来分析其内容，以便进一步开发。最近，深度神经网络（DNN）的出现极大地提高了3D视觉理解的性能，包括分类、检测和分割任务。尽管DNN取得了令人印象深刻的成功，但它需要大量的标记数据用于培训，这既耗时又昂贵。这个问题极大地限制了它在现实世界中的推广。

域适配（DA）通过利用具有丰富标签的数据集（源域）的知识建立模型来解决这一问题，它在标签稀缺的数据集（目标域）上具有很好的泛化性。然而，由于分布在不同域/数据集之间的变化，在一个域上训练的模型通常在其他域上表现不佳。大多数DA方法通过将原始特征映射到共享子空间或最小化实例级距离（如MMD、CORALetc）来解决此问题，混合跨域特征。目前，受生成性对抗网络（GAN）的启发，对抗性训练DA方法，如DANN、ADDA、MCDA等，在DA方面取得了令人满意的性能，并引起了越来越多的关注。他们在鉴别器和生成器之间展开零和博弈，以学习域不变表示。然而，大多数现有的DA方法主要针对2D视觉任务，该任务全局地调整不同领域之间的分布变化。而对于三维点云数据，可以对三维空间中的几何结构进行详细描述，不同的局部结构也有明确的语义含义，如椅子的腿，这反过来又结合起来形成整个对象的全局语义。如图1所示，两个3D对象可能很难在全局中对齐，但具有相似的3D局部结构，更容易对齐。因此，迫切需要一个领域适应框架来关注3D DA场景中的局部几何结构。
为此，本文介绍了一种新的基于点的无监督域自适应网络（PointDAN），用于实现三维点云数据的无监督域自适应（UDA）。我们方法的关键是联合调整多尺度，即，以端到端的方式提供点云数据的全局和局部特征。特别地，提出了与动态感受野相关联的自适应（SA）节点来动态地收集和对齐跨域的局部特征。此外，还设计了一个节点注意模块，用于探索和解释节点之间的关系及其在对齐中的贡献。同时，部署了对抗性训练策略，以在全球范围内调整全球功能。由于以前很少有针对3D数据（即点云）的DA基准测试，我们为3D vision DA构建了一个新的基准测试，名为PointDA-10 dataset。它是通过在三个流行的数据集（即ModelNet、ShapeNet和ScanNet）中选择10个重叠类别的样本生成的。
贡献：

介绍了一种新的基于3D点的无监督域自适应方法，通过局部和全局对齐3D对象在不同域中的分布。
对于局部特征对齐，我们提出了具有节点注意的自适应（SA）节点，以利用局部几何信息并动态收集区域结构，以对齐不同域的局部分布。
收集了一个新的3D点云DA基准，命名为PointDA-10数据集，用于公平评估3D DA方法。在PointDA-10上的大量实验表明，我们的模型优于最先进的通用DA方法。

2.相关工作

2.1 3D Vision Understanding

3D vision具有多种数据表示方式：多视图、体素网格、3D网格和点云数据。在上述模式中，由一组具有三维坐标{x,y,z}的点表示的点云是保存三维空间信息的最直接表示。点云可以通过激光雷达传感器直接获取，这带来了从场景分割到自动驾驶等许多三维环境理解应用。PointNet是第一个直接处理点云的深度神经网络，它提出了一个对称函数和一个空间变换网络来获得对点置换的不变性。然而，局部几何信息对于描述三维空间中的物体至关重要，而PointNet却忽略了这一点。因此，最近的工作主要集中在如何有效利用局部特征上。例如，在PointNet++中，一系列的PointNet结构应用于具有不同大小的局部点集，并且以分层方式收集局部特征。PointCNN提出了x-Conv来聚合局部pitch中的特征，并采用了自底向上的网络结构，类似于典型的CNN。
尽管广泛使用，点云数据在标记效率方面存在明显的缺点。在贴标签的过程中，人们需要旋转几次，从不同的角度观察来识别一个物体。在从激光雷达扫描点云数据的真实环境中，某些部分也会丢失或被遮挡（例如桌子失去腿），这使得有效的标记更加困难。在这种情况下，非常需要一种特定的基于3D点的无监督域自适应方法来缓解源标记数据和目标未标记数据的域间隙。

2.2 Unsupervised Domain Adaptation (UDA)

UDA的主要挑战是目标域和源域之间存在分布转移（即域差距）。它违背了传统机器学习算法的基本假设，即训练样本和测试样本具有相同的分布。为了弥补领域差距，UDA方法通过特征对齐匹配域之间的边际分布或条件分布。它通过学习映射函数来解决这个问题，映射函数将原始图像特征投影到跨域的共享特征空间中。大多数算法都试图使类间差异最大化，同时最小化子空间中的类内距离。
除上述方法外，许多基于DNN的领域自适应方法因其在表征学习方面的强大能力而被提出。这些方法的关键是通过端到端的训练场景应用DNN学习域不变特征。另一种方法利用对抗训练策略获得域不变表示。它包括鉴别器和生成器，其中生成器旨在欺骗鉴别器，直到鉴别器无法区分两个域之间生成的特征。这些方法包括对抗区分域自适应（ADDA），域对抗神经网络（DANN），最大分类器差异（MCD）等。
大多数UDA方法都是为2D视觉任务而设计的，主要关注不同域的全局图像特征对齐。而在三维数据分析任务中，区域和局部几何信息对于实现良好的学习性能至关重要。我们提出了一个通用的基于3D点的UDA框架。它很好地保留了局部结构，并探索了所有局部特征的全局相关性。进一步采用对抗训练策略，在局部和全局范围内调整源域和目标域的分布转移。

3.Model

3.1 Problem Definition and Notation

在基于3D点的UDA中，我们可以访问有标签的源域S={xis,yis}i=1ns\mathcal{S}=\{x_i^s,y_i^s\}_{i=1}^{n_s}S={xis,yis}i=1ns，目标域T={xjt}j=1nt\mathcal{T}=\{x_j^t\}_{j=1}^{n_t}T={xjt}j=1nt，其中ntn_tnt是无标签数据点。输入是通常由三维坐标(x,y,z)表示的点云数据，源域和目标域具有相同的标签空间。进一步假设两个域分别从Ps(xis,yis)P_s(x_i^s,y_i^s)Ps(xis,yis)和Pt(xit,yit)P_t(x_i^t,y_i^t)Pt(xit,yit)中采样，而分布位移Ps≠PtP_s \neq P_tPs=Pt违背了i.i.d假设。
UDA的关键在于为跨域样本学习一个映射方程Φ:X→Rd\Phi:\mathcal{X}→\R^dΦ:X→Rd，将原始输入投射到一个可扩展的共享特征空间H\mathcal{H}H。

3.2 Local Feature Alignment

局部几何信息在描述点云对象和域对齐中起着重要的作用。如图1所示，对于相同的“table”类，来自ScanNet的table由于激光雷达扫描遇到障碍物而丢失了部分腿。对齐这两个"table”的关键是提取和匹配相似结构的特征，如桌面，同时忽略不同的部分。为了利用局部几何信息，我们提出自适应选择和更新关键节点，以更好地拟合局部对齐。
自适应节点构建： 这里给出点云中节点的定义。对于每个点云，我们将它的n个局部几何结构表示为n个点集{Sc∣Sc={xc^,xc1,...,xck},x⊆R3}c=1n\{S_c | S_c=\{\hat{x_c}, x_{c1},..., x_{ck}\}, x \subseteq \R^3\}^n_{c=1}{Sc∣Sc={xc^,xc1,...,xck},x⊆R3}c=1n，其中第c个区域ScS_cSc包含一个节点xc^\hat{x_c}xc^和它周围的k个近邻点{xc1,...,xck}\{x_{c1},..., x_{ck}\}{xc1,...,xck}。节点的位置决定了局部区域的位置以及包含哪些点。
为了获取局部特征，以往的工作通常采用直接采用最远点采样或随机采样来获取中心节点的方法。这些方法保证了对整个点云的完全覆盖。然而，对于域对齐，必须确保这些节点覆盖3D几何空间中具有共同特征的结构，并丢弃特定对象特有的部分。这样，具有相似结构的局部区域更适合对齐，而不常见的区域则会带来负面的迁移影响。

受二维视觉中可变形卷积的启发，我们提出了一种新的几何引导移位学习模型，使输入节点在网络的感受野中自适应。与利用语义特征预测偏移量的可变形卷积不同，我们在学习过程中利用局部边缘向量作为指导。如图2所示，我们的模块将每条边的语义信息转换为它的权重，然后将加权的边向量聚合在一起，得到我们预测的偏移方向。直观地说，预测偏移是由周围具有不同重要性的边缘的投票决定的。该算法首先通过点云上最远的点采样来初始化节点的位置，得到节点，然后将它们最近的邻近点集合在一起形成区域。对于第c个节点，其偏移量计算为：

其中x^\hat{x}x^和xcjx_{cj}xcj表示节点及其邻接点的位置，所以xcj−x^cx_{cj}-\hat{x}_cxcj−x^c表示边的方向。vcjv_{cj}vcj和v^c\hat{v}_cv^c是它们从编码器v=E(x∣ΘE)v=E(x|\Theta_E)v=E(x∣ΘE)的提取的中层点特征，RTR_TRT是一个卷积图层中用于迁移特征的权重。我们使用PointNet底层的3个特征提取层作为编码器E。Δx^c\Delta\hat{x}_cΔx^c是第c个节点的预测位置偏移量。
在获得学习偏移Δx^c\Delta\hat{x}_cΔx^c后，我们通过将偏移加回到节点x^c\hat{x}_cx^c并寻找其k近邻点来实现节点及其区域的自适应更新。

然后，通过收集其区域内的所有点的特征来计算最终的节点特征v^c\hat{v}_cv^c：

其中RGR_GRG是一个卷积层的权重，用于聚集点特征，其中RG∪RT=RR_G \cup R_T= \mathcal{R}RG∪RT=R，输出节点特征用于局部对齐。为了更好地结合SA节点的特征，我们还按照通过插值策略将它们插回到每个点，并将它们与跳跃连接的原始点特征进行融合。融合后的特征被输入到下一级生成器中进行更高级别的处理。
SA节点 Attention： 即使实现SA节点，假设每个SA节点对域对齐的目标贡献相等也是不合理的。Attention模块用于建模节点之间的关系，用于权衡不同SA节点对域对齐的贡献，并在更大的空间尺度上捕捉特征。受通道attention的启发，通过引入具有残差结构的瓶颈网络，我们应用节点attention网络来对每个SA节点的贡献进行建模以进行排列：

其中zc=E(v^c(k))z_c=E(\hat{v}_c(k))zc=E(v^c(k))表示表示第c个节点特征的平均值。δ(⋅)和φ(⋅)\delta(\cdot)和\varphi(\cdot)δ(⋅)和φ(⋅)分别表示ReLU函数和Sigmoid函数。WDW_DWD是1×1卷积核的卷积层的权重集，它按比例 r 减少通道数。通道升级层WUW_UWU，其中WU∪WD=WW_U \cup W_D= \mathcal{W}WU∪WD=W，使用比率 r 将通道增加到其原始数量。
SA节点特征对准： 局部对准的偏移量和网络参数的优化对梯度的干扰非常敏感，这使得基于GAN的方法性能不稳定。因此，我们将MMD损失降至最低，以对齐跨域SA节点功能，如下所示：

其中κ是一个核函数，我们在我们的模型中应用径向基函数核。

3.3 Global Feature Alignment

在生成器网络将特征fi∈Rdf_i \in \R^dfi∈Rd与第i个样本相对应之后，全局特征对齐试图最小化跨不同区域的特征之间的距离。在局部特征对齐方面，由于输入感受野的不变性，使得全局特征对齐过程更加稳定，为选择基于GAN的方法提供了更多的选择。在本文中，由于最大分类器差异(MCD)在通用域对齐中的出色表现，我们将其应用于全局特征对齐。
针对SA节点特征提取而设计的编码器也被应用于整个对象的原始点云特征的提取：h~i=E(xi∣ΘE)\widetilde{h}_i = E(x_i | \Theta_E)hi=E(xi∣ΘE)。并将点特征与插值SA节点特征拼接为h^i=[hi,h~i]\hat{h}_i = [h_i, \widetilde{h}_i]h^i=[hi,hi]，以获取多尺度的几何信息。然后，我们将h^i\hat{h}_ih^i提供给生成器网络G，它是PointNet的最后一卷积层(即卷积4)，再通过全局最大池化以获取高级全局特征fi=max−pooling(G(h^i∣ΘG))f_i=max-pooling(G(\hat{h}_i | \Theta_G))fi=max−pooling(G(h^i∣ΘG))，其中fi∈Rdf_i \in \R^dfi∈Rd代表了第i个样本的全局特征，d通常被设计为1024。全局对齐模块尝试将域与两个分类器网络F1F_1F1和F2F_2F2对齐，以在源域决策边界的支持下保持区分性特征。两个分类器F1F_1F1和F2F_2F2提取特征fif_ifi并将它们分为k类，pj(yi,xi)=Fj(fi∣ΘFi),j=1,2p_j(y_i,x_i)=F_j(f_i|\Theta_F^i),j=1,2pj(yi,xi)=Fj(fi∣ΘFi),j=1,2，其中pj(yi,xi)p_j(y_i,x_i)pj(yi,xi)是分类器的K维概率softmax结果。
为了训练模型，总损失由任务损失和差异损失组成。与大多数UDA方法类似，任务损失的目标是最小化源域Xs,Ys{X_s,Y_s}Xs,Ys上的经验风险，其公式如下：

差异损失以两个分类器的Softmax分数之间的l1l_1l1距离计算：

3.4 训练过程

我们应用反向传播[25]来优化端到端培训场景下的整个框架。训练过程总共由两个步骤组成：

首先，需要训练两个分类器F1F_1F1和F2F_2F2，其中差异损失LdisL_{dis}Ldis在公式(8)和分类损失LclosL_{clos}Lclos在公式(7)中。在源域的支持下，需要最大化的差异损失有助于收集目标特征。分类损失用于最小化源域上的经验风险。目标函数如下：
然后，我们通过最小化差异损失、分类损失和MMD损失来训练生成器G、编码器E、节点注意网络W和转换网络R，以获得区分性和域不变性特征。此步骤中的目标函数表示为：

其中λ和β都是手动指定为1的超参数。

4.PointDA-10 Dataset

由于目前还没有针对领域自适应设计的三维点云基准，我们提出了三个不同特征的数据集，即ModelNet10、ShapeNet-10和ScanNet-10，用于点云DA方法的评估。为了构建它们，我们分别从ModelNet40、ShapeNet和ScanNet中提取了10个共享类中的样本。统计和可视化如表1和图3所示。在给定对这三个子数据集的访问权限的情况下，我们分别组织了M→S、M→S*、S→M、S→S*、S→M和dS→S六种类型的适应场景。

ModelNet-10(M)：ModelNet40包含40个类别的干净3D CAD模型。为了提取重叠的类，我们将ModelNet40中的“Night Stand”类看作ModelNet-10中的“橱柜”类，因为这两个对象几乎共享相同的结构。在得到CAD模型后，我们按PointNet++的方式对曲面上的点进行采样，以完全覆盖对象。
ShapeNet-10(S)：ShapeNetCore包含从在线资源库收集的55个类别的3DCAD模型。与ModelNet相比，ShapeNet包含更多的样本，其对象在结构上有更大的变化。我们采用均匀采样的方法采集形状网表面的点，与模型网相比，形状网可能会丢失一些边缘点。
ScanNet-10(S*)：ScanNet包含扫描和重建的真实室内场景。我们分离出包含在带注释的边界框中的10个类实例进行分类。物体经常丢失某些部分，并被周围环境遮挡。ScanNet是一个具有挑战性但现实的领域。

5.实验

5.1 实验设置

在这一部分中，我们在无监督域自适应的标准协议下对提出的方法在点云数据分类任务中进行了评估。
实现细节：我们选择PointNet作为编码器和生成器G的主干，并采用两层多层感知器(MLP)作为F1F_1F1和F2F_2F2。该方法在PyTorch上实现，使用ADAM作为优化器，使用NVIDIA TIATANGPU进行训练。在权重衰减0.0005下，学习率被指定为0.0001。所有型号都经过了批次大小为64的200个周期的训练。我们从第三卷积层(即卷积3)提取SA节点特征进行局部比对，并将SA节点编号指定为64。
基线：我们将提出的方法与一系列通用的UDA方法进行比较，包括：最大均值差（MMD），对抗性判别域适应（ADDA），域对抗性神经网络（DANN），并且最大化分类器差异（MCD）。在这些实验中，我们采取相同的损失和相同的训练策略，w/o自适应指的是仅用源样本训练的模型，有监督的是完全有监督的方法。
消融研究设置：为了分析每个模块的效果，我们引入了消融研究，它由四个部分组成：全局特征对齐（G），局部特征对齐（L），SA节点模块(包括自适应偏移和注意)（A），以及自训练（P），对模型进行微调，从Softmax得分最高的目标样本生成10%的伪目标标签。
评估：给出源领域的标记样本和目标领域的未标记样本进行训练，所有模型都将在目标领域的测试集上进行评估。所有的实验都重复了三次，然后我们报告了所有表格中TOP-1的平均分类准确率。

5.2 PointDA-10数据集的分类结果

表2总结了在PointDA-10数据集上的定量结果和比较。提出的方法在所有适应场景下都优于所有通用基线方法。虽然M→S*和S→S*的结构域差距最大，但我们的方法表现出了很大的改进，这表明了它在对齐不同的结构域方面的优越性。与基线方法相比，MMD虽然在2D视觉任务中输给了基于GAN的方法，但在一些领域对中的表现仅略逊于它们，甚至超过了它们。这一现象可以解释为由于全局特征在表示多样化几何信息方面的不足而限制了上界。此外，有监督方法和DA方法之间还有很大差距。
表3表示域对上的按类别分类结果M→SM→SM→S、局部对齐有助于提高大多数类别的性能，特别是对于监视器和椅子。然而，一些物体，即沙发和床，在无监督情景下识别是相当具有挑战性的，当这些类的性能下降时，会发生负迁移。此外，我们观察到不平衡的训练样本确实会影响我们的模型和其他域适应（DA）模型的性能，这使得表3略微嘈杂。椅子，桌子和沙发（容易与床混淆）在M到S场景中覆盖超过60%的样本，导致某些类别（例如床和沙发）的下降。

5.3 定量分析

消融研究：我们进一步分析了模型中提出的四种成分（即G、L、S、A）的影响。从表2中我们发现，与SA节点一起，添加局部对齐将带来显著的改进，但只有固定节点的局部对齐不会有很大的改进。上述结果充分验证了SA节点的有效性，这归因于其局部感受野的自适应性和显著的权重。表3中一个有趣的现象是，完整版本的方法在类精度上被G+L+A打败了。这意味着伪标签的推断很容易受到样本在不同类别中分布不平衡的影响，其中某些类别会主导自我训练过程并导致错误积累。
收敛性：我们在图4（d）中评估了所提出的方法以及ModelNet上的基线方法到ShapeNet的收敛性。与基线方法相比，局部对齐有助于加快收敛速度，使其收敛后更加稳定。
SA节点特征提取层：不同层次对中间层特征提取的影响体现在图4©M→S和S*→M。与语义较少的conv1和conv2相比，conv3包含了最好的用于局部对齐的中级特性。

5.4 结果可视化

在图4（a）- 4（b）中，我们可视化了两个跨域对象局部对齐的顶部贡献SA节点，以解释局部特征对齐的有效性。匹配节点从Eq5获得的矩阵M=his×hjt∈R64×64M=h^s_i×h^t_j \in \R^{64×64}M=his×hjt∈R64×64中具有最高值的元素中选择。很容易观察到，SA节点表示相似的几何结构，如桌腿、平面，对局部对齐的贡献最大，无论它们位于同一对象之间还是跨域的不同对象之间。它显著地展示了SA节点为局部对齐而学习的公共知识。

6.总结

在本文中，我们提出了一种基于点云数据的三维无监督域自适应网络（PointDAN）。PointDAN是一个基于多尺度特征对齐的专门设计框架。对于局部特征对齐，我们引入自适应（SA）节点来表示跨域的公共几何结构，并应用基于GAN的方法来全局对齐特征。为了评估所提出的模型，我们建立了一个新的3D域适配基准。在实验中，我们已经证明了我们的方法优于最先进的领域适应方法。