原文：Fast Resampling of 3D Point Clouds via Graphs
原文链接：arxiv链接

摘要

为了较少存储、处理过程中和大尺度点云的消耗，我们提出了一种随机重采样策略，使用点的子集来保留特征。所提出的策略是基于图的，表征物体表面以及有效计算。我们使用常规特征提取子来基于应用独立的提出重构错误率来衡量重采样质量。通过最小化重构错误率来获得最优重采样策略。所提出的最优化重采样分布是平移、旋转和尺度不变的。接下来，我们指定图滤波器为特征提取子并研究了基于全通，低通，高通图滤波器和滤波器银行。最后将其应用到三个任务当中：大尺度可视化，精确配准和鲁棒的形状建模。实验效果表明该方法的有效性和有用性。

介绍

随着近期的3D感知技术的发展，3D点云逐渐成为3D目标和周围环境的重要表达方式。在许多的应用当中，例如虚拟现实，移动映射，文物的扫描，3D打印和数字化模型【1】。一个物体表面的3D点一可以通过感知设备来采集获得，名为3D点云。不同于3D坐标系，3D点云也有一些属性，例如颜色，温度和纹理。基于3D点的存储顺序和空间关联性，现有点云可以分成两种类型：有序点云和无序点云【2】。3D点通过3D感知器或者3D扫描仪来获取，组合在网格里，就像图像中的像素一样；将这类点称为有序点云。对于复杂目标来讲，我们需要从多个视角点扫描整个物体，然后合并这些无序点。从这个角度来讲，处理有序点云较无序点云更容易，因为其具有空间连接性也反应了顺序。而在本文中，考虑无序点云的情况。

3D点云处理在许多3D成像以及视觉系统中越来越重要。在压缩【3，4，5，6】，视觉化【7，8】，表面重建【9，10】，校准【11，12】，编辑【13，14】以及特征提取【15，16，17，18】。

为了解决这个问题，一种方式是考虑表达3D点云的数据结果。例如，【22，23】将3D空间氛围体素来处理，但是其如果想要实现高像素率密集网格就非常耗费空间。【24，25】用octree来表示，空间上来讲非常有效，但是存在离散化错误。【26，27】是用概率生成模型来表达点云分布，但是参数不足以捕获正确的表面，并且有时候参数不够。

另外一个方式是通过mesh来简化一些点。主要思想是通过三角形或多边形的mesh来构建3D点云，其中节点为3D点（不是来源于输入点），边就是点之间的连接，属于一个流形。mesh是通过减少一定数量的结点和边来进行简化。也就是说，一些点合并成为一个点，并且保留了局部结构。其他一些可以在【28-30】里面找到。这类方法的问题就是计算量巨大，并且mesh的简化导致原始点位置的改变因而会引起形变。

在这篇论文中，我们考虑一种3D点云的重采样方式。也就是，我们设计了独立于应用的重采样策略来保留独立于应用的一些信息。例如，传统的在3D点云里的轮廓检测需要非常细致的计算来获取表面的法向量以及分类模型，【27，31】，这很耗费。我们有效的从点集里采样一个小的子集，对于轮廓信息很敏感，在保留相同准确率的情况下代价更小；图1就是一个样例，因为原始3D点云是从一个物体里采样获得的，我们称之为重采样。这个方法减少了原始3D点的数量但是没有改变3D点原始位置。重采样后，不可避免的会损失一些原始点云里的信息。

所提出的方法源自于图信号处理，图信号处理是探索信号与图结构之间的交互性【32、33】。我们使用图来表示点间的局部依赖性，用一种离散的方式来表示一个原始物体的表面。使用图来表示的优势在于可以同时捕获局部和全局点云信息；与3D点相关的每个3D坐标和其他属性都是由底层图的节点索引的图形信号。因而我们使用图信号采样来定义一个重采样问题。然而，图采样方法通常是使用一个确定的方式来选择样本，也就是解决非凸性的优化问题，非常的耗时【34，35，36，37】。为了降低计算复杂度，我们提出了一个有效的随机重采样策略来选择样本集。主要思想是通过非均匀采样分布来生成样本集合，不仅快而且能够保留原始点云中的应用独立的信息。

我们首先提出了一个通用特征提取采样框架。我们使用通用特征提取操作来表示独立应用的信息。在特征提取操作子之上，我们通过一个简单的重构错误来量化重采样的质量，也就是平均平方根错误。我们通过优化平均平方根错误来优化重采样的分布。所提出的最优化重采样分布是平移/旋转/尺度不变的。

接下来，我们固定一个特征提取算子作为图滤波器，并且研究特定优化重采样分布下的图滤波器情况，具体来说分为全通、低通和高通。在每一个情况下，我们获得最优重采样分布并验证其在模拟和真实数据上的性能。进而结合以上不同图滤波器提出基于图滤波银行的表面重构系统，该系统可以增强3D点云里的特征表达。

最后，我们将所提出方法应用在3个应用上：大尺度可视化，准确校准和鲁棒的形状建模。在大尺度可视化上，我们使用高通图滤波器来显示街景和建筑物的轮廓，这避免了可视化中的过饱和问题；在准确校准应用中，我们使用提出的高通图滤波器来提取关键点，这可以使得校准更加准确；在鲁棒的模型建模上面，我们使用所提出的低通图滤波器策略来重构表面，这可以使得重建目标有效抑制噪声。在这三个应用上的表现都说明的所提出方法的有效性。

贡献点 这篇论文从一个新的理论分析角度考量到一个广泛适用的任务。在预处理阶段，非均匀的重采样大尺度点云在许多3d点云处理阶段和商业软件中广泛应用。但是，人们倾向于将此步骤看成是启发式的。该篇论文从理论信号处理的角度来考量3D点云。例如：我们的理论表明，当3D点都被分配相同特征的时候，均匀采样是最优的重采样分布。贡献点如下：

3D点云重采样框架，使用最优重采样分布；
基于图滤波的3D点云的特征提取算子
所提出方法在模拟和真实数据及上的研究；
改论文也之处许多未来3D点云发展上的可能性，例如有效的基于图滤波器银行的3D点云压缩系统，表面重建，以及质量评估系统等。

问题构建

点云重采样

用一个矩阵来表示点云，N个点，每个点K个属性：

属性可以是3D坐标，颜色，纹理和其他。为了区分坐标和其他属性，用XcX_cXc和XoX_oXo来分别表示。

通常点数N都很大。例如，一个建筑的3D扫描需要百万级的点。因而针对大尺度点云来说在存储和数据分析方面都非常具有挑战。在很多应用当中，我们更关注3D点云的子集，以及关键点的表示，或者轮廓点。因而我们使用子集来表示。重采样的过程是重采样M个点（M<N），或者从点云矩阵X中选择M行。重采样的点表示为Xm，M为所选取的坐标，重采样操作子是一个线性映射，定义为：

所提出的重采样效率是非常重要的。因为我们想要避免大量计算，因而我们使用了随机重采样策略。这意味着，重采样的点通过重采样分布来获取。例如π\piπ为一系列重采样的概率，πi\pi_iπi则为第iii个样本被选中的概率。一旦重采样策略确定，生成样本就很有效。这里的目标是在原始点云中找到一个能够很好表示信息的重采样分布。

同样，所提出策略的一致性也很重要。当我们平移，旋转或尺度化点云时，三维点的内在分布不会改变，所提出的重新采样策略也不会改变。

定义1. 当一个点云的采样分布固定后π\piπ，其重采样策略是位移不变的，X=[Xc,Xo]X=[Xc,Xo]X=[Xc,Xo]，那么同样的策略也适用于平移后的点云[Xc+1a,Xo][Xc+1a, Xo][Xc+1a,Xo]；

定义2.当一个点云的采样分布固定后π\piπ，其重采样策略是旋转不变的。X=[Xc,Xo]X=[Xc,Xo]X=[Xc,Xo]，那么同样的策略也适用于旋转后的[XcRXo][XcR Xo][XcRXo];

定义3.当一个点云的采样分布固定后πi\pi_iπi，其重采样策略是尺度不变的。X=[Xc,Xo]X=[Xc,Xo]X=[Xc,Xo]，那么同样的策略也适用于[cXcXo][cXc Xo][cXcXo];

我们的目标就是保障以上三点。

点云的图信号处理

图是自然且有效的来表达3D点云的方式，因为其可以表达原始表面的离散结构。在计算机图形学里，多边形mesh，作为图中的一个表达类，在识别目标形状等领域有较多应用[38]；然而，mesh的构建需要复杂的集合分析，例如计算表面法向量，并且对于点云的严格连接性来说还不够。这里，我们扩展多面体mesh来通过放松限制生成图。这样的图更灵活且可以捕获几何信息。
图构建。我们通过编码点云的邻接矩阵来表示局部几何信息，同时构建图。邻接矩阵表示边的权值：

sigma和tao都是参数如果两个点之间的距离小于tao，那么我们将此两点用来构建连接，边的权值依赖于两个点在3D空间中的相似度。加权矩阵D为含对角元素的对角矩阵Dii=sumj(Wi,j),表明了每个点的密度。这个图是原始曲面的近似离散表示，可以有效地通过已知的结构来构造，如八叉树[24]、[25]。这里我们只使用3D坐标来构建一个图形，但是考虑其他属性也是可行的(3)。对于这个图，点云的属性称为图信号。例如，(1)中的属性s是图的信号索引。
图滤波器一个图滤波器是一个系统，输入图信号，生成两一个图信号作为输出。假定A是图平移算子，这是最基本的nontrivial图滤波器。一些常用的图平移算子为邻接矩阵W，转换矩阵为为D−1WD^{-1}WD−1W，图拉普拉斯矩阵D−WD-WD−W，和许多其他结构相关的算子。图的平移通过一个线性组合权值来替代信号节点；也即y=As∈RNy=As\in R^{N}y=As∈RN，其中s∈RNs\in R^Ns∈RN是输出的图信号（点云的一个属性）。每个线性的，平移不变的图滤波器都是图平移的多项式【32】

hl(l=0,1,...,L−1)h_l(l=0,1,...,L-1)hl(l=0,1,...,L−1)是滤波器参数，LLL是滤波器长度。输出是基于矩阵的向量积y=h(A)sy=h(A)sy=h(A)s.
图的傅里叶变换. 图的平移算子AAA的特征分解是【39】

其中A的特征向量是V，特征值是倒V是一个包含特征向量值的对角矩阵。这些特征向量代表了图的频率【39】λ1\lambda_1λ1是最低的，λN\lambda_NλN是最高的频率。相应v1v_1v1获取了最小的变换率，而vnv_nvn获取最高的变换率VVV也是图的傅里叶变换基础。一个图信号的傅里叶变换为：s^=V−1s\hat{s}=V^{-1}ss^=V−1s。图的傅里叶变换逆是s=Vs^s=V\hat{s}s=Vs^，其中vkv_kvk表示信号在特征向量基上的展开，描述图信号的频率分量。图傅里叶反变换通过组合图信号的频率分量重构图信号。

基于特征提取的重采样

在重采样过程中，由于减少点的个数因而不可避免的会丢失一些点云信息。因而我们的目标是设计独立应用的重采样策略，在特定需求上保留所选取信息。这些信息通过特征来描述。当检测轮廓时，常用计算表面法向量等方法费时费力。因而，我们考虑使用小部分子集来表示。同时保证采样策略平移/旋转/尺度一致性。

特征提取公式

让fff表示特征提取算子，从点云中根据需求进行信息提取。从点云X中提取特征f(X)f(X)f(X)。依赖于应用，这些特征可以是边，关键点和平坦区域【16，17，18，40，19】。在这个章节里，我们考虑基于抽象层级的特征提取算子，并且在下一章节进行实现。

为了衡量重采样算子，我们采样特征，然后插值回原始特征。这些特征表征目标信息。当恢复错误率越小代表性能越好。数学上，我们重采样点云MMM次，在第j步中，我们独立的根据分布π\piπ选取点Mj=iM_j=iMj=i。我们通过衡量表现性能：
∣.∣2|.|_2∣.∣2是 spectral norm. ΨTΨ∈RN×NΨ^TΨ ∈ R^{N×N}ΨTΨ∈RN×N 零填充,（通常协方差矩阵经常这样表示），其是一个对角矩阵，其中对角上的原素>0,其他为0.确保与原始点云大小一致。SSS是用于补偿重采样时的非均匀权重(其实也就等于1/(Mπ)1/(M\pi)1/(Mπ))。SΨTSΨ^TSΨT是普通的插值算子重建原始特性f(X)f (X)f(X)的重新取样版本Ψf(X)Ψf (X)Ψf(X)和SΨTΨf(X)SΨ^TΨf (X)SΨTΨf(X)代表了保存功能重采样后补零形式。引理1表明SSS它有助于提供无偏估计量。

引理1从点云X中提取特征f(x)，因此：

EEE表示样本中的期望值，是从一个分布中生成的独立且随机样本，圈圈是基于行的乘法。证明在附件AAA（其实就是所谓的对角矩阵和向量的乘积可以表示成元素对应的乘积，也就是把主对角元上的元素以此乘到向量的分量上去，因为重采样点云MMM次，所以这里是正比，省去了MMM）。

衡量方法Df(x)Df(x)Df(x)测量重构错误率，也就是重采样之后丢失了多少特征信息，这里并没有使用复杂的插值算子。当Df(x)Df(x)Df(x)很小，在重采样之后保留特征接近于原始特征，意味着信息丢失的少，而Df(x)Df(x)Df(x)的期望是通过重采样和性能评估的错误率。我们的目标在于通过分布来最小化Df(x)Df(x)Df(x)的期望来确保f(x)f(x)f(x)的保留。进而得到了均方差函数(7).

定理1. 函数（7）的均方差函数是：

QQQ是对角矩阵，其中Qi,i=1/πi−1Qi,i=1/\pi_i-1Qi,i=1/πi−1。证明在附录B。

接着考虑重采样的不变性。
定义4 特征提取算子f(.)f(.)f(.)是平移不变的，当特征从一个点云中提取和其平移后是一致的。也即f([XcXo])=f([Xc+1aXo])f([Xc Xo])=f([Xc+1a Xo])f([XcXo])=f([Xc+1aXo])
定义5 特征提取算子f(.)f(.)f(.)是旋转不变的,当特征从一个点云中提取和其旋转后是一致的。也即f([XcXo])=f([XcRXo])f([Xc Xo])=f([XcR Xo])f([XcXo])=f([XcRXo])
定义6 特征提取算子f(.)是尺度不变的,当特征从一个点云中提取和其尺度变化后是一致的。也即f([XcXo])=f([cXcXo])，c>0f([Xc Xo])=f([cXc Xo])， c>0f([XcXo])=f([cXcXo])，c>0

f(.)f(.)f(.)是平移/旋转/尺度不变的，（7）不会因为平移、旋转或尺度变化而改变，因而产生平移/旋转/尺度不变性重采样策略，通过最小化Df(x)Df(x)Df(x)可以得到重采样策略；然而，当f(.)是平移/旋转/尺度变化时，（7）可能通过平移/旋转/尺度变化改变，而引起重采样策略发生相应的变换；

为了解决平移变化，我们可以在处理前将一个点云重定位到原点；也就是说，我们将三维坐标的均值归一化为零。为了处理尺度变化，可以在处理前对三维坐标的大小进行归一化；也就是说，我们使用谱归一化方法∥Xc∥2=c\|X_c\|_2=c∥Xc∥2=c，确保c>=0c>=0c>=0。ccc的选择取决于用户的偏好，ccc是3D坐标和其他属性之间的一种权衡。因而，我们首先将一个点云重定向到原点，然后对其量值进行归一化，以保证其3D点云是平移和尺度不变的。

为了处理f(.)f(.)f(.)的旋转变化，我们考虑下列衡量方法：

常量ccc是3D坐标的谱归一化结果。

不像（7）公式，去除了旋转的影响，Df(x)Df(x)Df(x)考虑通过旋转后最坏情况下的重建错误率。在（9）当中，因为旋转的缘故，我们认为3D坐标是变量。由于旋转矩阵是正交的，且在旋转过程中3D坐标的谱范数不变，因此我们对三维坐标的谱范数进行了约束。最后我们通过最小化D(f(x))D(f(x))D(f(x))的期望获得旋转不变的重采样策略；

为了简单，我们仅对线性特征提取算子进行推导。线性特征提取算子f(.)f(.)f(.)的形式为f(X)=FXf(X)=FXf(X)=FX，其中X为三维点云，fff为特征提取矩阵。

定理2. 让f(.)f(.)f(.)是旋转变化的线性特征提取子，f(X)=FXf(X)=FXf(X)=FX，FFF是NXNNXNNXN的，则Df(x)Df(x)Df(x)期望的形式为

其中QQQ是对角矩阵，证明在附录C。

最优化重采样分布

接下来，我们通过最小化重构错误率来获得最优重采样分布。对于旋转不变提取子，我们最小化公式（8）

定理3 f(.)f(.)f(.)为旋转不变特征提取子，相关重采样策略为：

fi(X)fi(X)fi(X)是f(X)f(X)f(X)的第i行；

证明在附录D。可以看到最优重采样分布与特征的梯度是成正比的；也就是高的梯度有高的概率倾向于被选中。直观上，特征提取算子后的相应反映了每个三维点所包含的信息并决定了每个三维点的重采样概率。对于一个旋转变换的线性特征提取算子，我们最小化(10);

定理4 f(.)f(.)f(.)作为旋转变化的线性特征提取子，当
f(X)=FXf(X)=FXf(X)=FX,对应的最优重采样策略π\piπ是：

常数ccc，以及FiFiFi依然是FFF的第i行，(FXo)i(FX_o)_ i(FXo)i是FXoFX_oFXo的第iii行。

证明在附录E中，可以看到最优重采样分布与特征梯度成正比。特征来源于两个源：3D坐标和其他属性。参数ccc是正规化谱范数用来移除尺度变化的，同时反映了3D坐标与其他属性的衡量关系。

基于图滤波器的重采样

前面的章节均为基于随机特征提取算子。在该章节里，我们设计了图滤波器来有效从点云中提取特征。定义特征为：

这来自于图滤波器（4）的定义。因为图滤波器是一个线性操作子，相应的最优重采样分布也遵循定理3和定理4，其中替换FFF部分即可F=h(A)F=h(A)F=h(A).所有的基于图滤波器的特征提取子由于线性关系都是尺度可变的。因而我们可以通过谱范数来解决这个问题。因而没有在这个章节讨论尺度不变性。我们使用图操作子AAA和滤波器稀疏hish_ishis，基于特征提取的图滤波器可能是平移或旋转变化的。

与传统信号处理当中滤波器设置相似，我们设计的图滤波器在图的点域或者谱域。在图的点域里，对于每个点，图滤波器在其局部平均每个属性。例如，第i个点，fi(X)=∑l=0L−1hl(AlX)if_i(X)=\sum^{L-1}_{l=0} h_l(A^l X)_ifi(X)=∑l=0L−1hl(AlX)i是一个基于加权平均值的属性，在LLL个滤波器当中第lll个滤波器，hlh_lhl量化了对于lll个滤波器中邻居结点的贡献量。我们设计滤波器系数来改变局部平均权值。

在图的谱域，我们首先设置图的谱分布，然后使用图滤波器系数来匹配其分布。例如，一个长度为LLL的滤波器是：

其中，VVV是图傅里叶基，λi\lambda_iλi是图频率(5).我们想让第iii个图频率回应为cic_ici，因此：

来解决一系列线性公式来获取图滤波器参数hlh_lhl。当然也可以通过Chebyshew多项式来设计图滤波器系数[41]。接下来考虑一些频谱域的图滤波器。

全通图滤波

假定h(λi)=1h(\lambda_i)=1h(λi)=1;也就是h(A)=1h(A)=1h(A)=1是单位密度矩阵，其中h0=1h_0=1h0=1，hi=0h_i=0hi=0对于i=1，...L−1i=1，...L-1i=1，...L−1。这个设置背后的直觉是原始点可信的且所有点都是均匀地从一个物体上采样而没有噪声，反映了该物体真实的几何结构。我们希望保留所有的信息，因此特征本身就是原始属性。由于f(X)=Xf(X)=Xf(X)=X,特征提取操作符f(.)f(.)f(.)是旋转变量，根据定理4，最优重采样策略为：

这里，特征提取矩阵F(11)是单位密度矩阵，每行范数为1。当我们仅保留3D坐标时，我们护理Xo项，为每个点获取一个常量的重采样概率，意味着均匀重采样是保留整体几何信息的最优重采样。

高通图滤波

在图像处理中，一个高通滤波器通常用来提取边缘或轮廓。相似的，我们使用高通图滤波器来提取点云中的轮廓。这里我们仅考虑3D坐标的属性，所提出方法很容易扩展到其他属性上面。

一个关键问题是如何定义3D点云中的轮廓。我们认为，轮廓点突破了其周边点形成的趋势，带来了创新。以往许多工作需要复杂的几何相关计算，如曲面法向量来检测轮廓[31]。取代了复杂的几何属性计算，我们通过图中的局部变化的概率来描述为轮廓点，也即高通滤波器的相应。相应局部的第iii个点相应为：

其中h(A)h(A)h(A)是高通滤波器。局部变化f(X)f(X)f(X)量化了高通滤波器后的响应能量。这背后的直觉是，当一个点的局部变化是高的它的三维坐标不能很好地从它的临近点的三维坐标来近似；也就是说这一点到了其周边形成的稳定趋势，带来了创新，成为轮廓点的可能性很大。

接下来的定理表明，通常的局部变化是旋转不变的，但是是平移变化的。

定理5 f(X)=diag(h(A)XXTh(A)T)f(X)=diag(h(A)XX^Th(A)^T)f(X)=diag(h(A)XXTh(A)T), diag(.)diag(.)diag(.)意味着提取对角元素，f(X)f(X)f(X)是旋转不变的和平移不变的除非h(A)1=0h(A)1=0h(A)1=0,证明在附录F。

为了证明局部变化天然就是平移不变的，不需要去中心化，我们见到用一个转换矩阵当做图平移操作子，也就是A=D−1WA=D^{-1}WA=D−1W, 其中DDD是对角矩阵。原因是1∈RN1\in R^N1∈RN是转换矩阵的特征向量，那么A1=D1W1=1A1=D^{1}W1=1A1=D1W1=1。因此，

当suml=0N−1hl=0sum^{N-1}_{l=0}h_l=0suml=0N−1hl=0。一个简单的设计haar-like高通滤波器为：
注意λmax∥λi∥=1\lambda_{max}\|\lambda_i\|=1λmax∥λi∥=1, λi\lambda_iλi是A的特征向量，因为图平移操作子是转换矩阵。在这个情况下，h0=1h_0=1h0=1，h1=−1h_1=-1h1=−1，同时hi=0h_i=0hi=0对于i>1i>1i>1的情况，因此∑l=0N−1hl=0\sum^{N-1}_{l=0}h_l=0∑l=0N−1hl=0。因此，haar-like高通图滤波器是平移和旋转不变的。图的频率表明haar-like高通滤波器hHH(λi)=1−λih_{HH}(\lambda_i)=1-\lambda_ihHH(λi)=1−λi。由于特征向量都是按序递减，因此有1−λi<=1−λi+11-\lambda_i<=1-\lambda_{i+1}1−λi<=1−λi+1，意味着低频相应衰减而高频响应放大。

在图点域里，第iii个点的相应为：

因为A是转换矩阵，所以∑jAi,j=1\sum_jA_{i,j}=1∑jAi,j=1且hHH(A)h_{HH}(A)hHH(A)对比了一个点和结合邻居的边的不同性；所提出的局部变分的几何解释是原始点与其附近凸组合之间的欧式距离反应了我们从它的邻居那里知道其保护多少点的信息。当一个点的局部变异较大时，该点与其相邻凸组合的欧几里得距离较长，该点的变异量较大。我们通过一些简单的例子来验证所提出的局部变分。

例1 当点云构成一条3D线时，两个节点属于一个轮廓；
例2 当点云形成3D多面体时，点（拐点）和边（连接两个分割区域的线）属于轮廓；
例3 当点云形成3D圆或球，没有轮廓线；
当点均匀的分布，做提出的局部变分（14）从几何角度来说满足例1，2，3.例如图2(a),点2是点1和3的凸组合，局部点2因此为0.然而，点4不是3和5的凸组合，红线表明了其变化量。因此只有点1，4，7有非负的局部变量，这也是我们所期待的。图2（b)中，所有点都均匀分布在一个圆上有相同数量的变化，红线表示。也表明（14)满足例1，2，3。

特征提取算子f(X)f(X)f(X)是旋转和平移不变的。根据定理3，最优分布为：

其中A=D−1WA=D^{-1}WA=D−1W是转换矩阵。

注意图的拉普拉斯矩阵通常被用来衡量变量，L=D−WL=D-WL=D−W定义为图的拉普拉斯矩阵，因此所有变量为：

其中NiN_iNi表示第iii个节点的邻居，每个点的贡献量为：

这里的变化量定义为局域点对的累积变化量。我们称(18)为基于局部变量的点对区分。点对区分不能够捕捉几何变化如图2.我们在图3中展示了一个反例。在立方体面上均匀分布的点。每个点都与其周边四个点相连接，权值相同，因而基于点对的区分也都是相同的这就意味着这里没有轮廓。然而，黑色箭头的地方应该是一个轮廓点。

实验验证 图4 比较了基于局部变量（14）的haar-ike高通图滤波器，通过计算DoN的不同[42]，是用来分析点云分割和轮廓检测的。DoN对比在不同尺度下计算出来的表面法向量。在每个图中，我们高亮了前10%DoN高分的局部变量。在图(4)中，我们可以看到DoN不能够在平面中找到边界，因为表面的法向量没有改变。而且DoN对于预设的半径非常敏感。例如，发现的差异无法捕获铰链上的精确轮廓。而且，局部捕获所有的精确轮廓图4(b)。我们看到类似的结果。此外，法线的差异需要计算第一个主成分为每一个3d点的临近点。这是效率低下的。局部变分只涉及稀疏矩阵和向量乘法，在计算上是有效的。

图5表明了基于重采样分布的局部变化，包括铰链，圆锥，桌子椅子等。第一列表明原始点云，第二和第三表明不同局部变化下的重采样：基于点对区分的(18)和基于haar-like高通滤波的(14)结果。两个重采样版本都有相同输入和10%的输出点。

对于模拟的两个物体，铰链和圆锥，基于点对的局部方法不能够识别轮廓，但是基于Haar-like的识别出来所有轮廓。对于真实物体而言Haar-like图滤波器要超过基于点差别的方法。总之，Haar-like高通滤波器仅通过10%的点即可显示其所有轮廓。

基于重采样策略的高通滤波器可以简单扩展用来检测其他属性上的变化。图6（a)模拟一个有两种不同纹理的铰链黑色点有相同纹理都是0，绿色有共同纹理是1.我们将纹理作为新的属性和坐标一起，基于（14）重采样10%的点。图6（b）表明重采样的点有着清晰的几何和纹理轮廓。

低通图滤波器

在传统信号处理中，低通滤波器用来获取一个去噪后的平滑信号。相似的我们使用低通滤波器来获取点云的粗略轮廓同时减少一些噪声点。因为我们使用3D点坐标来构建图(3),3D坐标点在图中是平滑的意味着两个临界点有着相同的坐标。当一个点云被噪声或异常值干扰时，低通滤波器，作为去噪操作子，使用局部邻居信息来近似为每个点分配一个正确的位置。由于低通滤波器的输出是原始电影的降噪版本，因而更适合用于降噪的原始点云。
1）理想迪欧通滤波器。一个简单的选择即为理想低通滤波器，在给定阈值范围以上的点频率进行磨平，一个理想低通图滤波器其中带宽为bbb表示为：

V(b)是V的第一个b列，图频率回馈为：

理想的低通滤波器hILh_{IL}hIL将输入图信号映射到带宽子空间[34], hIL(A)h_{IL}(A)hIL(A)是原始图信号s的带宽限制接近值。我们在图7中显示了其样例。图7中b,c,d表明3D坐标下茶壶带宽的增加有助于表现的增加。可以看到带宽影响着茶壶的形状：用10个图形频率，我们只能够得到茶壶的粗略结构。图7（e)显示，主要能量集中在低通图滤波中。

特征提取算子f(X)=hILf(X)=h_{IL}f(X)=hIL是平移和旋转变化的。基于定理4，相应最优的重采样策略是：
viv_ivi是VbV_bVb中的第iii行。

一个直接获取vi的方式是获得（6)的特征分解，但是复杂度很高。可用快速算法[43,44]来近似，这里我们使用随机策略来避免特征分解所带来的复杂度。另一个降低计算量的方式是将一个图分解成子图来在每个子图获取得分。

2）Haar-like低通滤波器。另一个简单方法是使用Haar-like低通滤波器即：

其中λmax=maxi∥λi∥\lambda_{max}=max_i\|\lambda_i\|λmax=maxi∥λi∥其中λ\lambdaλ是AAA的特征向量。λmax\lambda_{max}λmax是避免放大梯度来设置的。我们定义Anorm=A/∥λmax∥A_{norm}=A/\|\lambda_{max}\|Anorm=A/∥λmax∥。因此图的频率回应为hHL(λi)=1+λ/∥λmas∥h_{HL}(\lambda_i)=1+\lambda/\|\lambda_{mas}\|hHL(λi)=1+λ/∥λmas∥。由于特征向量是降序排列，这就意味着低频会放大，高频会衰减。

在图的点域中第i个点的回应是(hHL(A)X)i=xi+∑j∈Ni(Anorm)i,jxj(h_{HL}(A)X)_i=x_i + \sum_{j\in N_i(A_{norm})_{i,jx_j}}(hHL(A)X)i=xi+∑j∈Ni(Anorm)i,jxj,
NiN_iNi是第iii个点的邻居。可以看到其平均了每个点来获得一个平滑的平均值。该特征算子是平移和旋转变化的。基于定理4，对应的最优策略为：
为了获得最优重采样分布，我们需要计算最大的梯度特征向量λmax\lambda_{max}λmax,还有Anorm等。我们可以通过使用归一化的邻接矩阵或者转换矩阵作为图的平移操作来避免类似计算最大梯度。其中一个归一化的邻接矩阵是D−0.5WD−0.5D^{-0.5}WD^{-0.5}D−0.5WD−0.5, 其中D是对角矩阵，转换矩阵通过归一化每行邻接矩阵的和为1来获取，也就是D−1WD^{-1}WD−1W。在两个例子中，转换矩阵的最大特征向量是1，因此我们有A=AnormA=A_{norm}A=Anorm。

实验验证 我们的目标是使用一个低通图滤波器来处理噪声点云。图8（a)显示了一个健身球的点云，包含从Kinect设备手机的62，235个点。在无噪声情况下表面可以用一个球体来建模图8(b)将一个绿色球体与健身球2匹配。半径和球面中心点分别是0.318238和
[0.0832627, 0.190267, 1.172]。为了利用计算，我们重采样一个子集点，并让另一个球体适合于重采样点。我们希望由原始点云和重采样点云生成的两个球体是相似的在许多实际情况下，原始点的采集是带有噪声的。为了模拟有噪声的情况，我们在每个点上加入均值为0，方差为0.02的高斯噪声。图9(a)(b)展示了有噪声点云和重采样版本。可以看到，降噪后的点云是通过低通滤波器策略获取的我们使用球体来拟合四个点云，数据如表1所示。相关错误率定义为Error=∣(x−x^)/x∣Error=|(x-\hat{x})/x|Error=∣(x−x^)/x∣。，其中xxx是真值，x^\hat{x}x^是估计值降噪后的版本要比降噪前更好。这表明所提出的低通图滤波器提供了对点云的降噪功能。

图滤波器银行

在传统信号处理中，一个滤波器银行是一组带通滤波器，用于分析多个子带的输入信号并合成原始信号[45,46]。我们使用相似的想法来分析点云；通过不同的重采样算子，将3D点云分成多个部件，允许我们增强不同的部件。例如我们重采样轮廓和分轮廓点来构建原始表面，但我们需要更多的点来强调轮廓。

图10展示了基于图形滤波器组的三维点云表明重建系统。在分析部分，我们将一个三维点云X分离为k个子带。在每个子带中保留的信息由特定的图滤波器来确定，我们根据（11）（12）重采样一个3D点的子集。在合成部分，我们使用重采样点来构建表面。在[47]中给出了曲面重建算法和文献综述由于每一种曲面重建算法都有其特定的一组假设，不同的曲面重建算法对于同一组点云的表现是不同的我们用重建错误差来衡量表面构造系统的整体性能重建误差由冲CIA杨点重建的表面和原始表面之差决定。这导致了失真类权衡：当我们重采样更多的点时我们编码更多的比特，重构误差就更小；重采样的点越少编码比特越少，重构误差就越大。总体目标是：给定重构误差的任意容差，通过仔细选择图滤波器和每个子带的采样比例，使用尽可能少的样本来重构曲面，这种表面重构系统将有利于三维点云的存储和压缩，因为我们只需要少量重采样点。由于曲面重建系统是基于应用独立的，设计细节超出本文范围。

应用

在这个章节我们使用所提出的重采样策略来准确校准。在这个任务里，我们使用所提出的策略（16）来精确对准两个点云。

图11(a)展示了一个沙发点云，其中包括从基于Kinect的SLAM系统[40]中手机的1，204，055个点。如图11(a)所示，我们将原始点云分割为两个重叠的点云，分别用红色和蓝色标记。我们有意地移动和旋转红色部分。任务是反转过程和检索移位和旋转。我们使用迭代最近点ICP算法来注册两个点云，这是一个标准的用来策略旋转和移动的坐标框架[48]。ICP算法迭代地修正刚体变化，以最小化从源点云到参考点云的距离。图11(b)和©分别显示了注册后的sofa和重叠部分的细节。可以看到，配准过程恢复了原始点云的整体结构，但在细节层面仍存在一定的失配。由于对两个大尺度点云进行配准效率不高因此我们希望对每个点云重采样一个新3D点集进行配准，我们将比较统一重采样点云和基于高通滤波器重采样点云性能。注意，基于高通滤波器重采样可增强轮廓和关键点。图11（d)和（g）分别显示了基于统一重采样的点云和基于高通滤波器的重采样点云。两个版本拥有相同数量的点，即原始电影中5%的点，可以看到，图11(g)和图11(d)显示了更多的轮廓。基于统一重采样图11(d),（e)和(f)分别显示了注册后的soft和重叠部分细节。基于轮廓增强的重采样版本图11g，h，i分布显示了注册soft和注册后重叠部分的细节。我们可以看到基于高通滤波器的重采样配准精确地恢复了原始点云，甚至在细节层面。直觉上，高通滤波器增强了轮廓使得源与目标之间匹配更加清晰从而使匹配更加容易。定量结果如表二所示其中第一列为均方根误差(RMSE);第二列Wie位移误差；第三列为旋转我查。特别RMSE=(∑i=1Nminj=1,...,N∥xi^−xj∥22)RMSE=\sqrt(\sum^{N}_{i=1}min_{j=1,...,N}\|\hat{x_i}-x_j\|^2_2)RMSE=(∑i=1Nminj=1,...,N∥xi^−xj∥22),Errorshift=∥a^−a∥2Error_{shift}=\|\hat{a}-a\|_2Errorshift=∥a^−a∥2,Errorrotation=∥R^−R∥FrobeniusError_{rotation}=\|\hat{R}-R\|_{Frobenius}Errorrotation=∥R^−R∥Frobenius,xi^，a^，R^\hat{x_i}，\hat{a}，\hat{R}xi^，a^，R^为第iii个点的三维坐标，以及注册后恢复的移位向量和恢复的旋转矩阵：xix_ixi，aaa，RRR分别是真值所对应3D坐标，地面真值位移向量和旋转矩阵。我们可以看到，基于高通滤波器重采样点云使用的点是所有点少20%，并取得了使用所有点更好的结果。基于高通滤波器的重采样，其位移和旋转误差明显小于采用全点采样和均匀采样的方法。

结论

在这篇论文中，我们提出了重采样框架，以选择一个点子集来提取应用相关的特征，并减少了大规模点云的后续计算。我们指定了一个优化问题以获得最优的重采样分布，该分布同时保证位移/旋转/尺度不变。然后将特征提取算子指定为一个图滤波器，并研究了基于全通、低通和高通滤波器的重采样策略。介绍了一种基于图形滤波器组的曲面重构系统，用于三维点云的压缩。通过大规模可视化、精确配准和鲁棒形状建模三种应用，验证了该方法的有效性。本文还指出了三维点云处理的许多可能的发展方向，如基于图形过滤库的高校三维点云压缩系统、基于任意图形的曲面重建、用于评价三维点云质量的鲁棒度量等。

【点云系列】基于图结构的点云快速重采样翻译相关推荐

【质量评价】Inferring Point Cloud Quality via Graph Similarity 基于图相似性的点云质量评价
[质量评价]Inferring Point Cloud Quality via Graph Similarity 基于图相似性的点云质量评价内容介绍 1. Introduction 1.1 Back ...
阿尔伯塔大学博士毕业论文：基于图结构的自然语言处理
本文经机器之心(微信公众号:almosthuman2014)授权转载,禁止二次转载机器之心整理自然语言处理(Natural Language Processing)是人工智能的核心问题之一,旨在让 ...
【Graph4NLP】阿尔伯塔大学博士毕业论文：基于图结构的自然语言处理
机器之心发布机器之心编辑部自然语言处理(Natural Language Processing)是人工智能的核心问题之一,旨在让计算机理解语言,实现人与计算机之间用自然语言进行通信.阿尔伯塔大学( ...
基于图结构的计算分析和实现
这两天调研了下基于图结构的计算方式,并以图结构的方式实现了简单的算式计算,具体过程如下文. 图结构构成使用简单的将所有节点通过数组或链表进行管理起来使用二维数组将节点之间的关系进行管理. 简单实现 ...
python地铁查询系统_基于图结构实现地铁乘坐线路查询
基于图结构实现地铁乘坐线路查询 github-python算法和flaskapp部分:repo github-android部分:repo flaskapp接口文档:传送门深度了解Dijkstra优 ...
基于图结构实现地铁乘坐线路查询
基于图结构实现地铁乘坐线路查询 github-python算法和flaskapp部分:repo github-android部分:repo flaskapp接口文档:传送门深度了解Dijkstra优 ...
matlab点云聚类,基于区域聚类分割的点云特征线提取
王晓辉 , 吴禄慎 , 陈华伟 , 胡赟 , 石雅莹 . . 基于区域聚类分割的点云特征线提取. 光学学报, 2018, 38(11): 1110001-. Wang Xiaohui , Wu Lus ...
基于图结构的图合成与差分隐私【LDPGen】
<Generating Synthetic Decentralized Social Graphs with Local Differential Privacy> 论文笔记写在前面的话 ...
maya阿诺德渲染失败_maya云渲染出图异常，Maya云渲染出图错误原因及解决方案
maya出图异常处理插件配置错误现象: 1.本地文件使用的arnold渲染器,平台上配置的是vray,类似于这种平台配置与本地使用不一致的情况 2.本地文件中用到的插件,在平台上没有配置 3.本地文 ...

【点云系列】基于图结构的点云快速重采样翻译

摘要

介绍

问题构建

点云重采样

点云的图信号处理