Guided Filter点云降噪

Guided Filter一般用来对2D图像进行降噪等处理，实际上，稍作修改后可以对3D点云进行降噪。

从Guided Filter的基本假设出发，可以推导出针对3D数据的处理方法。这里仅考虑引导数据是点云本身的情况。

首先，根据局部线性假设，有

qi=Akpi+bkq_i=A_kp_i+b_k qi=Akpi+bk

其中qiq_iqi是滤波后输出的三维点，pip_ipi是当前需要滤波的点（即算法的输入），AkA_kAk是一个3x3矩阵，bkb_kbk是3x1向量。

我们希望这个局部线性模型，在pip_ipi的领域内有最小的重建误差，即

argmin⁡Ak,bk∑j∈N(i)(∥Akpj+bk−pj∥2+ϵ∥Ak∥2)\text{arg}\min_{A_k, b_k}\sum_{j\in N(i)}(\Vert A_kp_j+b_k - p_j\Vert^2+\epsilon\Vert A_k\Vert^2) argAk,bkminj∈N(i)∑(∥Akpj+bk−pj∥2+ϵ∥Ak∥2)

用上式分别对AkA_kAk和bkb_kbk求导，并令导数等于0，可得

Ak(∑j∈N(i)pjpjT+nϵI)+bk∑j∈N(i)pjT−∑j∈N(i)pipiT=0bk=1n∑j∈N(i)pj−Ak1n∑j∈N(i)pj=μi−Akμi\begin{aligned} &A_k(\sum_{j\in N(i)}p_jp_j^T+n\epsilon I)+b_k\sum_{j\in N(i)}p_j^T-\sum_{j\in N(i)}p_ip_i^T=0 \\ &b_k=\frac{1}{n}\sum_{j\in N(i)}p_j-A_k\frac{1}{n}\sum_{j\in N(i)}p_j=\mu_i-A_k\mu_i \end{aligned} Ak(j∈N(i)∑pjpjT+nϵI)+bkj∈N(i)∑pjT−j∈N(i)∑pipiT=0bk=n1j∈N(i)∑pj−Akn1j∈N(i)∑pj=μi−Akμi

其中nnn是pip_ipi的领域N(i)N(i)N(i)中的点数（包括pip_ipi自己），μi\mu_iμi是N(i)N(i)N(i)中所有点的平均，将bkb_kbk带入第一个等式中，且等式两边同时除以nnn，有

Ak(1n∑j∈N(i)pjpjT−μiμiT+ϵI)=1n∑j∈N(i)pjpjT−μiμiTA_k(\frac{1}{n}\sum_{j\in N(i)}p_jp_j^T-\mu_i\mu_i^T+\epsilon I) = \frac{1}{n}\sum_{j\in N(i)}p_jp_j^T-\mu_i\mu_i^T Ak(n1j∈N(i)∑pjpjT−μiμiT+ϵI)=n1j∈N(i)∑pjpjT−μiμiT

注意到

1n∑j∈N(i)pjpjT−μiμiT=Σi\frac{1}{n}\sum_{j\in N(i)}p_jp_j^T-\mu_i\mu_i^T=\Sigma_i n1j∈N(i)∑pjpjT−μiμiT=Σi

即领域N(i)N(i)N(i)中所有点的协方差矩阵，所以最终有

Ak=Σi(Σi+ϵI)−1bk=μi−Akμi\begin{aligned} A_k&=\Sigma_i(\Sigma_i+\epsilon I)^{-1} \\ b_k&=\mu_i-A_k\mu_i \end{aligned} Akbk=Σi(Σi+ϵI)−1=μi−Akμi

于是针对点云的Guided Filter算法，可概况为

计算点云中某一个点pip_ipi的领域N(i)N(i)N(i)
求N(i)N(i)N(i)中所有点的均值μi\mu_iμi和协方差Σi\Sigma_iΣi
根据上面的公式计算AkA_kAk和bkb_kbk
qi=Akpi+bkq_i=A_kp_i+b_kqi=Akpi+bk，输出qiq_iqi作为对点pip_ipi的滤波结果

上面的算法实际上对Guided Filter做了一些简化，原本的Guided Filter需要得到所有包含pip_ipi的领域对应的AkA_kAk和bkb_kbk，并对这些Ak,bkA_k,b_kAk,bk求平均，再输出qi=Aˉkpi+bˉkq_i=\bar A_kp_i+\bar b_kqi=Aˉkpi+bˉk。

三维情况的Guided Filter依然保持了二维情况的优点，即对边缘或者尖锐形状的地方有较好的保护作用。平滑作用的强弱可以通过调节领域搜索时的半径rrr和ϵ\epsilonϵ来改变。

其实，双边滤波（Bilateral Filter）也能用于3D点云的降噪，而Guided Filter相对于双边滤波在三维情况下的最大优势，在于不用估计点云中每个点的法线方向。

Results

输入的带有噪声的点云：

经过两轮Guided Filter滤波后的点云：

Notes

对同一个点云进行多轮滤波（一般2轮足矣）可以大大提高降噪效果，有点类似于优化中的重复线性化思想。但过多的轮数可能造成滤波后的点云分布不均，由于计算均值的关系，每一轮滤波都会放大原来点云的非均匀性。

Code

Python源码可见github.

References

Guided Image Filtering

Guided Filter对三维点云降噪相关推荐

将三维点云投影到XOZ面上
如图左边是原始的三维点云pcd格式,右边是投影到XOZ面上的数据,Y为0. #include <iostream> # ...
三维点云的深度学习研究综述
作者丨aaa 来源丨https://zhuanlan.zhihu.com/p/455210291 编辑丨3D视觉工坊摘要点云学习由于在计算机视觉.自动驾驶.机器人等领域的广泛应用,近年来受到越来越 ...
【OpenCV 例程200篇】61. 导向滤波（Guided filter）
[OpenCV 例程200篇]61. 导向滤波(Guided filter) 欢迎关注『OpenCV 例程200篇』系列,持续更新中欢迎关注『Python小白的OpenCV学习课』系列,持续 ...
三维点云学习（1）下-点云体素降采样
三维点云学习(1)下点云体素降采样(Voxel Filter Downsampling) 代码参考网址秦乐乐CSDN博客理论参考知乎博主:WALL-E 1.方法 Centroid 均值采样 Ran ...
课程笔记-三维点云处理01 ——Introduction and Basic Algorithms
课程笔记-三维点云处理01 --Introduction and Basic Algorithms 本系列笔记是对深蓝学院所开设的课程:<三维点云处理>的笔记课程每周更新,我也会努力将每 ...
【仓库物资识别】二、将三维点云转换成二维图像
实习第一个任务其中的一个小步骤是将三维点云转换成二维图像,今天刚好复习PCL的点云滤波部分,发现了一个具有类似功能的平面模型投影滤波--ModelCoefficients 平面参数模型的形式是:ax+ ...
TPAMI三维点云深度学习技术综述
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者丨单博来源丨笑傲算法江湖点击进入->3D视觉工坊学习交流群国防科大 IEEE TPA ...
三维点云学习（9）5-实现RANSAC Registration配准
三维点云学习(9)5-实现RANSAC Registration配准参考博客: 机器视觉之 ICP算法和RANSAC算法三维点云配准 ICP点云配准原理及优化本章因个人能力有限,大部分代码摘自g ...
三维点云数据处理软件供技术原理说明_基于三维点云处理技术的工件识别和匹配...
1. 引言目前,随着自动化程度的提高,机器人导航.工业零件检测及抓取等众多领域对计算机视觉系统的要求越来越高 [1],基于二维图像的物体识别已经无法满足日常作业的需求.而由于三维扫描技术的发展,结构 ...

Guided Filter对三维点云降噪

文章目录