【点云压缩】点云概述：点云的分类与处理 点云来源
点云概述
- 一、什么是点云
- 二、点云从哪来
- 1. 三维激光雷达扫描
- 2. 照相机扫描
- 3. 逆向工程
- 三、点云的分类
- 四、点云的相关处理
- 1. 点云分割
- 2. 点云补全
- 3. 点云上采样
- 4. 点云压缩
- 5. 点云配准
- 6. 点云目标检测
一、什么是点云
点云（point cloud）是空间中点的数据集，可以表示三维形状或对象，通常由三维扫描仪获取。点云中每个点的位置都由一组笛卡尔坐标(X,Y,Z)(X, Y, Z)(X,Y,Z)描述，有些可能含有色彩信息(R,G,B)(R, G, B)(R,G,B)或物体反射面强度（Intensity）信息。强度信息的获取是激光扫描仪接受设备采集到的回波强度，此强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量，激光波长有关。
维基百科点云介绍：https://m.tw.llhlf.com/baike-%E9%BB%9E%E9%9B%B2
二、点云从哪来
根据点云的不同应用需求，其来源呈现多样化的特征，这里介绍常见的几种：
1. 三维激光雷达扫描
三维激光雷达扫描使用的是LiDAR(Light Detection and Ranging)，它是激光探测及测距系统的简称，还可以称为Laser Radar或者LADAR(Laser Detection and Ranging)，激光雷达点云数据就是由激光雷达扫描获取的。如下图，当一束激光照射到物体表面时，所反射的激光会携带方位、距离等信息。若将激光束按照某种轨迹进行扫描，便会边扫描边记录到反射的激光点信息，由于扫描极为精细，则能够得到大量的激光点，因为就形成激光点云。根据这种方法得到的点云，一般具有x,y,z坐标值和激光反射强度（Intensity）4种信息。
一文了解激光雷达(Lidar)工作原理，及雷达（Radar）、点云数据相关技术与应用领域：
https://zhuanlan.zhihu.com/p/449269751
2. 照相机扫描
这种方法通过摄影测量原理获得点云，一般具有x, y, z坐标值以及r, g, b的颜色信息。那么，如果某个应用场景既需要使用反射强度信息还需要颜色信息怎么办？很简单，把激光扫描和照相机扫描结合在一起就可以了。
3. 逆向工程
顾名思义，就是先有了一个三维模型，然后在该模型的表面进行采点。得到相应的点云，可以分为稠密点云和稀疏点云。
三、点云的分类
通常使用三维坐标测量机所得到的点数量比较少，点与点的间距也比较大，叫稀疏点云；而使用三维激光扫描仪或照相式扫描仪得到的点云，点数量比较大并且比较密集，叫密集点云。
如果按照点云的获取途径进行分类，可以分为静态点云、动态点云、动态获取点云三类。
静态点云：即物体是静止的，获取点云的设备也是静止的；
动态点云：物体是运动的，但获取点云的设备是静止的；
动态获取点云：获取点云的设备是运动的。
四、点云的相关处理
1. 点云分割
点云分割是根据空间、几何和纹理等特征对点云进行划分，使得同一划分内的点云拥有相似的特征，点云的有效分割往往是许多应用的前提，例如逆向工程，CAD领域对零件的不同扫描表面进行分割，然后才能更好地进行空洞修复曲面重建、特征描述和提取，进而进行基于3D内容的检索，组合重用等。
例如下图就是将一幅图片分割成n块，结合点云分类和对象识别，我们可以标记出地面、墙、建筑、车辆等内容：
经典的点云分割算法主要有：1）随机采样一致方法（RANSAC）；2）欧式聚类分割方法；3）条件欧式聚类分割；4）基于区域生长得分割；5）基于颜色的区域生长分割；6）最小图割的分割；7）基于法线微分的分割；8）基于超体素的分割。
2. 点云补全
点云补全（Point Cloud Completion）用于修补有所缺失的点云（Point Cloud），从缺失点云出发估计完整点云，从而获得更高质量的点云，如下图：
点云补全(点云完成)综述（Point Clouds Completion）：
https://blog.csdn.net/weixin_42155685/article/details/126459045
3. 点云上采样
点云上采样与点云补全不同，前者是提高点云在局部patch中的均匀性，而后者根据点云的部分输入生成完整的目标。
点云上采样的方法主要有三种：
- 基于优化的方法：这些方法都不是以数据驱动的，它们严重依赖于先验知识，如光滑曲面的消耗、法向估计等；
- 基于深度学习的方法：一般使用现有的点云特征提取网络（pointnet，pointnet++。DGCNN）等提取特征，然后进行上采样；
- 生成对抗网络GAN：GAN可以对点云进行形状补全、三维目标生成等，同样地，也可以使用GAN进行点云上采样预测的工作。
点云上采样网络 PU-GAN: a Point Cloud Upsampling Adversarial Network ICCV 2019：
https://liruihui.github.io/publication/PU-GAN/
4. 点云压缩
由于点云是海量点的几何，存储点云不仅会消耗大量的内存，而且不利于传输，也没有那么大的带宽可以支持将点云不经过压缩直接在网络层进行传输，因此需要对点云进行压缩。
截止至目前，可对点云进行压缩的点云编码框架国际上主要是G-PCC和V-PCC，这两个都是有MPEG提供的。G-PCC的全称是Geometry Point Cloud Compression（基于几何的点云压缩）；V-PCC全称是Vedio Point Cloud Compression（基于视频的点云压缩）。
从技术层面来说，G-PCC编码的主体思想是按照其几何信息进行的，利用八叉树进行几何信息的编码，再在几何信息编码的基础上利用插值计算残差对其属性进行编码。V-PCC编码的主体思想是将三维点云转换成图像，然后再利用图像或视频编码技术进行点云编码。
从压缩对象来说，G-PCC编解码框架主要是用于上述第一类静态点云和第三类动态获取点云的压缩。V-PCC编解码框架主要是用于上述第二类动态点云的压缩。G-PCC编解码框架也称为点云编解码器TMC13，V-PCC编解码框架也称为点云编解码器TMC2。
国内对点云进行压缩的点云编码框架是音视频编码标准（Audio Vedio Standard， AVS）提供的AVS-PCC编解码框架。
5. 点云配准
点云配准分为粗配准（Coarse Registration）和精配准（Fine Registration）两个阶段。
精配准的目的是在粗配准的基础上让点云之间的空间位置差别最小化。应用最为广泛的精配准算法应该是ICP以及ICP的各种变种（稳健ICP、point to plane ICP、Point to line ICP、MBICP、GICP、NICP）。
粗配准是指在点云相对位姿完全未知的情况下对点云进行配准，可以为精配准提供良好的初始值。当前较为普遍的点云自动粗配准算法包括基于穷举搜索的配准算法和基于特征匹配的配准算法。
6. 点云目标检测
这个比较容易理解，就是使用点云数据进行目标检测，如下图：
目前常见的3D点云目标检测算法有：
- End-to-End Multi-View Fusion for 3D Object Detection in Lidar Point Clouds（Waymo和Google联合提出）
- LaserNet: An Efficient Probabilistic 3D Object Detector for Autonomous Driving（Uber提出, CVPR2019）
- BirdNet: a 3D Object Detection Framework from LiDAR information
- LMNet: Real-time Multiclass Object Detection on CPU using 3D LiDAR（英特尔提出）
- PIXOR: Real-time 3D Object Detection from Point Clouds（Uber和多伦多大学提出）
- PointRCNN: 3D Object Proposal Generation and Detection from Point Cloud（香港大学提出，CVPR2019）
- YOLO3D: End-to-end real-time 3D Oriented Object Bounding Box Detection from LiDAR Point Cloud
- FVNet: 3D Front-View Proposal Generation for Real-Time Object Detection from Point Clouds（上海交大&腾讯优图）
3D点云目标检测算法汇总：
https://zhuanlan.zhihu.com/p/107061957
【点云压缩】点云概述：点云的分类与处理 点云来源相关推荐
- 点云压缩现状及发展趋势
1 点云概述 随着3D采集技术的飞速发展,3D传感器成本逐步降低,得到更多的推广应用,包括各种类型的3D扫描仪.LiDAR和RGB-D相机(例如Kinect,RealSense和Apple深度相机 ...
- G-PCC与V-PCC：为什么MPEG为点云压缩制作了两个编解码器？
原文链接:mpeg官方新闻网站https://3dgraphics.mpeg.expert/ MPEG在2020年FDIS(标准准备的最后一步)中批准了两种用于点云压缩的编码标准:第一种称为V-P ...
- 实时的激光雷达点云压缩
点云PCL免费知识星球,点云论文速读. 标题:Real-Time Spatio-Temporal LiDAR Point Cloud Compression 作者:Yu Feng , Shaoshan ...
- MPEG-PCC基于几何点云压缩(G-PCC codec description v12)学习笔记
目录 前言 一.摘要 二.概述 三.编解码器说明 3.1 预处理与后处理 3.1.1 坐标变换与逆变换 3.2 八叉树几何编解码 3.3 Trisoup几何编解码 3.4 预测几何编码 3.5 几何 ...
- 通过pcl 库的八叉树方法实现点云压缩与解压缩
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 为什么要进行点云压缩? 点云带有大量的数据,不仅包括三维信息,还有额外的距离,颜色,法向量等等.此外, ...
- pcl 点云压缩与解压缩
pcl 点云压缩与解压缩 为什么要进行点云压缩 压缩pcl::PointXYZ类型数据 Code 压缩部分 Result 压缩 pcl::PointXYZRGB 类型数据 生成XYZRGB的数据 压缩 ...
- 三维（点云）语义分割概述以及方法总结
文章目录 -1. 语义分割 0. 三维表示的数据结构 0.1. Point cloud 0.2 3D voxel grids 0.3 collections of images/muti-view 0 ...
- 服务器虚拟化cvm,云服务器CVM功能概述
云服务器CVM功能概述 内容精选 换一换 云备份(Cloud Backup and Recovery,CBR)可以为云服务器.云硬盘提供简单易用的备份服务,当发生病毒入侵.人为误删除.软硬件故障等事件 ...
- 【PCL自学：ocTree】八叉树（octree）的原理及应用案例(点云压缩，搜索，空间变化)
PCL中八叉树(octree)的原理及应用案例 一.什么是八叉树ocTree? 1.八叉树原理 二.八叉树应用案例 1.点云压缩 2.用八叉树进行空间划分和搜索操作 3.无序点云数据的空间变化检测 一 ...
最新文章
- 判断两个树是否相等和判断tree1是否包含tree2 python实现
- jdk 环境配量配置
- 一句话木马使用方法总结
- [Ubuntu] 解决 pip 安装 lxml 出现 x86_64-linux-gnu-gcc 异常
- linq.js的用法
- 阿里云上遇到: virtual memory exhausted: Cannot allocate memory
- Loadrunner11完美破解小笔记
- 多语言跨平台远程过程调用【Avro】
- WOFF字体的Mime类型？
- 《R语言机器学习：实用案例分析》——1.8节总结
- [转载] python 遍历字符串 字符_python 遍历字符串(含汉字)实例详解
- 十分钟完成的操作系统编写 你信吗？
- 记录下我的Linux系统中vim文件的配置---(.vimrc文件配置模板)
- Java模拟http上传文件请求（HttpURLConnection,HttpClient4.4,RestTemplate）
- Dijkstra最短路径
- OpenSSL杂记（CA证书）
- php背景四周向中间渐变色,使用CSS巧妙地制作背景色渐变动画实例
- 【未】Optimizing Rebalance Scheme for Dock-less Bike Sharing Systems with Adaptive User Incentive
- 用Python一键生成属于自己的QQ历史报告，看看你对自己的QQ了解程度有多深?
- android 大量代码中 grep 太慢,ReactNative 性能 - 闪电教程JSRUN