本文是学习肖勇大神的点云课程总结的笔记，仅供个人学习使用。

肖勇

Mapping & Localization Technical Specialist @ Lucid Motors，主要从事无人车地 图和定位算法研发。先后参与 Lyft、百度无人车 项目开发。密歇根大学土木工程博士，中科院遥 感与数字地球研究所地图学硕士，武汉大学测绘 工程学士。

点云数据及获取

  • 定义

    • 点云：三维点的数据集合
  • 属性
    • 三维坐标
    • 强度
    • 颜色
    • 时间戳

  • 分类

    • 点云组织形式：

      • organized: the point cloud is laid out as a 2D array of points that resembles an image like structure -
      • unorganized: the point cloud is a list of points.

  • 点云获取方式

    • 激光扫描仪

      • 星载
      • 机载
      • 地面
      • 移动
    • 深度相机(depth Camera)
    • 双目相机(stereo Camera)
    • 光学相机多视角重建

激光扫描仪

  • 工作原理：time of flight

  • 分类

    • 星载：卫星
    • 机载：飞机，无人机
    • 地面：三脚架上固定
    • 移动：车辆，机器人等

星载激光雷达

  • 常见系统

    • GLAS星载激光雷达 系统(Geoscience Laser Altimeter System)
    • CALIOP星载激光雷 达
    • ALADIN星载多普勒 激光雷达

机载激光雷达

  • 机载激光雷达

    • 使用配有 GPS/IMU的飞机（无人机） 获取大范围的点云
  • 特点
    • 精度高：10cm
    • 大尺度测绘
  • 应用领域
    • 大尺度（城市级别）测绘
    • DEM
    • 正射影像 （高精度相机）

地面激光雷达

  • 地面激光雷达

    • 激光雷达通常固定在三角架上，进行 较大范围扫描获取点云。
  • 特点
    • 精度高： 可达到 mm
    • 距离远：可达到400m
    • 扫描速度快： Leica RTC360 1s 采集 ~200万点云
  • 应用
    • 文物三维扫描建模
    • 地形测量

移动激光雷达

  • 移动激光雷达

    • 激光雷达通常跟着移动物体（ 机器人无人车），进行较大范 围扫描获取点云

  • 特点

    • 精度高： cm
    • 距离远：~240m
    • 扫描速度快： 10Hz, 200万点 云每秒

  • 应用

    • 无人车，机器人

    • 街景测量

Point Cloud created by Velodyne Lidar’s Alpha Prime sensor

深度相机

  • 深度相机

    • 通过近红外激光器把具有结构特征 的光线投影到物体上，通过红外摄 像头采集得到深度信息。
  • 特点
    • 成本低，计算量小
    • 主动光源，夜晚也可用
    • 观测该范围和距离有限
  • 应用
    • 室内机器人
    • AR/VR

双目相机

  • 使用两个相机从不同位置获取物体的 两幅图像，通过计算对应点的位置偏 差，使用三角原理（Triangulation） 计算点的三维坐标
  • 特点
    • 成本低
    • 室内室外都适用
    • 对环境光敏感
    • 基线限制了测量范围

光学相机多视角重建

  • SFM 运动结构恢复(Structure from motion)

    • 给出多幅图像及其图像特征点的对应集合 ，估计3D点的位置和摄像机姿态（运动）

  • 特点

    • 成本低

    • 使用高精度相机和更稳定的平台（有 GPS/IMU）可以进行高精度测量

    • 计算量大

Credit to http://gsp.humboldt.edu/OLM/Courses/GSP_216_Online/lesson8-2/SfM.html

点云数据处理

点云滤波(filtering)

  • 检测和移除点云中的噪声或不感兴趣的点
  • 分类
    • 基于统计信息 (statiscal-based)
    • 基于领域 (neighbor-based) 基于投影（projection-based)
    • 基于信号处理(singal processing based)
    • 基于偏微分方程(PDEs-based)
    • 其他方法：voxel grid fitlering, quadtreebased, etc.
  • 常用方法
  • 基于体素(voxel grid)
  • 移动平均最小二乘(Moving Least Squares)

点云匹配 (point cloud registration)

  • 估计两帧或者多帧点云之间的 rigid body transformation 信息，将所有帧的点云配准在同 一个坐标系。
  • 分类
    • 初/粗匹配: 适用于初始位姿差别大的两帧点云
    • 精匹配：优化两帧点云之间的变换
    • 全局匹配：通常指优化序列点云匹配的误差， 如激光 SLAM，两帧之间匹配，全局匹配
  • 常用方法
    • 基于 Iterative Closest Point (ICP)的方法
    • 基于特征的匹配方法
    • 深度学习匹配方法

Credit to http://geometryhub.net/en/notes/registration