图像配准基础

入门知识、背景

点云

点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”（Point Cloud）

点云图像是最基础也是最常见的三维图像

点云的分类

根据激光测量原理得到的点云，包括三维坐标（XYZ）和激光反射强度（Intensity）。强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量，激光波长有关。

根据摄影测量原理得到的点云，包括三维坐标（XYZ）和颜色信息（RGB）。

也可以两者结合

点云的获取

RGBD设备（深度摄像机）

PrimeSense公司的PrimeSensor、微软的Kinect、华硕的XTionPRO。

点云的属性

空间分辨率、点位精度、表面法向量等

点云的存储格式

.pts; .asc ; *.dat; .stl ; [1] .imw；.xyz；.las。

点云的数据类型

1）pcl::PointCloudpcl::PointXYZ

PointXYZ 成员：float x，y，z;表示了xyz3D信息

2）pcl::PointCloudpcl::PointXYZI

PointXYZI成员：float x, y, z, intensity; 表示XYZ信息加上强度信息的类型

3）pcl::PointCloudpcl::PointXYZRGB

PointXYZRGB 成员：float x,y,z,rgb; 表示XYZ信息加上RGB信息，RGB存储为一个float

4）pcl::PointCloudpcl::PointXYZRGBA

PointXYZRGBA 成员：float x , y, z; uint32_t rgba; 表示XYZ信息加上RGBA信息，RGBA用32bit的int型存储的。

5）PointXY 成员：float x,y;简单的二维x-y点结构

6）Normal结构体：表示给定点所在样本曲面上的法线方向，以及对应曲率的测量值

三维图像

相比较于常见的二维图像，其最大的特征是表达了空间中三个维度（长度宽度和深度）的数据

表现形式：

深度图（以灰度表达物体与相机的距离）

几何模型（由CAD软件建立）

点云模型（所有逆向工程设备都将物体采样成点云）

点云处理的三个层次

点云数据处理：

https://www.cnblogs.com/yhlx125/p/4952522.html

https://blog.csdn.net/pdw521/article/details/82492428

图像处理分成三个层次

低层次：图像强化，滤波，关键点/边缘检测等

中层次：连通域标记（label），图像分割等

高层次：物体识别，场景分析等

PCL官方的点云处理：

低层次：

①滤波方法：双边滤波、高斯滤波、条件滤波、直通滤波、随机采样一致性滤波。

②关键点：ISS3D、Harris3D、NARF，SIFT3D

中层次：

①特征描述：法线和曲率的计算、特征值分析、SHOT、PFH、FPFH、3D Shape Context、Spin Image

②分割与分类：

分割：区域生长、Ransac线面提取、全局优化平面提取、K-Means、Normalize Cut（Context based）、3D Hough Transform(线、面提取)、连通分析

分类：基于点的分类，基于分割的分类，基于深度学习的分类（PointNet，OctNet）

高层次：

①配准

粗配准、精配准

粗配准是指在点云相对位姿完全未知的情况下对点云进行配准，可以为精配准提供良好的初始值。

当前较为普遍的点云自动粗配准算法包括基于穷举搜索的配准算法和基于特征匹配的配准算法。

基于穷举搜索的配准算法：

遍历整个变换空间以选取使误差函数最小化的变换关系或者列举出使最多点对满足的变换关系。如RANSAC配准算法、四点一致集配准算法（4-Point Congruent Set, 4PCS）、Super4PCS算法等……

基于特征匹配的配准算法：

通过被测物体本身所具备的形态特性构建点云间的匹配对应，然后采用相关算法对变换关系进行估计。如基于点FPFH特征的SAC-IA、FGR等算法、基于点SHOT特征的AO算法以及基于线特征的ICL等…

精配准的目的是在粗配准的基础上让点云之间的空间位置差别最小化。应用最为广泛的精配准算法应该是ICP以及ICP的各种变种（稳健ICP、point to plane ICP、Point to line ICP、MBICP、GICP、NICP）。

②SLAM图优化：Ceres（Google的最小二乘优化库，很强大）， g2o、LUM、ELCH、Toro、SPA

SLAM方法：ICP、MBICP、IDC、likehood Field、NDT

③三维重建

④点云数据管理：点云压缩，点云索引（KD、Octree），点云LOD（金字塔），海量点云的渲染。

概念

图像配准：一个场景的不同图片转换到相同的坐标系中。

目的：空间中同一位置的点一一对应起来，进行信息融合

不同图片拍摄形成的原因：

不同的时间拍摄：找到和评价，连续获得的图像之间场景的改变。应用：运动追踪

不同的传感器拍摄：整个不同来源的信息，获得更复杂、更细节的场景表示。应用：获得更好的图片

不同的视角拍摄：获得更大的2D视图，或扫描场景的3D表示。应用：3D恢复

不同图像之间的空间关系：

硬性转变（rigid）：平移、旋转

仿射（affine）：大小改变、扭转

同型异义（ homography）

复杂的大的变形（Large Deformation Model）

步骤

1）特征检测：

检测显著和独特的对象（闭合边界区域、边缘、轮廓、交线、角点等）

这些特征可以通过点来表示，这些点称为控制点CP

2）特征匹配：

建立场景图像（Sense Image）和参考图像（Reference Image）特征之间的相关性。

使用特征描述符（descriptor）对特征进行描述。

使用相似性度量、特征的空间相关性。

3）转换模型估计：

估计：将 SenseImage 和 ReferenceImage对齐的映射函数的类型和参数。

参数通过特征相关性计算。

4）图像重采样、图像转换

使用映射函数，转换SenseImage。

使用合适的插值技术，计算非整数坐标的图像值。

1）上：特征检测

2）中：特征匹配、特征描述

3）左下：利用建立的相关性 **估计 **转换模型

4）右下：用合适的插值技术，进行重采样和转换

【图像配准】图像配准基础知识：入门知识、点云基础、图像配准的概念、基础和分类相关推荐

2022-08-01 零基础吉他入门知识(二) 吉他上的十二平均律,给吉他调弦,规范化弹吉他:节拍器,持琴姿势和拨弦手势
文章目录 0.回顾 1.吉他上的十二平均律钢琴上的十二平均律:七个白键+五个黑键组成数量为12的不同音调的音阶吉他上的十二平均律:找出每一根弦上的1234567 吉他上的音阶把位图[记忆] 2.给 ...
达梦数据库入门 - 零基础到入门 - 达梦云适配中心
前言: 越来越多的同学或基于工作需求,或基于兴趣爱好上了解到了国产达梦数据库,但往往在想要学习新的知识的时候不知道该从何处入手,网上查询相关资料的话杂乱无章,往往让会令自己更加迷茫于该怎么入手去学习达 ...
0基础单片机入门知识：怎么使用数字万用表以及注意事项
怎么零基础玩转数字万用表万用表是一种多功能.多量程的测量仪表,可用来测量交直流电流.交直流电压.电阻.三极管放大倍数,有的还可以测量电容量.电感量等参数. 首先我们先了解一下数字万用表需要注意的事项 ...
2022-07-31 零基础吉他入门知识
文章目录 0.前言 1.吉他的琴弦 1.1.叫什么? 1.2.分别是什么音? 2.吉他的品格 2.1.名词介绍 2.2.变调夹 2.3.看懂和弦图 3.开始弹吉他 3.1.怎么弹 3.2.右手指法练习 ...
【单片机基础】入门知识
1.从电路到集成电路 1.1 电路物理课的电学知识,直流电,交流电,当电路,负载,构成一个回路形成电路基尔霍夫电压定律基尔霍夫电流定律欧姆定律功率,体积,功能趋势 : 功率越小(越来越省电),体积越小 ...
2022-08-13 零基础吉他入门知识(三) 六线谱,和弦图和爬格子的知识补充,吉他中的和弦:大三和弦的各个和弦图理解
文章目录 1.六线谱 2.和弦图(补充) 3.爬格子(补充):按照六根弦的音阶来爬格子 4.吉他中的大三和弦 4.1.C和弦 4.2.D和弦 4.3.E和弦 4.4.G和弦 4.5.A和弦 4.6.练 ...
计算机二级c语言公共基础知识(免费的) 百度云,计算机二级c语言公共基础知识(免费的).doc...
计算机二级c语言公共基础知识(免费的).doc 计算机二级C语言的二级共公基础知识教程第一章数据结构与算法 1.1 算法算法:是指解题方案的准确而完整的描述. 算法不等于程序,也不等计算机方法,程 ...
零基础python入门密歇根大学安娜堡分校_零基础：Python入门，看这篇就够了~ 王磊...
Python在设计上坚持了清晰划一的风格,这使得Python成为一门易读.易维护,并且被大量用户所欢迎的.用途广泛的语言. 设计者开发时总的指导思想是,对于一个特定的问题,只要有一种最好的方法来解决就 ...
C语言基础知识入门和C语言入门基础知识大全
一.C语言基础知识入门 C语言一出现,就以其丰富的功能.强大的表达能力.灵活性.方便性和广泛的应用,在世界范围内迅速普及和普及.C语言不仅高效而且可移植.它可以用来开发应用软件.驱动程序.操作系统等. ...
【Python零基础快速入门系列 | 03】AI数据容器底层核心之Python列表
• 这是机器未来的第7篇文章原文首发地址:https://blog.csdn.net/RobotFutures/article/details/124957520 <Python零基础快速入门 ...

【图像配准】图像配准基础知识：入门知识、点云基础、图像配准的概念、基础和分类

图像配准基础

入门知识、背景

点云

点云的分类

点云的获取

点云的属性

点云的存储格式

点云的数据类型

三维图像

点云处理的三个层次

概念

步骤

分类

按照图片不同

按照处理方法不同

（1）基于待配准图像灰度信息的配准方法

（2）基于待配准图像变换域内信息的配准方法

（3）基于待配准图像特征信息的配准方法

【图像配准】图像配准基础知识：入门知识、点云基础、图像配准的概念、基础和分类相关推荐

最新文章

热门文章

【图像配准】图像配准基础知识：入门知识、点云基础、图像配准的概念、基础和分类

图像配准基础

入门知识、背景

点云

点云的分类

点云的获取

点云的属性

点云的存储格式

点云的数据类型

三维图像

点云处理的三个层次

概念

步骤

分类

按照图片不同

按照处理方法不同

（1）基于待配准图像 灰度信息 的配准方法

（2）基于待配准图像 变换域内信息 的配准方法

（3）基于待配准图像 特征信息 的配准方法

【图像配准】图像配准基础知识：入门知识、点云基础、图像配准的概念、基础和分类相关推荐

最新文章

热门文章

（1）基于待配准图像灰度信息的配准方法

（2）基于待配准图像变换域内信息的配准方法

（3）基于待配准图像特征信息的配准方法