前言：

立体视觉几何中有以下问题：

1.已知一幅图像中一点，如何寻找另一幅图像中这个点的对应点（可用光流法、特征点匹配法）

2.已知两幅图像中两点是对应关系，如何求解两相机的相对位置和姿态【R|t】

3.已知多幅图像中同一3D点的对应点，如何求解该3D点的3D坐标

对极几何/基础矩阵的出现可以解决问题2。

之前有总结过：https://blog.csdn.net/try_again_later/article/details/81638064

总结：

1 Essential Matrix

E= t ^ R 为3*3的矩阵，奇异值为 [ u, u, 0] ^ T 的形式。为本质矩阵的内在性质。

性质：理论上综合旋转、平移共有6个自由度，因尺度等价，E有5个自由度。

求解：一般使用8点法，通过SVD分解，恢复出R，t 。

2 Fundamental Matrix

基本矩阵F和E只差了一个相机内参 F = K^(-T) *E *K^(-1) ，如果需要，直接带入求解。

基础矩阵F表明一个图像点p1到另一图像上对极线L上的映射。

3 Homograph Matrix

单应矩阵的定义与R、t、平面参数相关，单应矩阵为3*3的矩阵，自由度为8，求解的思路和E、F相似。

单应矩阵表明两个点之间变换H。p2=H*p1

求解：可用一组不共线的四个匹配点来计算矩阵H。

区别：本质矩阵则是基本矩阵的一种特殊情况，是在归一化图像坐标下的基本矩阵，可以理解为本质矩阵对应的坐标位于相机坐标系，基础矩阵对应的坐标位于图像平面坐标系。

E=t^R

$F=K^{-T}EK^{-1}$

H=R-t*nT/d

在相机只有旋转而没有平移的情况，此时t为0，E也将为0，导致无法求解R，这时可以使用单应矩阵H求旋转，但仅有旋转，无法三角化求深度。

对极几何

在对极几何中，e1和e2被称作极点，PO1O2平面为极面，p1e1为极线，同理p2e2也为极线。这是对极几何中重要的三个概念。

极点：基线的平行线在各自像面上的消失点

A. 如图，两个相机相对放置（会聚视角），相机1面向右边，相机2面向左边，可知极点位于1的右边，2的左边。图中花瓶上标示的横线即为平行于基线的线条。

p点在像面2上的对应点一定在极线l'上。p1--L2

这样我们就得到了两个相机上的像素坐标和基础矩阵F之间的关系了

基础矩阵F和本质矩阵E

作用：给定一个图像上的一个点，被本质矩阵或基本矩阵相乘，其结果为此点在另一个图像上的对极线，在匹配时，可以大大缩小搜索范围。像素-->极线

本质矩阵特性

1) rank (E) = 2 (本质矩阵的秩为2，非常重要)

2) 本质矩阵仅依赖外部参数（Extrinsic Parameters) （R & T）决定。

3) 使用摄像机（Camera）坐标系

基本矩阵的特性

1) rank (F) = 2 (基本矩阵的秩为2，非常重要)

2) 基本矩阵依赖内部和外部参数（Intrinsic and Extrinsic Parameters) （f, R & T）决定。

3) 使用像素坐标系

单应矩阵H

参考：

https://www.cnblogs.com/sunny-li/p/7500541.html

http://www.cnblogs.com/youzx/p/6385513.html

基本矩阵F、本质矩阵E、单应矩阵H的关系相关推荐

多视图几何总结——基础矩阵、本质矩阵和单应矩阵的求解过程
多视图几何总结--基础矩阵.本质矩阵和单应矩阵的求解过程多视图几何总结--基础矩阵.本质矩阵和单应矩阵的求解过程 1. 说明--其实求解过程大同小异 2. 单应矩阵求解过程 2.1 基于代数误差的线 ...
多视图几何总结——基础矩阵、本质矩阵和单应矩阵的自由度分析
多视图几何总结--基础矩阵.本质矩阵和单应矩阵的自由度分析多视图几何总结--基础矩阵.本质矩阵和单应矩阵的自由度分析总结基础矩阵自由度 (1)几何推导 (2)代数推导 (3)直观理解本质矩阵自 ...
内参矩阵、外参矩阵、旋转矩阵、平移矩阵、单应矩阵、本征矩阵、基础矩阵
自己在单目结构光系统.双单目结构光系统及双目相机系统学习的过程中接触到如标题所列的各种矩阵,总感觉理解不到位,现在特总结下,方便日后查阅及修正自己的理解. 自己已经总结了单目相机各坐标系的变换,链接如 ...
ORB-SLAM2从理论到代码实现（四）：相机成像原理、基本矩阵、本质矩阵、单应矩阵、三角测量详解
由于ORBmatcher.cc中有三角化和重投影等内容,所有我先写相机成像等多视图几何内容. 1. 相机的成像原理假设空间中有一点P,它在世界坐标系中的坐标为,在相机坐标系中的坐标为,在图片中的像素 ...
基本矩阵、本质矩阵和单应矩阵
两幅视图存在两个关系:第一种,通过对极几何一幅图像上的点可以确定另外一幅图像上的一条直线:另外一种,通过上一种映射,一幅图像上的点可以确定另外一幅图像上的一个点,这个点是第一幅图像通过光心和图像点的射 ...
2D - 2D 点对求解基础矩阵 F 本质矩阵E 单应矩阵 H 进而求旋转矩阵 R 和 t
*对极几何求解两组单目相机 2D图像间的旋转平移矩阵 * 2D 点对求两相机的旋转和平移矩阵 * 空间点 P 两相机像素点对 p1 p2 两相机归一化平面上的点对 x1 x2 与P ...
计算机视觉三维重建的几何基础：坐标系与关键矩阵（基础矩阵、本质矩阵、单应矩阵）...
作者丨李迎松@知乎来源丨https://zhuanlan.zhihu.com/p/159194599 编辑丨3D视觉工坊你站在桥上看风景, 看风景人在楼上看你. 明月装饰了你的窗子, 你装饰了别人 ...
极几何，本质矩阵，基础矩阵，单应矩阵，相机投影矩阵
什么是三角化? 三角化就是下图的红字部分:K和K'分别为两个相机的内参矩阵什么是极几何? 极几何描述了同一场景或者物体在两个视点图像间的对应关系. 下图中的O1和O2分别是两个相机的光心,即摄像机坐 ...
SLAM笔记（四）运动恢复结构的几何数学(本征矩阵、单应矩阵、基础矩阵)
1. 间接法进行运动恢复的前提假设对于结构与运动或视觉三维重建中,通常假设已经通过特征匹配等方法获取了匹配好的点对. 先求出匹配点对再获取结构和运动信息的方法称作间接法. 间接法最重要的三个假设是: ...
三维重建1-位姿追踪：单应矩阵、本质矩阵和基本矩阵
从今天起,好好复习一下面试到的题目,把研究生时期学习的,工作时间忘记的东西再补回来. 本文所写与原文相距甚远,如有疑问,请拜访原文.未经允许大量盗图,如有不满,请联系删除. 更多的细节请参考多视几何一 ...

基本矩阵F、本质矩阵E、单应矩阵H的关系

前言：

总结：