1 理想双目视觉系统

图1

如图1所示为理想双目视觉系统：两像机成像面共面行对齐，极点处于无限远处——像点(x0,y0)\left( x_0,y_0 \right)(x0,y0)对应的极线为y=y0y=y_0y=y0。

关于极点、极线方面的内容可以参考之前的博客：计算机视觉系列教程1-4：对极几何基本原理图解

取定左相机坐标系为标准系，由相似关系，物点在左成像面的坐标为
[L⁣ ⁣ xL⁣ ⁣ ⁣ y]=[fXZfYZ]\left[ \begin{array}{c} ^L\!\!\:x\\ ^L\!\!\:\!\:y\\\end{array} \right] =\left[ \begin{array}{c} f\frac{X}{Z}\\ f\frac{Y}{Z}\\\end{array} \right][LxLy]=[fZXfZY]

设双目系统的间距为bxb_xbx，则双目系统相机位姿关系为
LRT=[1−bx10101]_{L}^{R}\boldsymbol{T}=\left[ \begin{matrix} 1& & & -b_x\\ & 1& & 0\\ & & 1& 0\\ & & & 1\\\end{matrix} \right]LRT=⎣⎢⎢⎡111−bx001⎦⎥⎥⎤

因此物点在右相机坐标系下为R⁣ ⁣ X=LRT⁣L⁣ ⁣ ⁣ ⁣ X=[X−bxYZ]T^R\!\!\:\boldsymbol{X}=_{L}^{R}\boldsymbol{T}\!\:^L\!\!\:\!\!\:\boldsymbol{X}=\left[ \begin{matrix} X-b_x& Y& Z\\\end{matrix} \right] ^TRX=LRTLX=[X−bxYZ]T，同样由相似原理得
[R⁣ ⁣ xR⁣ ⁣ ⁣ y]=[fX−bxZfYZ]\left[ \begin{array}{c} ^R\!\!\:x\\ ^R\!\!\:\!\:y\\\end{array} \right] =\left[ \begin{array}{c} f\frac{X-b_x}{Z}\\ f\frac{Y}{Z}\\\end{array} \right][RxRy]=[fZX−bxfZY]

由于行对齐，因此同一物点在两成像面上形成立体视差
d=L⁣ ⁣ x−R⁣ ⁣ x=fbxZd=^L\!\!\:x-^R\!\!\:x=f\frac{b_x}{Z}d=Lx−Rx=fZbx

所谓立体视差就是同一个物点在两个相机成像面上相点之差。

从而可以从成像面坐标还原三维坐标，并转换为像素尺度:
[XYZ]=[L⁣ ⁣ xbxdL⁣ ⁣ ybxdfbxd]=[(L⁣ ⁣ u−L⁣ ⁣ cu)bxdu(L⁣ ⁣ v−L⁣ ⁣ cv)bxdufubxdu]\left[ \begin{array}{c} X\\ Y\\ Z\\\end{array} \right] =\left[ \begin{array}{c} ^L\!\!\:x\frac{b_x}{d}\\ ^L\!\!\:y\frac{b_x}{d}\\ f\frac{b_x}{d}\\\end{array} \right] =\left[ \begin{array}{c} \left( ^L\!\!\:u-^L\!\!\:c_u \right) \frac{b_x}{d_u}\\ \left( ^L\!\!\:v-^L\!\!\:c_v \right) \frac{b_x}{d_u}\\ f_u\frac{b_x}{d_u}\\\end{array} \right]⎣⎡XYZ⎦⎤=⎣⎡LxdbxLydbxfdbx⎦⎤=⎣⎢⎡(Lu−Lcu)dubx(Lv−Lcv)dubxfudubx⎦⎥⎤

其中ZZZ即为图像深度信息。将上述方程改写为线性形式:
[XYZ1]=[100−L⁣ ⁣ cu010−L⁣ ⁣ cv000fu001bxR⁣ ⁣ cu−L⁣ ⁣ cubx][L⁣ ⁣ uL⁣ ⁣ vdu1]⇔L⁣X=QL⁣ ⁣ u\left[ \begin{array}{c} X\\ Y\\ Z\\ 1\\\end{array} \right] =\left[ \begin{matrix} 1& 0& 0& -^L\!\!\:c_u\\ 0& 1& 0& -^L\!\!\:c_v\\ 0& 0& 0& f_u\\ 0& 0& \frac{1}{b_x}& \frac{^R\!\!\:c_u-^L\!\!\:c_u}{b_x}\\\end{matrix} \right] \left[ \begin{array}{c} ^L\!\!\:u\\ ^L\!\!\:v\\ d_u\\ 1\\\end{array} \right] \Leftrightarrow { ^L\!\boldsymbol{X}=\boldsymbol{Q}^L\!\!\:\boldsymbol{u}}⎣⎢⎢⎡XYZ1⎦⎥⎥⎤=⎣⎢⎢⎡10000100000bx1−Lcu−LcvfubxRcu−Lcu⎦⎥⎥⎤⎣⎢⎢⎡LuLvdu1⎦⎥⎥⎤⇔LX=QLu

其中QQQ称为重投影矩阵，R⁣ ⁣ cu−L⁣ ⁣ cubx\frac{^R\!\!\:c_u-^L\!\!\:c_u}{b_x}bxRcu−Lcu表征了两成像平面中心的像素偏差。

2 立体校正

实际应用时并不能直接使用上面的模型，因为没有任何硬件可以真正达到理想双目系统的条件，如图2所示。

图2 实际双目系统

将实际双目系统变换为理想双目系统的过程称为立体校正，下面详细阐述Bouguet立体校正算法，其核心原理是通过像素平面透视变换，使左右图像重投影误差最小，使双目系统最接近理想状态。

定义左右两相机间的变换关系为
LRT=[Rt01]_{\boldsymbol{L}}^{\boldsymbol{R}}\boldsymbol{T}=\left[ \begin{matrix} \boldsymbol{R}& \boldsymbol{t}\\ 0& 1\\\end{matrix} \right]LRT=[R0t1]

通过旋转矩阵RRR先将右相机坐标系旋转到与左相机坐标系平行，如图3所示。

图3

此时双目系统平行但不共面，需要构造一个校准矩阵RrectR_{rect}Rrect将两相机坐标系旋转到同一成像面上，实现共面行对齐校正，如图4所示。

图4 两相机坐标系共同旋转至共面行对齐

设Rrect=[r1Tr2Tr3T]T\boldsymbol{R}_{rect}=\left[ \begin{matrix} \boldsymbol{r}_{1}^{T}& \boldsymbol{r}_{2}^{T}& \boldsymbol{r}_{3}^{T}\\\end{matrix} \right] ^TRrect=[r1Tr2Tr3T]T，其构造过程如下：

① r1r_1r1是旋转后坐标系的x′x'x′相对于原坐标系三个轴的方向余弦，为保证旋转后两成像面共面，需要将原坐标系xxx轴旋转至基线−t-t−t方向，即
r1=−t∥t∥\boldsymbol{r}_1=\frac{-\boldsymbol{t}}{\left\| \boldsymbol{t} \right\|}r1=∥t∥−t

② r2r_2r2、r3r_3r3事实上可以任意给出，只需满足右手系方向即可。一般地，取

{r2=−t×[001]T∥−t×[001]T∥r3=r1×r2\begin{cases} \boldsymbol{r}_2=\frac{-\boldsymbol{t}\times \left[ \begin{matrix} 0& 0& 1\\\end{matrix} \right] ^T}{\left\| -\boldsymbol{t}\times \left[ \begin{matrix} 0& 0& 1\\\end{matrix} \right] ^T \right\|}\\ \boldsymbol{r}_3=\boldsymbol{r}_1\times \boldsymbol{r}_2\\\end{cases}⎩⎨⎧r2=∥∥−t×[001]T∥∥−t×[001]Tr3=r1×r2

使y′y'y′垂直于原光轴方向。

综合上述步骤得到
{RL=RrectRR=RrectRT\begin{cases} \boldsymbol{R}_L=\boldsymbol{R}_{rect}\\ \boldsymbol{R}_R=\boldsymbol{R}_{rect}\boldsymbol{R}^T\\\end{cases}{RL=RrectRR=RrectRT

接下来进行像素平面的映射。在不考虑畸变的条件下，相机坐标系未旋转时有u=Kx\boldsymbol{u}=\boldsymbol{Kx}u=Kx，旋转后则为u′=Kx′=KRx\boldsymbol{u}'=\boldsymbol{Kx}'=\boldsymbol{KRx}u′=Kx′=KRx，因此旋转前后像素坐标的关系为
u′=KRK−1u=Hu{ \boldsymbol{u}'=\boldsymbol{KRK}^{-1}\boldsymbol{u}=\boldsymbol{Hu}}u′=KRK−1u=Hu

像素立体校正后，即可使用理想双目系统模型进行场景几何的估计。

总结Bouguet立体校正算法流程：

(1) 基于相机几何信息RRR、ttt 构造RLR_LRL、RRR_RRR；
(2) 基于旋转前后像素坐标关系得到单应性矩阵HL=KRLK−1\boldsymbol{H}_L=\boldsymbol{KR}_L\boldsymbol{K}^{-1}HL=KRLK−1、HR=KRRK−1\boldsymbol{H}_R=\boldsymbol{KR}_R\boldsymbol{K}^{-1}HR=KRRK−1；
(3) 归一化齐次坐标。映射后u′=[uvw]\boldsymbol{u}'=\left[ \begin{matrix} u& v& w\\\end{matrix} \right]u′=[uvw]，需归一化为u′=[u/wv/w1]\boldsymbol{u}'=\left[ \begin{matrix} u/w& v/w& 1\\\end{matrix} \right]u′=[u/wv/w1]。

关于单应性矩阵方面的知识可以参考计算机视觉系列教程1-2：单应性矩阵估计

3 实例

计算机视觉教程6-1：图解双目视觉系统与立体校正原理相关推荐

Debian 7.1.0 安装教程图解(——Debian系统轻量级快速安装法)
Debian 7.1.0 安装教程图解(--Debian系统轻量级快速安装法) 目录一.Debian 7.1.0最新安装光盘二.安装系统教程图解三.DebianLNMP更多相关使用系列文章一.D ...
深度学习与计算机视觉教程(4) | 神经网络与反向传播（CV通关指南·完结）
作者:韩信子@ShowMeAI 教程地址:https://www.showmeai.tech/tutorials/37 本文地址:https://www.showmeai.tech/article-d ...
双目视觉系统的原理和设计
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达双目立体视觉是机器视觉的一种重要形式,它是基于视差原理并由多幅图像 ...
linux的系统架构,（转载）图解Linux系统的系统架构
我以下图为基础,说明Linux的架构(architecture).(该图参考<Advanced Programming in Unix Environment>) 最内层是硬件,最外层是用 ...
深度学习与计算机视觉教程(11) | 循环神经网络及视觉应用（CV通关指南·完结）
作者:韩信子@ShowMeAI 教程地址:https://www.showmeai.tech/tutorials/37 本文地址:https://www.showmeai.tech/article-d ...
Windows 7安装教程（详细图解）——思齐博客
Windows 7安装教程(详细图解) 发表于 2013-02-13 由思齐早前向大家介绍了Windows XP的安装教程,今天思齐再来介绍一下Windows 7的安装教程,Windows 7在安 ...
深度学习与计算机视觉教程：斯坦福CS231n · 全套笔记解读
作者:韩信子@ShowMeAI 教程地址:https://www.showmeai.tech/tutorials/37 本文地址:https://www.showmeai.tech/article-d ...
深度学习与计算机视觉教程(10) | 轻量化CNN架构 (SqueezeNet,ShuffleNet,MobileNet等)（CV通关指南·完结）
作者:韩信子@ShowMeAI 教程地址:https://www.showmeai.tech/tutorials/37 本文地址:https://www.showmeai.tech/article-d ...
深度学习与计算机视觉教程(3) | 损失函数与最优化（CV通关指南·完结）
作者:韩信子@ShowMeAI 教程地址:https://www.showmeai.tech/tutorials/37 本文地址:https://www.showmeai.tech/article-d ...
Beaglebone Black教程BeagleBone Black安装最新系统映像
Beaglebone Black教程BeagleBone Black安装最新系统映像 BeagleBone Black安装最新系统映像 Beaglebone Black虽然已经预装了Debian操作系 ...

计算机视觉教程6-1：图解双目视觉系统与立体校正原理

目录

1 理想双目视觉系统

2 立体校正

3 实例

计算机视觉教程6-1：图解双目视觉系统与立体校正原理相关推荐

最新文章

热门文章