影像匹配基本算法(摄影测量)
影像匹配实质上是在两幅(或多幅)影像之间识别同名点,它是计算机视觉及数字摄影测量的核心问题。由于早期的研究一般使用相关技术解决影像匹配问题,所以影像匹配常常被称为影像相关。
根据影像匹配过程中匹配基元选择的不同,影像匹配方法可分为像方基元匹配和地面元匹配两类。像方基元匹配是以影像上的像元或特征(点特征、线特征、面特征)为待匹配基元,利用像方信息(灰度或特征向量等)进行匹配准则的定义与计算,在像方侧完成同名像点的搜索确定。像方基元匹配方法总体上可分为局部影像匹配方法和全局影像匹配方法两类。另外,对于局部或全局匹配方法得到的视差,通常还要进行视差优化处理,以滤除错误视差、填补视差空洞等。而地面元影像匹配是以已知物方平面坐标(X,Y)的地面点作为待匹配基元,影像匹配的目的是确定地面基元的物方高程Z。由于地面元影像匹配方法能直接确定地物的空间三维坐标, 其也被称作基于物方的影像匹配方法,在数字表面模型生成、数字线划图绘制等地理信息产品生产过程中具有重要的应用。
像方匹配基元中局部匹配方法:SAD、SSD、NCC\ZNCC、Census-Transform、Mutual Information、PatchMatch
像方匹配基元中全局匹配方法:Graph Cut、Belief Propagation、Dynamic Programming
像方匹配基元中半全局匹配方法:SGM
地面元匹配方法:PMVS、VLL/MVLL
当然啦,本文的重点是摄影测量里的影像匹配算法,虽然有些算法与前面局部匹配方法中的相似,但叫法不同。摄影测量中基于像方的匹配算法(常见的五种算法):1.相关函数法;2.协方差函数法;3.差平方和法;4.差绝对值和法;5.相关系数法。实验表明,相关系数法影像匹配算法的成功率最高,所以这里就简单介绍一下基于像方的匹配算法——相关系数法以及基于物方的匹配算法——铅垂线轨迹法(VLL-Vertical Line Locus),还有摄影测量中最常用的最小二乘影像匹配算法。
1.基于像方的匹配算法——相关系数法
相关系数法是标准化的协方差函数,协方差函数除以两信号的方法即得相关系数。g(x,y)与g’(x’,y’)的相关系数为:
其中,
由离散灰度数据对相关系数的估计为:
考虑到计算工作量,相关系数的实用公式为
或化为
优点:相关函数是衡量左右影像两个灰度矢量X与Y相似性的一个数值指标。由于相关系数是标准化的协方差函数,因此当目标影像的灰度与搜索影像的灰度之间存在线性畸变时,仍能较好地评价他们之间的相似性程度。(相关系数时灰度线性变换的不变量)。
2.基于物方的匹配算法——VLL影像匹配算法
基于物方的影像匹配可以理解为高程直接解求的影像匹配,已知待定点平面坐标(X,Y),只需确定其高程Z,可以沿过点(X,Y)的铅垂线到左右影像上的投影直线进行匹配,这就是铅垂线轨迹法(Vertical Line Locus),当匹配完成时,点(X,Y)的高程也同时获得了。
假设在物方有一条铅垂线轨迹,则它的像片上的投影也是一条直线。这就是说VLL与地面交点A在像片上的构像必定位于相应的投影差位于的直线上。利用VLL法搜索其相应的像点a1与a2,从而确定A点的高程。这个过程与人工在解析测图仪或立体测图仪上的过程十分相似。
其步骤为:(1)给定地面点的平面坐标(X,Y)与近似最低高程Zmin,高程搜索步距 Δ \Delta ΔZ可由所要求的高程精度确定。
(2)由地面点平面坐标(X,Y)与可能的高程Zi = Zmin + i * Δ \Delta ΔZ (i = 0,1,2,…),计算左右像坐标(xi’,yi’)与(xin,xin)
(3)分别以(xi’,yi’)与(xin,xin)为中心在左右影像上取影像窗口,计算器匹配调度,如相关系数 ρ \rho ρ(也可以利用其他测度)。
(4)将i的值增加1,重复(2)(3)两步,得到 ρ \rho ρ0, ρ \rho ρ1,…, ρ \rho ρn,取其最大者 ρ \rho ρk,其对应高程为Zk = Zmin + k * Δ \Delta ΔZ,则认为地面点A的高程Z = Zk。
(5)还可以利用 ρ \rho ρk及其相邻的几个相关系数拟合一条抛物线,以其极值对应的高程作为A的高程,以进一步提高精度,或者以更小的步距 Δ \Delta ΔZ在一个小范围内重复以上过程。
3.最小二乘影像匹配算法
最小二乘法在影像匹配中的应用是在20世纪八十年代发展起来的。德国Ackermann教授提出了一种新的影像匹配方法——最小二乘影像匹配。由于该方法充分利用了影像窗口内的信息进行平差计算,使影像匹配可以达到1/10甚至1/100像素的高精度,即影像匹配精度可达到子像素等级。
首先来介绍一下影响灰度的系统变形有两大类:辐射畸变、几何畸变。
辐射畸变如何产生:1.照明及被摄物体辐射面的方向;2.大气与摄像机物镜所产生的衰减;3.摄影处理条件的差异以及影响数字化过程中所产生的误差等等。
几何畸变如何产生:1.摄影机方位不同所产生的影像的透视畸变;2.影像的各种畸变;3.由于地形坡度所产生的影响即便;4.竖直航空摄影的情况下,地形高差是几何畸变的主要因素。
最小二乘的匹配原理:
影像匹配中判断影像匹配的度量很多,其中有一种是“灰度差的平方和最小”。若将灰度差记为余差v,则上述判断可以写为: Σ \Sigma Σvv = min。因此,它与最小二乘的原则是一致的。但是,在一般情况下,它没有考虑影像灰度中存在着系统误差,仅仅认为影像灰度只存在偶然误差(随机噪声n),即
这就是一般的按 Σ \Sigma Σvv = min的原则进行影像匹配的数字模型。若在此系统中引入系统变形的参数,同时按最小二乘 Σ \Sigma Σvv = min的原则,解求这些参数,就构成了最小二乘匹配系统。
最小二乘匹配优点:
1.最小二乘影像匹配中可以非常灵活地引入各种已知参数和条件,从而可以进行整体平差;
2.最小二乘影像匹配即可以解决“单点”的影响匹配问题,以求得“视差”,也可以直接解求其空间坐标;
3.最小二乘影像匹配同时解决“多点”影像匹配或“多片”影像匹配;
4.最小二乘影像匹配可引入“粗差检测”,从而大大地提高影像匹配的可靠性;
5.甚至还可以用于解决影像遮蔽问题。
3.2基于辐射改正的LSM(仅考虑辐射的线性畸变的最小二乘匹配——相关系数)
有n个像素点时误差方程为:
按照 Σ \Sigma Σvv = min的原理,可得法方程式
最后解得:
为什么说仅考虑辐射的线性畸变的最小二乘匹配与相关系数等价呢,接下来解释一下:
将解得的h0,h1带入下面公式,得到 Σ \Sigma Σvv
已知相关系数的定义如下:
所以将 Σ \Sigma Σvv用相关系数表示得到:
以下式相关系数与信噪比之间的关系可见,以相关系数最大作为影像匹配搜索同名点的准则,其实质是搜索“信噪比为最大”的灰度序列。
3.3仅考虑影像相对位移的一维最小二乘匹配
假设两个一维灰度函数g1(x),g2(x),除随机噪声外,g2(x)相对于g1(x)只存在零次几何变形——位移量 Δ \Delta Δx。
最小二乘影像匹配是非线性系统,必须进行迭代,迭代过程收敛的速度取决于初值,因此必须已知初始匹配的结果。(先用相关系数匹配结果作为初始值)
3.4单点最小二乘匹配
两个二位影像之间的几何变形,不仅存在着相对位移,而且还存在着图形变化。只有充分考虑影像间的几何变形,才能获得最佳的影像匹配。
但是由于影像匹配窗口的尺寸均很小,所以一般只考虑一次畸变。几何变形公式如下:
若同时再考虑右影像相对于左影像的线性灰度畸变,可得
线性化误差方程式:
初始值分别为:
接下来的误差方程及法方程为:
其中矩阵C的值为:
由于在数字影像匹配中,灰度均是按规则格网排列的离散阵列,且采样间隔为常数 Δ \Delta Δ,可被视为单位长度,偏导数均用差分代替。
最小二乘匹配流程图如下所示:
最小二乘影像匹配的迭代过程:
(1)几何变形改正;
(2)重采样;
(3)辐射畸变改正;
(4)计算左影像窗口与经过几何、辐射改正后的右方影像窗口的灰度阵列g1与h0+h1·g2(x2,y2)之间的相关系数 ρ \rho ρ,判断是否需要继续迭代;
(5)采用最小二乘影像匹配,解求变形参数的改正值dh0,dh1…。
(6)计算变形参数;
(7)计算最佳匹配的点位。
在计算最佳匹配点位过程中,匹配精度却决于一个影像灰度的梯度,用梯度的平方为权,在左影像窗口内对坐标作加权平均:
以它作为目标点坐标,它的同名点坐标可由最小二乘影像匹配所求得得几何变换参数求得:
为了进一步提高其可靠性与精度,例如,附带共线条件的最小二乘相关以及与VLL法结合的最小二乘影像匹配方法都得到了广泛的研究。
3.5最小二乘匹配精度
最小二乘匹配算法,可以根据 σ \sigma σ0以及法方程式系数矩阵的逆矩阵,同时求得其精度指标。
以最简单的一维最小二乘匹配为例:
3.5多点最小二乘影像匹配
一般影像匹配包括人工观测在内,要想在缺乏纹理的区域完成匹配和观测是十分困难的,这是因为一般匹配方法每次只能匹配一个点。
如果采用双线性有限元内插与最小二乘匹配相结合的方法,同时答解各网格点的视差,再通过周围点视差平滑约束,可以求得这些地区(小范围纹理缺乏地区)的视差值,从而完成局部整体影像匹配,这就是多点最小二乘影像匹配。
影像匹配基本算法(摄影测量)相关推荐
- 基于相关系数的影像匹配_智库丨陈晓勇:低空摄影测量立体影像匹配的现状与展望...
↑ 点击上方「中国测绘学会」 可快速关注我们 摘要: 影像匹配是在两幅或多幅具有重叠度的影像中通过特定的算法提取影像间同名点的过程,是低空摄影测量数据处理中最为关键的步骤,匹配质量与效率直接影响到后续 ...
- 原理 快速邻近匹配_论文推荐 | 陈晓勇:低空摄影测量立体影像匹配的现状与展望...
<测绘学报> 构建与学术的桥梁 拉近与权威的距离 低空摄影测量立体影像匹配的现状与展望 陈晓勇1, 何海清1, 周俊超1, 安谱阳1, 陈婷2 1.东华理工大学测绘工程学院, 江西 南昌 ...
- 摄影测量手动提取立体像对同名点像素,相对定向解算,特征点提取,影像匹配同名点的python实现
摄影测量手动提取立体像对同名点像素,相对定向解算,特征点提取,影像匹配同名点的python实现 0 写在前面 摄影测量课程布置的课程大作业,主要要求是: 独立完成一种相对定向的算法程序设计与开发.功能 ...
- 从计算机视觉(slam)和摄影测量两个维度进行BA算法原理推导
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 摄影测量作为历史悠久的学科,在3D视觉里面很多算法发挥着重要的作用:而slam 的出现对摄影测量是某种 ...
- 激光雷达与摄影测量相结合如何提高点云质量?
是否可以通过将激光雷达与摄影测量技术相结合来提高点云的准确性和密度?激光雷达数据可以穿透树木并测量阴影区域以生成非常准确的点云.被动成像相机衍生出更详细的 3D 模型并使用多光谱信息对点云进行编码,从 ...
- 智能手机拍照进化论:从传感器到算法摄影
在智能手机时代,摄影已经发生了变化.不仅人们的拍照姿势变了,手机摄像机捕获的光线的整个过程也发生了翻天覆地的变化. 相机不再只是一个镜头和一个传感器,还是一系列算法的体现,它们可以以最快的速度处理图像 ...
- 第一篇文献:谈大数据时代的云控制摄影测量 ——张祖勋院士
提出背景:大数据时代的到来,通过无人机等手段获取到的摄影测量影像具有传统航测影像不具备的优势和缺点.优势主要是数据量大,获取到的周期短,时效性高.劣势是规范性弱,缺乏严格的航线规划.且大多为非量测型相 ...
- 摄影测量实习-解析空中三角测量-C#代码
大三学期中的摄影测量实习 以下是C#窗体代码-以供同学们学习 ( 相较于其他方法,解析空三的代码略微繁琐,一般有1000多行 学而不思则罔! 切勿直接照搬! 数据来源原文链接:https://blog ...
- 激光雷达还是摄影测量?两者数据融合如何提高点云质量
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 作者丨GIS前沿 编辑丨3D视觉工坊 是否可以通过将激光雷达与摄影测量技术相结合来提高点云的精度和密度 ...
最新文章
- 玩电子游戏的神经网络,告诉我们大脑是如何决策的
- 链路负载均衡的链路和NAT地址保持
- 【必懂】C语言水仙花数题解
- html jq移到出现内容,jquery操作html元素之( 获得内容和属性)
- window电脑关闭自动更新的方法,妈妈再也不用担心我开机等电脑啦
- wince6.0开机自启动应用程序
- QT5 QSqlQuery的SELECT INSERT UPDATE DELETE命令用法
- css怎么使用gpu加速,用CSS3开启GPU硬件加速来提升网站的动画渲染性能
- django 1.8 官方文档翻译: 1-1-2 快速安装指南
- mysql数据库教程官网_数据库MySQL官方推荐教程-MySQL入门到删库
- Fij/imageJ下载使用
- 协同办公OA业务系统数据集成(4)-前端业务流程数据接口调用
- 小米、搜狗、TW等机器学习算法工程师面试总结
- 区块链分叉带来的安全挑战
- Silverlight 减小 Xap 的大小
- 旅行商问题与蚁群算法
- 2020全球财说峰会主题演讲:数字化时代的产业重塑
- 'BMap' is not defined 解决方案,亲测有效
- 解决电脑搜不到WiFi6无线路由信号问题,别人家的都能搜到自己家的搜不到
- ReentrantLock源码走读分析
热门文章
- Arduino IDE+_Attiny13/85实践(四) Mind+ 与Attiny85
- 发现新的恶意 Torii IoT 僵尸网络
- SpringCloud基础
- Linux常用命令和shell命令
- python中pip的使用 安装 升级 卸载包
- Visionpro从小白到大佬,第一章了解工具名称和用途
- python送程序员收入_程序员学Python后惊叹,这么丰厚的收入是Java给不了的!
- ueditor编辑器上传文件超时报错
- 清明节全国哀悼,那么网站全部变灰是怎么实现的?
- 马斯克的推特CEO继任者曝光:带着老婆孩子睡公司,钢铁侠20年嫡系,现在掌舵挖洞公司...