闫利, 王芮

, 刘华, 陈长军. . 基于改进代价计算和自适应引导滤波的立体匹配. 光学学报, 2018, 38(11): 1115007-。

Yan Li, Wang Rui

, Liu Hua, Chen Changjun. . Stereo Matching Method Based on Improved Cost Computation and Adaptive Guided Filter. Acta Agronomica Sinica, 2018, 38(11): 1115007-.

基于改进代价计算和自适应引导滤波的立体匹配

闫利, 王芮*, 刘华, 陈长军

武汉大学测绘学院, 湖北 武汉 430079

摘要

针对现有局部立体匹配算法在弱纹理区域匹配精度低的问题,提出一种基于改进代价计算和自适应引导滤波代价聚合的局部立体匹配算法。该算法首先将增强后的梯度信息与基于增强梯度的Census变换相结合,构建代价计算函数;然后对图像的每一个像素构建自适应形状十字交叉窗口,并基于自适应窗口进行引导滤波代价聚合;最后通过视差计算和多步视差精化得到最终的视差图。实验结果表明,改进后的算法在Middlebury测试平台上对标准立体图像对的平均误匹配率为4.80%,与基于传统引导滤波器的立体匹配算法相比,本文算法在弱纹理区域取得更好的匹配结果。

关键词

机器视觉; 立体匹配; 代价计算; 自适应引导滤波; Census变换

Stereo Matching Method Based on Improved Cost Computation and Adaptive Guided Filter

Yan Li, Wang Rui*, Liu Hua, Chen Changjun

School of Geodesy and Geomatics, Wuhan University, Wuhan, Hubei 430079, China

Abstract

To solve the problem of low matching accuracy in textureless regions, a local stereo matching method is proposed based on improved cost computation and adaptive shape guided filter. First, an efficient cost function combining enhanced image gradient and enhanced gradient-based Census transform is introduced for cost computation. Then, an adaptive shape cross-based window is constructed for each pixel, and guided filter aggregation is implemented based on this adaptive window. The final disparity map is obtained after disparity computation and multi-step disparity refinement. The experimental results demonstrate that the average matching error rate of the proposed algorithm is 4.80% for stardard image paris on Middlebury benchmark. Compared with traditional guided filter-based method, the proposed method has better matching results in textureless regions.

Key words

machine vision; stereo matching; cost computation; adaptive guided filter; Census transform

论文信息

doi:10.3788/AOS201838.1115007

OCIS codes:

150.1135; 330.1400; 100.6890

收稿日期:2018-05-23

接受日期:2018-07-12

基金项目:国家重点研发计划2017YFC0803802

1 引言

立体匹配是通过寻找同一场景在不同视角下的两幅或多幅图像的像素匹配点, 逐像素获取视差, 从而恢复场景深度信息的过程, 是摄影测量和计算机视觉领域的重要研究课题, 在三维重建[、数字表面模型生成[、虚拟现实和无人驾驶[等领域有着广泛的应用。Scharstein等[对典型的立体匹配算法进行了研究和总结, 形成了立体匹配算法的理论框架, 将现有的立体匹配算法分为全局算法和局部算法两类。全局立体匹配算法通过全局能量函数最小化来求取视差, 精度较高但是计算复杂, 常见的全局算法有置信度传播匹配算法[、图割法[和动态规划匹配算法[等。局部立体匹配算法利用窗口内的邻域信息来进行匹配, 精度较全局算法差, 但是计算复杂度低, 易于实现。局部立体匹配算法通常可以分为4步:1)匹配代价计算; 2)代价聚合; 3)视差计算/优化; 4)视差精化。

常见的匹配代价计算方法有基于像素的匹配代价、基于窗口的匹配代价、基于非参数变换的匹配代价, 以及互信息[。基于像素的匹配代价包括灰度差绝对值(AD)、灰度差平方(SD)、采样不敏感的BT(Birchfiedld-Tomasi)[等; 基于窗口的匹配代价包括灰度差绝对值和(SAD)、灰度差平方和和归一化互相关等; 基于非参数变换[的匹配代价包括Census和Rank。其中, 基于图像颜色的算法(AD、SD等)对噪声和光照变化非常敏感, Census变换对光照变化具有较好的稳健性, 但是在重复纹理区域效果较差; 因此, 将多种代价函数相结合构造新的匹配代价的方法被更广泛使用。Hosni等[将SAD和梯度信息相结合作为新的匹配代价函数; Mei等[结合AD和Census变换进行代价计算, 在弱纹理区域和重复纹理结构区域都取得了很好的结果; Zhu等[将AD、梯度信息和Census变换结合, 提高了算法的匹配精度。

代价聚合是局部立体匹配算法中最重要的一步, 通过对支持窗口内的初始匹配代价进行求和或取平均来提高匹配可靠性。目前常见的局部聚合方法主要分为自适应支持窗口法(VSW)[提出了一种基于十字交叉的自适应窗口, 利用相邻像素的颜色信息和空间距离关系在水平和垂直方向扩展邻域像素, 形成一个十字交叉区域。Mei等[在此基础上改进了像素扩展的判断准则, 提出双距离阈值和双色彩阈值准则, 提高了弱纹理区域的匹配精度。祝世平等[提出一种基于线性可变阈值的臂长判断准则。基于ASW的方法则是通过对固定窗口内的相邻像素分配不同的权重来进行代价聚合。Yoon等[首次提出了基于双边滤波器的立体匹配算法, 并取得优异的性能, 但其计算复杂度较高。Hosni等[提出一种利用引导滤波器(GF)[的代价聚合算法, 与双边滤波器相比, 引导滤波器可以更好地保持边缘, 并且其计算复杂度与窗口大小无关, 因此在实时系统中得到了广泛使用。Yang等[基于此思想将VSW和ASW结合, 提出了一种基于自适应矩形窗口进行滤波的立体匹配算法。

为提高弱纹理区域的匹配精度, 本文提出一种基于改进代价计算和自适应引导滤波的立体匹配算法。首先, 将增强后的梯度信息和基于增强梯度的Census变换相结合进行匹配代价计算; 然后, 在代价聚合阶段, 对图像的每一个像素构建自适应十字交叉窗口, 并基于自适应窗口进行引导滤波代价聚合; 最后, 采用Winner-Take-All(WTA)策略进行视差计算, 对错误匹配点进行视差精化, 得到最终的视差图。

2 算法描述

本文算法以经过立体校正后的立体影像对为输入, 对立体影像对进行匹配代价计算、代价聚合、视差计算和多步视差精化后, 输出视差图, 算法的总体流程如图1所示。匹配代价计算采用增强梯度信息和基于增强梯度的Census变换相结合的代价计算方法, 对校正后的立体像对逐像素逐视差地计算匹配代价; 代价聚合首先对输入图像的每一个像素构建自适应形状的十字交叉窗口, 然后基于该任意形状窗口进行引导滤波; 视差计算采用WTA策略对每个像素选择其最小匹配代价对应的视差值, 获得初始视差图; 视差精化先对初始视差图进行左右一致性检测, 获得视差异常点(遮挡点、误匹配点), 然后进行异常点插值、加权中值滤波和子像素精化等后处理, 获得最终精化后的视差图。

图1

Fig. 1

图1 算法流程图Fig. 1 Diagram of proposed method

2.1 匹配代价计算

匹配代价是左右两幅图像逐像素逐视差的相似性度量, 可以用一个大小为H×W×D的三维矩阵来表示, 其中H、W和D分别表示图像的高、宽和视差搜索范围。基于AD的匹配代价方法能快速计算左右图像待匹配点的灰度差, 但是对噪声和光照变化非常敏感, 且在弱纹理区域效果较差; 基于梯度变化的代价函数[可以突出视差不连续的区域; 基于Census变换的方法对噪声和光照具有较好的稳健性[。为了在弱纹理区域获得更高的精度, 并且考虑到实际环境中噪声和辐射测度变化是不可避免的, 本文结合增强梯度信息和改进的Census变换来构建匹配代价函数。

为了获得更强的边缘信息, 在代价计算之前进行图像增强处理, 分别对左右图像进行限制对比度自适应直方图均衡(CLAHE)[处理。对于每一个像素点p在视差d下的基于梯度信息的代价包括了水平方向和竖直方向的梯度:

CGRADCLAHE(p,d)=∇xIL(p)-∇xIR(p-d)+∇yIL(p)-∇yIR(p-d),(1)

式中 ∇xI(p)和 ∇yI(p)分别表示像素p点沿x和y方向的梯度信息, IL和IR是左右图像。

传统Census变换选取中心像素的灰度值作为参考, 将其与窗口中相邻各像素的灰度值进行比较, 并用0和1表示大小关系, 经过变换形成二进制码流。这种方法对中心像素的依赖性强, 对图像噪声的抗干扰能力弱, 而且对重复纹理结构匹配效果差。为了增强算法的稳健性, 提高在重复纹理的匹配精度, 本文使用基于增强梯度信息的Census变换来计算匹配代价。相比于传统Census变换, 改进后的Census变换是对像素的梯度幅度进行比较, 能有效改善重复纹理区域的匹配精度, 改进后的Census变换可表示为

CCTg(p)=⊗q∈Npξ[IGRADCLAHE(p),IGRADCLAHE(q)],(2)ξ(p,q)=1,q

式中:⊗表示按位连接; Np表示像素p的邻域; IGRADCLAHE(p)和 IGRADCLAHE(q)表示p和q的增强梯度信息。对于Census变换后得到的左图像素点的CCTgL(p)和右图对应视差为d的像素点的CCTgR(p), 利用汉明距离计算两个像素点的相似性测度:

CCTg(p,d)=Hamming[CCTgL(p),CCTgR(p-d)]。(4)

将增强后的梯度代价和改进的Census变换进行加权融合, 得到最终的匹配代价, 具体表达公式为

C(p,d)=2-exp[-CGRADCLAHE(p,d)/λGRAD]-exp[-CCTg(p,d)/λCTg],(5)

式中λGRAD和λCTg是正则化参数。

为了验证增强梯度代价函数和基于增强梯度的Census变换的有效性, 对Middlebury数据集Tsukuba图像进行对比实验, 实验采用相同的代价聚合方法, 且没有进行视差精化, 获得的视差图(图2)。从图2可以看出, 增强后的梯度代价函数的边缘(红色框)保持效果明显优于原始梯度代价函数; 基于增强梯度的Census变换的代价函数在重复纹理结构区域(蓝色框)的匹配精度高于传统Census变换。

图2

Fig. 2

图2 基于不同代价计算方法的Tsukuba图像的初始视差图。(a)原始梯度代价函数; (b)增强后的梯度代价函数; (c)原始Census变换; (d)基于增强梯度的Census变换Fig. 2 Initial disparity maps based on different cost methods for Tsukuba. (a) Absolute difference in images gradients; (b) absolute difference in enhanced images gradients; (c) traditional Census transform; (d) Census transformation based on enhanced images gradients

2.2 代价聚合

2.2.1 自适应形状十字交叉窗口构建

局部立体匹配代价聚合假设支持窗口内的像素视差平滑[。对于弱纹理区域, 需要选择一个较大的窗口来包含足够多的纹理信息; 对于视差不连续的区域, 需要较小的支持窗口来保持边缘细节信息。传统引导滤波器的窗口大小是固定的, 为了提高弱纹理区域的匹配精度, 本文采用一种基于自适应形状窗口的引导滤波器, 并提出一种双约束的线性变化阈值的判定准则来构建自适应形状窗口, 臂长的判断准则如下:

τlarge(lpq)=-τ1/L1×lpq+τ1,iflpq≤dLimτsmall(lpq)=-τ2/L2×lpq+τ2,otherwise,(6)

式中:τ1和L1为深度不连续区域设定的颜色和距离阈值; τ2和L2为弱纹理区域设定的颜色和距离阈值; lpq是像素p的当前臂长, q为待匹配像素的邻域像素; τ(lpq)是当前像素与邻域的颜色阈值; dLim为深度不连续区域设定的最大距离。根据上述判定准则, 对当前待匹配像素p在水平方向和垂直方向分别进行扩展, 动态计算当前颜色阈值, 当不满足上述任意条件时停止扩展, 形成一个十字交叉区域, 分别用H(p)和V(p)表示为

V(p)={(x,y)|x∈[xp-lv-,xp+lv+],y=yp},(7)H(p)={(x,y)|y∈[yp-lh-,yp+lh+],x=xp},(8)

式中 lv-, lv+, lh-, lh+分别为水平和垂直方向的4个臂长。对于垂直方向V(p)上的每一个像素q在水平方向上重复上述的像素扩展过程得到H(q), 如图3(a)所示, 从而构造自适应形状区域, 用S(p)表示为

S(p)=∪q∈V(p)H(q)。9

基于颜色和距离约束的判定准则容易受到噪声影响, 因此在构建自适应支持窗口前需要对图像进行高斯滤波。基于不同判定准则的自适应窗口的构建结果如图3所示, 图中蓝色区域为不同像素的自适应窗口。从图中可以看出, 图3(d)在大范围的弱纹理区域能获得更多的有效像素, 图3(c)在弱纹理区域的效果优于图3(b)。

图3

Fig. 3

图3 自适应窗口构建示意图。(a)基于交叉的区域结构; (b)文献[Fig. 3 Schematic of adaptive window construction. (a) Cross-based support region construction; (b) adaptive window in Ref. [17]; (c) adaptive window in Ref. [14]; (d) adaptive window in proposed method

2.2.2 自适应引导滤波

传统引导滤波的局部窗口是固定大小的正方形窗口, 主要思想是假设滤波器输出结果与输入的指导图像在局部范围内是符合线性模型的[。所采用的滤波方法基于自适应形状的窗口, 若输入图像为I, 待滤波图像为P, 滤波后结果为Q, 则根据引导滤波器的线性模型计算可得到改进后引导滤波的线性系数ak和bk:

ak=1Nk∑i∈NkIiPi-μkP-k/(σk2+ε),(10)bk=P-k-akμk,(11)

式中:i和k为图像索引; Nk为像素k的自适应支持窗口; Nk表示窗口内像素的总个数; μk和 σk2分别是Ii的均值和方差; ε为正则化参数。滤波后的结果用线性模型表示为

Qi=a-iIi+b-i=1Ni∑k∈NiakIi+1Ni∑k∈Nibk,(12)

式中 Ni和 Nk分别表示自适应区域Ni和Nk内像素的总个数。为了提升代价聚合的计算效率, 采用正交积分图像技术[, 将二维不规则窗口分解为两个正交一维窗口, 并通过预先计算水平积分图像和垂直积分图像来加速聚合效率。改进后的引导滤波器核函数可以表示为

Wij(I)=1Ni∑k∈Ni{1Nk∑j∈Nk1(Ii-μk)(Ij-μk)σk2+ε]}。(13)

2.3 代价计算

代价聚合后得到最终的匹配代价为C'(p, d)。利用WTA策略对每个像素选择最小匹配代价对应的视差值作为其初始视差:

dp=argmind∈D[C'(p,d)],(14)

式中D表示所有可能的视差值。

2.4 视差精化

通过上述WTA策略获得的初始视差图中仍包含很多错误匹配点, 需要进行后处理。参考文献[

dL(p)-dRpdL(p)]<1,(15)

式中:dL(p)为左视差图中p点的视差值; dR[p-dL(p)]为p点在右视差图的对应点的视差值。若不满足左右视差相等, 则认为是异常点。根据对极几何原理将异常点分为遮挡点和错误匹配点[。

分别对左右一致性检测获得的遮挡点和误匹配点采用不同的插值策略。对于遮挡像素, 由于遮挡区域通常位于图像背景, 因此需要来自背景区域的有效非遮挡像素的视差值来对遮挡点插值, 在8个方向上搜索和遮挡像素最接近的有效像素, 并选择其中最小的视差值作为当前遮挡像素的视差值; 对于误匹配像素, 在8个方向上将像素颜色最相似的有效像素的视差值作为误匹配像素的视差值, 并采用加权中值滤波器[对插值后的视差图进行平滑。为了减少离散视差引起的视差图不连续, 基于二次多项式插值进行子像素估计[。对于每个像素p, 其最佳子像素视差值为

dsub=d-S(p,d+)-S(p,d-)2[S(p,d+)+S(p,d-)-2S(p,d)],(16)

式中:d为加权中值滤波后得到的像素p的视差值; S(p, d+)和S(p, d-)分别是像素p在视差为d+1和d-1时的聚合代价。

3 实验结果与分析

为了验证代价计算和代价聚合算法的有效性, 采用Middlebury立体匹配评估测试平台[提供的数据集进行实验, 实验中涉及的参数设置如表1所示。采用误匹配率来定量评价算法的匹配精度, 视差阈值为1, 即视差图结果与真实视差图相差1 pixel以上时, 认为该点为错误匹配点。

表1

Table 1

Experimental parameter settings

Table 1表1 实验参数设置      Table 1 Experimental parameter settings

表1实验参数设置Table 1Experimental parameter settingsParameterValueParameterValueλGRAD25λCTg15

τ130L131

τ26L280

dLim9ε0.012

3.1 匹配代价计算验证

为了验证本文算法的有效性和对图像失真的稳健性, 选取3种代价函数进行对比, 分别为SAD和梯度结合(SAD+Grad)[、AD和Census变换结合(AD+Cen)[、AD与梯度和Census变换结合(AD+Grad+Cen)[。利用这3种混合代价函数与本文提出的代价函数对Middlebury 2006数据集中6组立体图像对(Aloe、Baby1、Bowling1、Cloth1、Flowerpots和Rocks1)分别在不同光照、曝光, 以及无幅度失真的条件下进行实验。图4和图5分别为Aloe和Baby1在不同光照、曝光条件下的实验结果, 实验中获得的所有视差图都没有进行后处理, 并且均采用相同的代价聚合算法。

表2~4分别为不同代价计算方法在不同光照、不同曝光和无幅度失真条件下的6组图像的误匹配率, 表中Avg为平均误匹配率。在不同的光照条件下, 本文算法在Aloe、Baby1、Bowling1、Flowerpots和Rocks1这5组图像上均取得最好的匹配结果, 在Cloth1图像上也取得与SAD+Grad算法相当的匹配精度。在不同的曝光条件下, 本文算法在Aloe、Baby1、Cloth1、Flowerpots和Rocks1这5组图像上均获得最好的匹配精度, 在Bowling1图像上仅次于AD+Cen算法。这是因为AD/SAD算法对左右图像的颜色失真和噪声非常敏感, 当光照或曝光不一致时会大大增加错误匹配, 导致匹配精度下降。Census变换对图像的颜色失真具有较强的稳健性, 本文算法将改进后的Census变换与梯度结合, 没有采用AD算法, 增强了对幅度失真的稳健性。在左右影像完全没有幅度失真的情况下, 基于AD的代价计算具有丰富的颜色信息, 在重复纹理区域具有比Census变换更好的匹配精度[。从表4可以看出, 在没有幅度失真的条件下, SAD+Grad算法在Aloe、Cloth1、Rocks1图像上获得最好的结果。本文算法在Baby1、Bowling1和Flowerpots图像上取得最好的精度, 在其他图像上也获得和另外3种算法相当的匹配精度。在不同条件下本文算法的平均误匹配率都低于其他算法, 实验结果表明, 本文算法能有效提高匹配精度, 降低误匹配, 并且能增强对幅度失真的稳健性。

图4

Fig. 4

图4 Aloe和Baby1在不同光照下不同代价计算方法的视差图。(a)左图像; (b)右图像; (c)真实视差图; (d) SAD和梯度结合; (e) AD和Census变换结合; (f) AD、梯度和Census变换结合; (g)本文算法Fig. 4 Disparity maps under different illumination conditions for Aloe and Baby1. (a) Left image; (b) right image; (c) ground truth; (d) SAD+Grad; (e) AD+Cen; (f) AD+Grad+Cen; (g) proposed cost computation

图5

Fig. 5

图5 Aloe和Baby1在不同曝光下不同代价计算方法的视差图。(a)左图像; (b)右图像; (c)真实视差图; (d) SAD和梯度结合; (e) AD和Census变换结合; (f) AD、梯度和Census变换结合; (g)本文算法Fig. 5 Disparity maps with different exposures for Aloe and Baby1. (a) Left image; (b) right image; (c) ground truth; (d) SAD+Grad; (e) AD+Cen; (f) AD+Grad+Cen; (g) proposed cost computation

表2

Table 2

Error matching rates of various cost computations under different illuminations%

Table 2表2 不同代价计算算法在不同光照下的误匹配率      Table 2 Error matching rates of various cost computations under different illuminations%

表2不同代价计算算法在不同光照下的误匹配率Table 2Error matching rates of various cost computations under different illuminations%AlgorithmAloeBaby1Bowling1Cloth1FlowerpotsRocks1AvgSAD+Grad32.17516.88240.90010.82953.52827.23830.259

AD+Cen32.27425.05546.14713.21256.00018.73231.903

AD+Grad+Cen37.14923.17546.65812.69072.10632.37537.359

Proposed22.03411.11526.94611.33334.18513.84919.910

表3

Table 3

Error matching rates of various cost computations under different exposures%

Table 3表3 不同代价计算算法在不同曝光下的误匹配率      Table 3 Error matching rates of various cost computations under different exposures%

表3不同代价计算算法在不同曝光下的误匹配率Table 3Error matching rates of various cost computations under different exposures%AlgorithmAloeBaby1Bowling1Cloth1FlowerpotsRocks1AvgSAD+Grad52.51050.67246.43450.17887.56279.77361.188

AD+Cen16.17311.11820.02211.09641.02115.32919.127

AD+Grad+Cen31.01230.18231.37413.54377.59044.21837.987

Proposed15.20510.65822.78211.06029.83414.09417.272

表4

Table 4

Error matching rates of various cost computations without radiometric changes%

Table 4表4 不同代价计算算法在无幅度失真条件下的误匹配率      Table 4 Error matching rates of various cost computations without radiometric changes%

表4不同代价计算算法在无幅度失真条件下的误匹配率Table 4Error matching rates of various cost computations without radiometric changes%AlgorithmAloeBaby1Bowling1Cloth1FlowerpotsRocks1AvgSAD+Grad12.40912.00926.1229.61920.69710.59815.242

AD+Cen13.61011.81123.85910.47522.67612.76615.866

AD+Grad+Cen15.34912.35024.56311.23621.83212.58616.319

Proposed14.4789.74918.66311.08518.64412.00814.104

3.2 代价聚合算法验证

为验证代价聚合算法的有效性, 采用传统引导滤波器[立体匹配算法和改进代价聚合算法对Middlebury测试平台的4幅标准图像, 以及2006数据集的21组图像进行实验。实验均采用相同的后处理过程。表5为这两种算法在Tsukuba、Venus、Teddy、Cones标准图像上的误匹配率。其中, n-occ、all、disc分别表示图像在非遮挡区域、所有区域、视差不连续区域的误匹配率。从表5可以看出, 改进算法的平均误匹配率为4.80%, 在Tsukuba、Venus和Teddy图像上匹配精度都有所提高, 仅在Cones图像上精度稍差, 总体精度优于传统引导滤波器算法。

图6为Middlebury 2006数据集中的6组弱纹理图像Lampshade1、Lampshade2、Midd1、Midd2、Monopoly和Plastic的实验结果, 图6(a)为原始左图像, 图6(b)为真实视差图, 图6(c)为传统引导滤波器算法的视差图, 图6(d)为传统滤波器算法的误匹配像素图, 其中白色区域是匹配正确的点, 黑色区域表示匹配错误的点, 图6(e)为改进算法的视差 图, 图6(f)为改进算法的误匹配像素图。表6为这两种算法在2006数据集的21组图像所有区域的误匹配率, 相比传统引导滤波器代价聚合算法, 改进算法的平均误匹配率有所下降, 在Lampshade1、Lampshade2、Midd1、Midd2、Monopoly、Plastic和Wood2图像上匹配精度均明显提高, 但在其他图像上精度降低。实验结果表明, 改进算法相比传统引导滤波器在弱纹理区域的匹配精度有所提高, 6组弱纹理图像的误匹配率均有所降低。本文算法在纹理相似的深度不连续区域由于窗口自适应扩展会增加误匹配, 导致其他图像的匹配精度下降。

图6

Fig. 6

图6 不同代价聚合算法在弱纹理图像的视差图。(a)左图像; (b)真实视差图; (c)基于传统引导滤波器的视差图; (d)传统引导滤波器算法的误匹配像素图; (e)本文算法的视差图; (f)本文算法的误匹配像素图Fig. 6 Disparity maps of different cost aggregation algorithms for textureless images. (a) Left images; (b) ground truth maps; (c) results of local stereo method based on guided filter; (d) error maps for method based on guided filter; (e) results of the proposed method; (f) error maps of the proposed method

表5

Table 5

Error matching rates of different algorithms for different images%

Table 5表5 不同算法的误匹配率      Table 5 Error matching rates of different algorithms for different images%

表5不同算法的误匹配率Table 5Error matching rates of different algorithms for different images%AlgorithmTsukubaVenusTeddyConesAvg

n-occalldiscn-occalldiscn-occalldiscn-occalldiscGF2.212.598.560.320.684.314.778.6213.12.537.907.675.27

Proposed1.741.958.350.230.423.173.957.8810.82.808.118.254.80

表6

Table 6

Error matching rates of different algorithms in all regions%

Table 6表6 所有区域不同算法的误匹配率      Table 6 Error matching rates of different algorithms in all regions%

表6所有区域不同算法的误匹配率Table 6Error matching rates of different algorithms in all regions%AlgorithmAloeBaby1Baby2Baby3Bowling1Bowling2GF7.4072.5755.5345.9817.94012.184

Proposed8.6264.09210.6356.19714.63614.794

AlgorithmCloth1Cloth2Cloth3Cloth4FlowerpotsLampshade1

GF2.9608.6133.9408.39312.40511.223

Proposed3.22510.4184.3328.45412.6969.540

AlgorithmLampshade2Midd1Midd2MonopolyPlasticRocks1

GF15.72937.65335.38122.80332.6664.183

Proposed8.57013.85716.2707.33525.7244.968

AlgorithmRocks2Wood1Wood2Avg(all)

GF3.5873.8290.96511.712

Proposed3.9738.5740.4849.400

3.3 参数分析

为了分析不同参数取值对实验结果的影响, 对所涉及的7种参数进行实验, 其中正则化参数ε的取值参考Hosni等[算法, 这里不做分析。使用不同参数的匹配精度结果如图7所示, 图7(a)和(b)的参数λGRAD和λCTg为代价计算的归一化参数, 当参数λGRAD=25、λCTg=15时, 可以获得较低的平均误匹配率。在代价聚合阶段, 颜色阈值τ1和臂长阈值L1, 以及距离阈值dLim为纹理丰富或视差不连续区域构造自适应窗口, 其中, dLim为深度不连续区域设定的最大距离, 图7(g)表明匹配精度会随着dLim的增大而降低, 因此本文设置较小的距离阈值dLim=9。由图7(c)和(d)可知, 参数τ1和L1的选择对大部分图像的匹配精度影响不大。这是因为对于大部分纹理比较丰富的区域, 距离阈值dLim已经设置了一个比较小的窗口, 因此颜色阈值τ1和臂长阈值L1仅用于调整小区域的窗口大小, 对图像的精度影响不大。颜色阈值τ2和臂长阈值L2为弱纹理区域构造自适应窗口, 由图7(e)和(f)可知, 当颜色阈值τ2=6、臂长阈值L2=80时, 可以取得较好的视差结果。

3.4 算法对比分析

为了进一步验证算法在弱纹理区域的总体性能, 选择其他4种常见立体匹配算法对弱纹理图像进行实验, 包括引导滤波器(CostFilter)[、跨尺度引导滤波器(CS-GF)[、跨尺度最小生成树(CS-MST)[、跨尺度分割树(CS-ST)[立体匹配算法。从表7可以看出, 本文算法的平均误匹配率为13.549%, 在Lampshade1、Lampshade2、Midd1和Monopoly图像上均取得最好的匹配精度; 在Midd2图像上, 本文算法的精度仅低于CS-ST算法; 在Plastic图像上, 本文算法的精度仅低于CS-GF算法, 而总体匹配精度优于其他立体匹配算法。实验结果说明, 本文算法能提高弱纹理区域的匹配精度, 降低误匹配率。在算法效率方面, 这5种算法在本文实验环境中的运行时间如表8所示。实验中计算机的配置为i5-2500K CPU、8 GB内存。测试的4组标准图像Tsukuba、Venus、Teddy、Cones分辨率分别为288 pixel×384 pixel、383 pixel×434 pixel、375 pixel×450 pixel、375 pixel×450 pixel, 视差搜索范围依次为0~15、0~19、0~59、0~59 pixel。其中, CostFilter、CS-MST和CS-ST算法的运行效率相当, 时间较短, 本文算法和CS-GF的运行时间较长。这是因为CS-GF对图像进行多层采样处理, 增加了运行时间, 而本文算法在代价聚合前须构建自适应形状窗口, 同时代价聚合过程中采用的基于自适应形状窗口的引导滤波相比传统引导滤波器在计算复杂度上有所提升, 因此增加了运行时间。

图7

Fig. 7

图7 不同参数设置的实验结果Fig. 7 Experimental results on different parameter settings

表7

Table 7

Error matching rates of different algorithms for textureless images%

Table 7表7 不同算法在弱纹理图像的误匹配率      Table 7 Error matching rates of different algorithms for textureless images%

表7不同算法在弱纹理图像的误匹配率Table 7Error matching rates of different algorithms for textureless images%AlgorithmLampshade1Lampshade2Midd1Midd2MonopolyPlasticAvgCostFilter23.24231.81148.99345.20036.79643.75838.300

CS-GF10.7208.63429.12725.89214.43922.17818.498

CS-MST14.95516.36018.29417.49630.62637.93322.610

CS-ST13.20112.18816.0729.58724.05330.72417.638

Proposed9.5408.57013.85716.2707.33525.72413.549

表8

Table 8

Runtime comparison of different algorithms for benchmark stereo imagess

Table 8表8 不同算法的运行时间比较      Table 8 Runtime comparison of different algorithms for benchmark stereo imagess

表8不同算法的运行时间比较Table 8Runtime comparison of different algorithms for benchmark stereo imagessAlgorithmTsukubaVenusTeddyConesCostFilter1.182.466.416.47

CS-GF2.765.1215.0715.55

CS-MST2.142.595.885.98

CS-ST1.952.515.575.61

Proposed3.425.8514.46914.253

4 结论

改进了传统引导滤波器的立体匹配算法。在代价计算阶段, 提出一种增强梯度信息和基于增强梯度的Census变换结合的新的代价计算方法, 提高了对重复纹理结构的匹配精度, 并且对幅度失真具有较好的稳健性。在代价聚合阶段, 构建自适应形状支持窗口, 并基于该窗口采用引导滤波算法进行聚合, 与传统引导滤波器相比, 降低了在弱纹理区域的误匹配率。与其他算法相比, 本文算法能有效提高弱纹理区域的匹配精度, 但在视差不连续区域的精度还有待提高, 今后研究将在视差不连续区域作进一步优化。

The authors have declared that no competing interests exist.

作者已声明无竞争性利益关系。

参考文献

[1]

Shen S H. Accurate multiple view 3D reconstruction using patch-based stereo for large-scale scenes[J]. 2013, 22( 5): 1901- 1914.

In this paper, we propose a depth-map merging based multiple view stereo method for large-scale scenes which takes both accuracy and efficiency into account. In the proposed method, an efficient patch-based stereo matching process is used to generate depth-map at each image with acceptable errors, followed by a depth-map refinement process to enforce consistency over neighboring views. Compared to state-of-the-art methods, the proposed method can reconstruct quite accurate and dense point clouds with high computational efficiency. Besides, the proposed method could be easily parallelized at image level, i.e., each depth-map is computed individually, which makes it suitable for large-scale scene reconstruction with high resolution images. The accuracy and efficiency of the proposed method are evaluated quantitatively on benchmark data and qualitatively on large data sets.

[本文引用:1]

[2]

d’Angelo P, Reinartz P. Semiglobal matching results on the ISPRS stereo matching benchmark [C]∥High-Resolution Earth Imaging for Geospatial Information, 2012: 79- 84.

[本文引用:1]

[3]

Howard A. Real-time stereo visual odometry for autonomous ground vehicles [C]∥IEEE/RSJ International Conference on Intelligent Robots and Systems, 2008: 3946- 3952.

[本文引用:1]

[4]

Scharstein D, Szeliski R. Ataxonomy and evaluation of dense two-frame stereo correspondence algorithms[J]. 2002, 47( 1/2/3): 7- 42.

Stereo matching is one of the most active research areas in computer vision. While a large number of algorithms for stereo correspondence have been developed, relatively little work has been done on characterizing their performance. In this paper, we present a taxonomy of dense, two-frame stereo methods. Our taxonomy is designed to assess the different components and design decisions made in individual stereo algorithms. Using this taxonomy, we compare existing stereo methods and present experiments evaluating the performance of many different variants. In order to establish a common software platform and a collection of data sets for easy evaluation, we have designed a stand-alone, flexible C++ implementation that enables the evaluation of individual components and that can easily be extended to include new algorithms. We have also produced several new multi-frame stereo data sets with ground truth and are making both the code and data sets available on the Web. Finally, we include a comparative evaluation of a large set of today's best-performing stereo algorithms.

[本文引用:2]

[5]

Sun J, Shum H Y, Zheng N N. Stereo matching using belief propagation [C]∥European Conference on Computer Vision, 2002: 510- 524.

[本文引用:1]

[6]

Klaus A, Sormann M, Karner K. Segment-based stereo matching using belief propagation and a self-adapting dissimilarity measure [C]∥International Conference on Pattern Recognition, 2006: 15- 18.

[本文引用:1]

[7]

Kolmogorov V, Zabih R. Computing visual correspondence with occlusions using graph cuts [C]∥Eighth IEEE International Conference on Computer Vision, 2001, 2: 508- 515.

[本文引用:1]

[8]

Meerbergen G V, Vergauwen M, Pollefeys M, et al. A hierarchical stereo algorithm using dynamic programming [C]. Stereo and Multi-Baseline Vision, 2002: 166- 174.

[本文引用:1]

[9]

Xu J X, Li Q W, Liu Y, et al. Stereo matching algorithm based on color weights and tree dynamic programming[J]. Acta Optica Sinica, 2017, 37( 12): 1215007.许金鑫, 李庆武, 刘艳, 等. 基于色彩权值和树形动态规划的立体匹配算[J]. 2017, 37( 12): 1215007.

针对立体匹配算法在图像非遮挡区域, 特别是弱纹理区域误匹配率较高的问题, 提出一种基于十字交叉窗口下自适应色彩权值和树形动态规划的立体匹配算法。首先结合颜色、梯度信息及Census变换作为相似性测度函数构建代价计算函数; 然后以图像的距离和色彩信息构建自适应十字交叉窗口, 并提出基于色彩权值的代价聚集方式; 将树形结构动态规划算法的思想引入到视差计算, 代替单独采用赢者通吃策略的方法, 对视差进行全局优化; 最后通过视差求精得到稠密视差图。实验结果表明, 本文算法在Middlebury测试平台4幅标准图像上非遮挡区域的平均误匹配率为2.45%, 同时对其他10组图像进行了对比评估, 本文算法有效地提高了图像非遮挡区域匹配的准确率。

[本文引用:1]

[10]

Hirschmuller H. Stereo processing by semiglobal matching and mutual information[J]. 2008, 30( 2): 328- 341.

[本文引用:2]

[11]

Birchfield S, Tomasi C. Depth discontinuities by pixel-to-pixel stereo[J]. 1999, 35( 3): 269- 293.

An algorithm to detect depth discontinuities from a stereo pair of images is presented. The algorithm matches individual pixels in corresponding scanline pairs, while allowing occluded pixels to remain unmatched, then propagates the information between scanlines by means of a fast postprocessor. The algorithm handles large untextured regions, uses a measure of pixel dissimilarity that is insensitive to image sampling, and prunes bad search nodes to increase the speed of dynamic programming. The computation is relatively fast, taking about 600 nanoseconds per pixel per disparity on a personal computer. Approximate disparity maps and precise depth discontinuities (along both horizontal and vertical boundaries) are shown for several stereo image pairs containing textured, untextured, fronto-parallel, and slanted objects in indoor and outdoor scenes.

[本文引用:1]

[12]

Zabih R, Woodfill J. Non-parametric local transforms for computing visual correspondence [C]∥European Conference on Computer Vision, 1994: 151- 158.

[本文引用:1]

[13]

Hosni A, Bleyer M, Gelautz M. Secrets of adaptive support weight techniques for local stereo matching[J]. 2013, 117( 6): 620- 632.

[本文引用:2]

[14]

Mei X, Sun X, Zhou M, et al. On building an accurate stereo matching system on graphics hardware [C]∥IEEE International Conference on Computer Vision Workshops, 2011: 467- 474.

[本文引用:6]

[15]

Zhu S P, Yan L N. Local stereo matching algorithm with efficient matching cost and adaptive guided image filter[J]. 2017, 33( 9): 1087- 1102.

Abstract To make a matching algorithm to satisfy the requirements of high precision and anti-interference, a novel stereo-matching algorithm with efficient matching cost and adaptive guided image filter is proposed. Firstly, we adopt a modified Census transform with a local texture metric to compute the initial cost. It can make full use of the cross-correlation information between pixels. Meanwhile, we incorporate the Census, color and gradient costs as a mixed matching cost algorithm. Then, we aggregate the costs with guided image filter based on adaptive rectangular support window instead of the traditional fixed support window. The variable kernel window is constructed by the local color similarity and spatial distance. In this way, less occluded points will be included in the support region. On this basis, we adopt integral image to further speed up the computation of this step. Finally, the initial disparity of each pixel is selected using winner takes all optimization and the final disparity maps are gained after post-processing. The experimental results demonstrate that the proposed algorithm not only achieves an average error rate of 5.22 % on the Middlebury stereo benchmark data set, but can also overcome the influence of illumination distortion in the matching effectively.

[本文引用:2]

[16]

Zhou X Z, Wen G J, Wang R S. Fast stereo matching using adaptive window[J]. Chinese Journal of Computers, 2006, 29( 3): 473- 479.周秀芝, 文贡坚, 王润生. 自适应窗口快速立体匹配[J]. 2006, 29( 3): 473- 479.

灰度立体匹配的关键问题是选择一个合适的匹配窗口,该文对Kanade等提出的通过测算局部灰度和视差变化来选取适当窗口的方法进行了改进,提出一种仅利用灰度信息即可确定窗口的简单方法.该方法在能够求得最佳窗口的前提下,可以方便地利用整数图像来提高效率,计算量与窗口大小无关.在国际标准图像上测试的实验结果表明该方法在局部匹配方法中是最优的,虽与有些全局方法相比有一定差距,但其计算复杂度远远低于它们.

[本文引用:1]

[17]

Zhang K, Lu J B, Lafruit G. Cross-based local stereo matching using orthogonal integral images[J]. 2009, 19( 7): 1073- 1079.

We propose an area-based local stereo matching algorithm for accurate disparity estimation across all image regions. A well-known challenge to local stereo methods is to decide an appropriate support window for the pixel under consideration, adapting the window shape or the pixelwise support weight to the underlying scene structures. Our stereo method tackles this problem with two key contributions. First, for each anchor pixel an upright cross local support skeleton is adaptively constructed, with four varying arm lengths decided on color similarity and connectivity constraints. Second, given the local cross-decision results, we dynamically construct a shape-adaptive full support region on the fly, merging horizontal segments of the crosses in the vertical neighborhood. Approximating image structures accurately, the proposed method is among the best performing local stereo methods according to the benchmark Middlebury stereo evaluation. Additionally, it reduces memory consumption significantly thanks to our compact local cross representation. To accelerate matching cost aggregation performed in an arbitrarily shaped 2-D region, we also propose an orthogonal integral image technique, yielding a speedup factor of 5-15 over the straightforward integration.

[本文引用:2]

[18]

Yoon K J, Kweon I S. Adaptive support-weight approach for correspondence search[J]. 2006, 28( 4): 650- 656.

Abstract We present a new window-based method for correspondence search using varying support-weights. We adjust the support-weights of the pixels in a given support window based on color similarity and geometric proximity to reduce the image ambiguity. Our method outperforms other local methods on standard stereo benchmarks.

[本文引用:1]

[19]

Hosni A, Rhemann C, Bleyer M, et al. Fast cost-volume filtering for visual correspondence and beyond[J]. 2013, 35( 2): 504- 511.

Many computer vision tasks can be formulated as labeling problems. The desired solution is often a spatially smooth labeling where label transitions are aligned with color edges of the input image. We show that such solutions can be efficiently achieved by smoothing the label costs with a very fast edge-preserving filter. In this paper, we propose a generic and simple framework comprising three steps: 1) constructing a cost volume, 2) fast cost volume filtering, and 3) Winner-Takes-All label selection. Our main contribution is to show that with such a simple framework state-of-the-art results can be achieved for several computer vision applications. In particular, we achieve 1) disparity maps in real time whose quality exceeds those of all other fast (local) approaches on the Middlebury stereo benchmark, and 2) optical flow fields which contain very fine structures as well as large displacements. To demonstrate robustness, the few parameters of our framework are set to nearly identical values for both applications. Also, competitive results for interactive image segmentation are presented. With this work, we hope to inspire other researchers to leverage this framework to other application areas.

[本文引用:3]

[20]

Peng J J, Bai R L. Variable weight cost aggregation algorithm for stereo matching based on horizontal tree structure[J]. Acta Optica Sinica, 2018, 38( 1): 0115002.彭建建, 白瑞林. 基于水平树结构的可变权重代价聚合立体匹配算法[J]. 2018, 38( 1): 0115002.

针对基于树结构的代价聚合方法中只利用颜色信息选择权值支持区域时, 在图像边界区域易产生误匹配的问题, 提出了一种基于水平树结构的可变权重代价聚合立体匹配算法。采用水平树代价聚合得到初始视差值, 结合初始视差值与颜色信息重构水平树, 在更新后的树结构上进行代价聚合, 得到最终视差图。在视差后处理阶段, 提出了一种改进的非局部视差后处理算法, 将不满足左右一致性匹配的像素点引入匹配代价量构造中, 提高了最终视差图的匹配精度。在Middlebury数据集的31对图像上进行测试, 结果表明, 未进行视差后处理时所提算法在未遮挡区域的平均误匹配率为6.96%, 代价聚合平均耗时1.52 s。

[本文引用:1]

[21]

Zhu S P, Li Z. Astereo matching algorithm using improved gradient and adaptive window[J]. Acta Optica Sinica, 2015, 35( 1): 0110003.祝世平, 李政. 基于改进梯度和自适应窗口的立体匹配算法[J]. 2015, 35( 1): 0110003.

立体匹配技术是计算机视觉领域的研究热点，由于问题本身的病态性，一直没有得到很好地解决。针对现有局部立体匹配算法精度不高以及易受光照失真影响的问题，提出了一种基于改进梯度匹配代价和自适应窗口的匹配算法。在传统梯度向量仅包含幅度信息的基础上，引入相位信息，并对原始匹配代价进行变换，进一步消除异常值；利用图像结构和色彩信息构建自适应窗口进行代价聚合；提出了一种局部视差直方图的视差精化方法，获得了高精度的视差图。实验结果表明，所提算法在Middlebury 测试平台上平均误匹配误差为6.1%，且对光照失真条件具有较高的稳健性。

[本文引用:1]

[22]

He K M, Sun J, Tang X O. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35( 6): 1397- 1409.

[本文引用:3]

[23]

Yang Q Q, Ji P, Li D X, et al. Fast stereo matching using adaptive guided filtering[J]. 2014, 32( 3): 202- 211.

Dense disparity map is required by many great 3D applications. In this paper, a novel stereo matching algorithm is presented. The main contributions of this work are three-fold. Firstly, a new cost-volume filtering method is proposed. A novel concept named "two-level local adaptation" is introduced to guide the proposed filtering approach. Secondly, a novel post-processing method is proposed to handle both occlusions and textureless regions. Thirdly, a parallel algorithm is proposed to efficiently calculate an integral image on GPU, and it accelerates the whole cost-volume filtering process. The overall stereo matching algorithm generates the state-of-the-art results. At the time of submission, it ranks the 10th among about 152 algorithms on the Middlebury stereo evaluation benchmark, and takes the 1st place in all local methods. By implementing the entire algorithm on the NVIDIA Tesla C2050 CPU, it can achieve over 30 million disparity estimates per second (MDE/s). (C) 2014 Elsevier B.V. All rights reserved.

[本文引用:1]

[24]

De-Maeztu L, Villanueva A, Cabeza R. Stereo matching using gradient similarity and locally adaptive support-weight[J]. 2011, 32( 13): 1643- 1651.

Due to the similarities between neighbouring pixels as well as the intensity-value differences between corresponding pixels, classical matching measures based on intensity similarity produce slightly imprecise results. In this study, a gradient similarity-matching measure was implemented in a state-of-the-art local stereo-matching method (an adaptive support-weight algorithm). The new matching measure improved the precision of the results over the classical measures. Using the Middlebury stereo benchmark, when high accuracy was required in the disparity results our algorithm consistently outperformed other adaptive support-weight algorithms using different similarity measures, and it was the best local area-based method compared to the permanent Middlebury table entries. (C) 2011 Elsevier B.V. All rights reserved.

[本文引用:1]

[25]

Hirschmuller H, Scharstein D. Evaluation of cost functions for stereo matching [C]∥IEEE Conference on Computer Vision and Pattern Recognition, 2007: 1- 8.

[本文引用:1]

[26]

Hirschmuller H, Scharstein D. Evaluation of stereo matching costs on images with radiometric differences[J]. 2009, 31( 9): 1582- 1599.

[本文引用:1]

[27]

Zuiderveld K. Contrast limited adaptive histogram equalization[J]. 1994: 474- 485.

ABSTRACT An abstract is not available.

[本文引用:1]

[28]

Ma Z, He K, Wei Y, et al. Constant time weighted median filtering for stereo matching and beyond [C]∥Proceedings of the IEEE International Conference on Computer Vision, 2013: 49- 56.

[本文引用:1]

[29]

Yang Q, Yang R, Davis J, et al. Spatial-depth super resolution for range images [C]∥IEEE Conference on Computer Vision and Pattern Recognition, 2007: 1- 8.

[本文引用:1]

[30]

Scharstein D, Szeliski R. Middlebury stereo evaluation-version 2[J]. The Middlebury Computer Vision Pages, 2011.

[本文引用:1]

[31]

Zhang K, Fang Y, Min D, et al. Cross-scale cost aggregation for stereo matching [C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014: 1590- 1597.

[本文引用:3]

1

2013

0.0

0.0

... 1 引言立体匹配是通过寻找同一场景在不同视角下的两幅或多幅图像的像素匹配点,逐像素获取视差,从而恢复场景深度信息的过程,是摄影测量和计算机视觉领域的重要研究课题,在三维重建[1]、数字表面模型生成[2]、虚拟现实和无人驾驶[3]等领域有着广泛的应用 ...

1

2012

0.0

0.0

... 1 引言立体匹配是通过寻找同一场景在不同视角下的两幅或多幅图像的像素匹配点,逐像素获取视差,从而恢复场景深度信息的过程,是摄影测量和计算机视觉领域的重要研究课题,在三维重建[1]、数字表面模型生成[2]、虚拟现实和无人驾驶[3]等领域有着广泛的应用 ...

1

2008

0.0

0.0

... 1 引言立体匹配是通过寻找同一场景在不同视角下的两幅或多幅图像的像素匹配点,逐像素获取视差,从而恢复场景深度信息的过程,是摄影测量和计算机视觉领域的重要研究课题,在三维重建[1]、数字表面模型生成[2]、虚拟现实和无人驾驶[3]等领域有着广泛的应用 ...

2

2002

0.0

0.0

... Scharstein等[4]对典型的立体匹配算法进行了研究和总结,形成了立体匹配算法的理论框架,将现有的立体匹配算法分为全局算法和局部算法两类 ...

... 局部立体匹配代价聚合假设支持窗口内的像素视差平滑[4] ...

1

2002

0.0

0.0

1

2006

0.0

0.0

1

2001

0.0

0.0

... 全局立体匹配算法通过全局能量函数最小化来求取视差,精度较高但是计算复杂,常见的全局算法有置信度传播匹配算法[5,6]、图割法[7]和动态规划匹配算法[8,9]等 ...

1

2002

0.0

0.0

1

2017

0.0

0.0

2

2008

0.0

0.0

... 常见的匹配代价计算方法有基于像素的匹配代价、基于窗口的匹配代价、基于非参数变换的匹配代价,以及互信息[10] ...

... 根据对极几何原理将异常点分为遮挡点和错误匹配点[10] ...

1

1999

0.0

0.0

... 基于像素的匹配代价包括灰度差绝对值(AD)、灰度差平方(SD)、采样不敏感的BT(Birchfiedld-Tomasi)[11]等 ...

1

1994

0.0

0.0

... 基于非参数变换[12]的匹配代价包括Census和Rank ...

2

2013

0.0

0.0

... Hosni等[13]将SAD和梯度信息相结合作为新的匹配代价函数 ...

... 1 匹配代价计算验证为了验证本文算法的有效性和对图像失真的稳健性,选取3种代价函数进行对比,分别为SAD和梯度结合(SAD+Grad)[13]、AD和Census变换结合(AD+Cen)[14]、AD与梯度和Census变换结合(AD+Grad+Cen)[15] ...

6

2011

0.0

0.0

... Mei等[14]结合AD和Census变换进行代价计算,在弱纹理区域和重复纹理结构区域都取得了很好的结果 ...

... Mei等[14]在此基础上改进了像素扩展的判断准则,提出双距离阈值和双色彩阈值准则,提高了弱纹理区域的匹配精度 ...

... 基于Census变换的方法对噪声和光照具有较好的稳健性[25,26],且在弱纹理区域匹配效果较好,但是在图像纹理重复区域效果较差[14] ...

... 参考文献[ 14]和[19]的后处理方法,对初始视差图进行左右一致性检测、遮挡/误匹配处理、加权中值滤波和子像素精化等后处理来提高匹配精度 ...

... 1 匹配代价计算验证为了验证本文算法的有效性和对图像失真的稳健性,选取3种代价函数进行对比,分别为SAD和梯度结合(SAD+Grad)[13]、AD和Census变换结合(AD+Cen)[14]、AD与梯度和Census变换结合(AD+Grad+Cen)[15] ...

... 在左右影像完全没有幅度失真的情况下,基于AD的代价计算具有丰富的颜色信息,在重复纹理区域具有比Census变换更好的匹配精度[14] ...

2

2017

0.0

0.0

... Zhu等[15]将AD、梯度信息和Census变换结合,提高了算法的匹配精度 ...

... 1 匹配代价计算验证为了验证本文算法的有效性和对图像失真的稳健性,选取3种代价函数进行对比,分别为SAD和梯度结合(SAD+Grad)[13]、AD和Census变换结合(AD+Cen)[14]、AD与梯度和Census变换结合(AD+Grad+Cen)[15] ...

1

2006

0.0

0.0

2

2009

0.0

0.0

... Zhang等[17]提出了一种基于十字交叉的自适应窗口,利用相邻像素的颜色信息和空间距离关系在水平和垂直方向扩展邻域像素,形成一个十字交叉区域 ...

... 为了提升代价聚合的计算效率,采用正交积分图像技术[17],将二维不规则窗口分解为两个正交一维窗口,并通过预先计算水平积分图像和垂直积分图像来加速聚合效率 ...

1

2006

0.0

0.0

... Yoon等[18]首次提出了基于双边滤波器的立体匹配算法,并取得优异的性能,但其计算复杂度较高 ...

3

2013

0.0

0.0

... Hosni等[19]提出一种利用引导滤波器(GF)[22]的代价聚合算法,与双边滤波器相比,引导滤波器可以更好地保持边缘,并且其计算复杂度与窗口大小无关,因此在实时系统中得到了广泛使用 ...

... 3 参数分析为了分析不同参数取值对实验结果的影响,对所涉及的7种参数进行实验,其中正则化参数ε的取值参考Hosni等[19]算法,这里不做分析 ...

... 4 算法对比分析为了进一步验证算法在弱纹理区域的总体性能,选择其他4种常见立体匹配算法对弱纹理图像进行实验,包括引导滤波器(CostFilter)[19]、跨尺度引导滤波器(CS-GF)[31]、跨尺度最小生成树(CS-MST)[31]、跨尺度分割树(CS-ST)[31]立体匹配算法 ...

1

2018

0.0

0.0

1

2015

0.0

0.0

... 祝世平等[21]提出一种基于线性可变阈值的臂长判断准则 ...

3

2013

0.0

0.0

... Hosni等[19]提出一种利用引导滤波器(GF)[22]的代价聚合算法,与双边滤波器相比,引导滤波器可以更好地保持边缘,并且其计算复杂度与窗口大小无关,因此在实时系统中得到了广泛使用 ...

... 传统引导滤波的局部窗口是固定大小的正方形窗口,主要思想是假设滤波器输出结果与输入的指导图像在局部范围内是符合线性模型的[22] ...

... 2 代价聚合算法验证为验证代价聚合算法的有效性,采用传统引导滤波器[22]立体匹配算法和改进代价聚合算法对Middlebury测试平台的4幅标准图像,以及2006数据集的21组图像进行实验 ...

1

2014

0.0

0.0

... Yang等[23]基于此思想将VSW和ASW结合,提出了一种基于自适应矩形窗口进行滤波的立体匹配算法 ...

1

2011

0.0

0.0

... 基于梯度变化的代价函数[24]可以突出视差不连续的区域 ...

1

2007

0.0

0.0

1

2009

0.0

0.0

1

1994

0.0

0.0

... 为了获得更强的边缘信息,在代价计算之前进行图像增强处理,分别对左右图像进行限制对比度自适应直方图均衡(CLAHE)[27]处理 ...

1

2013

0.0

0.0

... 对于误匹配像素,在8个方向上将像素颜色最相似的有效像素的视差值作为误匹配像素的视差值,并采用加权中值滤波器[28]对插值后的视差图进行平滑 ...

1

2007

0.0

0.0

... 为了减少离散视差引起的视差图不连续,基于二次多项式插值进行子像素估计[29] ...

1

2011

0.0

0.0

... 3 实验结果与分析为了验证代价计算和代价聚合算法的有效性,采用Middlebury立体匹配评估测试平台[30]提供的数据集进行实验,实验中涉及的参数设置如表1所示 ...

3

2014

0.0

0.0

... 4 算法对比分析为了进一步验证算法在弱纹理区域的总体性能,选择其他4种常见立体匹配算法对弱纹理图像进行实验,包括引导滤波器(CostFilter)[19]、跨尺度引导滤波器(CS-GF)[31]、跨尺度最小生成树(CS-MST)[31]、跨尺度分割树(CS-ST)[31]立体匹配算法 ...

... 4 算法对比分析为了进一步验证算法在弱纹理区域的总体性能,选择其他4种常见立体匹配算法对弱纹理图像进行实验,包括引导滤波器(CostFilter)[19]、跨尺度引导滤波器(CS-GF)[31]、跨尺度最小生成树(CS-MST)[31]、跨尺度分割树(CS-ST)[31]立体匹配算法 ...

... 4 算法对比分析为了进一步验证算法在弱纹理区域的总体性能,选择其他4种常见立体匹配算法对弱纹理图像进行实验,包括引导滤波器(CostFilter)[19]、跨尺度引导滤波器(CS-GF)[31]、跨尺度最小生成树(CS-MST)[31]、跨尺度分割树(CS-ST)[31]立体匹配算法 ...