Plane Sweeping | 平面扫描

输入：一系列经过校准的照片以及拍摄相机对应的投影矩阵
假设(定义)：所有物体只有漫反射，有一个虚拟相机cam x，定义一个近平面和一个远平面，在这之间物体被一系列密集的平行平面划分

核心思想

如果平行平面足够密集，物体表面的任意一点p一定位于某平面Di上，可以看到p的相机看到点p必定是同一颜色；假设与p在同一平面的另一点p’，不位于物体表面，则投影到每个相机上呈现的颜色不同，于是Plane Sweeping算法假设：

对于平面上任意一点p，其如果投影到每个相机上的颜色均相同，那么可以说这个点很大概率是物体表面上的点

核心步骤

对于平行平面Di上的每个点p，将其投影到所有相机上，之后根据投影的颜色进行匹配计算，得到点p对应的分数以及其对应的深度，p得分越高，代表其投影在各相机上的颜色越接近
p计算之后，将其投影到虚拟相机cam x上，从后向前扫描，如果某一个平面Dj上的点q投影到cam x后，发现得分高于之前该点的分数，则更新该点的分数和深度，直至平面扫描结束

数学建模

Homography

相机C看 x π x_\pi xπ和C’看 x π x_\pi xπ存在单应关系

省略公式和推导

Cost Function

有了点的对应关系，接下来就是找到cost function对其优化。由于噪声的影响，不能只利用颜色信息，需要结合窗口信息进行比较

C ( x , y , Π k ) = ∑ k = 0 N − 1 ∑ ( i , j ) ∈ W ∣ I r e f ( x − i , y − j ) − β k r e f I k ( x k − i , y k − j ) ∣ \begin{aligned} C\left(x, y, \Pi_{k}\right) &=\sum_{k=0}^{N-1} \sum_{(i, j) \in W} \mid I_{r e f}(x-i, y-j)-\beta_{k}^{r e f} I_{k}\left(x_{k}-i, y_{k}-j\right) \mid \end{aligned} C(x,y,Πk)=k=0∑N−1(i,j)∈W∑∣Iref(x−i,y−j)−βkrefIk(xk−i,yk−j)∣

W W W：以x,y为中心的窗口
β \beta β：增益因子，计算光照变化后转换为增益因子

在得到了cost function后只需计算个点最小值即为对应的平面：
Π ~ ( x , y ) = argmin ⁡ Π m C ( x , y , Π m ) \tilde{\Pi}(x, y)=\underset{\Pi_{m}}{\operatorname{argmin}} C\left(x, y, \Pi_{m}\right) Π~(x,y)=ΠmargminC(x,y,Πm)
有了对应平面该点的深度如下计算：
Z m ( x , y ) = − d m [ x y 1 ] K r e f − T n m Z_{m}(x, y)=\frac{-d_{m}}{\left[\begin{array}{cc} x & y & 1 \end{array}\right] K_{r e f}^{-T} n_{m}} Zm(x,y)=[xy1]Kref−Tnm−dm

局限性：基于窗口的匹配，窗口内像素与中心像素极可能不在一个平面(阶梯状、不连续性)，因此会干扰中心像素的匹配
改进之一
- photo consistency：直接估计窗口内平面方程，有了平面方程直接带入该点坐标即是深度值

Reference

Plane-sweeping - 代码天地
Multi-resolution real-time stereo on commodity graphics hardware
Real-time Plane-sweeping Stereo with Multiple Sweeping Directions