对整个图像进行透视变换

透视变换
解决方案

常见的教程都是对所选的四个点内部的区域进行透视变换，但是其他区域都被裁剪掉了。如何利用所选的局部区域对整个图像进行透视变换？

透视变换

透视变换的算法：OpenCV文档

dst(x,y)=src(M11x+M12y+M13M31x+M32y+M33,M21x+M22y+M23M31x+M32y+M33)\texttt{dst} (x,y) = \texttt{src} \left ( \frac{M_{11} x + M_{12} y + M_{13}}{M_{31} x + M_{32} y + M_{33}} , \frac{M_{21} x + M_{22} y + M_{23}}{M_{31} x + M_{32} y + M_{33}} \right ) dst(x,y)=src(M31x+M32y+M33M11x+M12y+M13,M31x+M32y+M33M21x+M22y+M23)
推导过程：
通过getPerspectiveTransform()函数得到一个线性变换的矩阵MMM，随后的透视变换过程如下
[x′y′z′]=[M11M12M13M21M22M23M31M321][xy1]\begin{bmatrix} x' \\ y' \\ z' \end{bmatrix} = \begin{bmatrix} M_{11} & M_{12} & M_{13} \\ M_{21} & M_{22} & M_{23} \\ M_{31} & M_{32} & 1 \\ \end{bmatrix} \begin{bmatrix} x \\ y \\ 1 \end{bmatrix} ⎣⎡x′y′z′⎦⎤=⎣⎡M11M21M31M12M22M32M13M231⎦⎤⎣⎡xy1⎦⎤
由于原始图像中没有zzz轴上的维度，所以设置为1，但经过变换后的图像上的z′z'z′不为1，所以将其归一化，得到
[x′′y′′1]=1z′[x′y′z′]\begin{bmatrix} x'' \\ y'' \\ 1 \end{bmatrix} = \frac{1}{z'} \begin{bmatrix} x' \\ y' \\ z' \end{bmatrix} ⎣⎡x′′y′′1⎦⎤=z′1⎣⎡x′y′z′⎦⎤
也就得到了OpenCV的公式

解决方案

解决方案参考：Stack Overflow的方案
被裁剪的原因是因为经过变换的坐标变换到了画布范围之外，因此需要确定新画布的大小，并将变换后的图像平移到画布内。
透视变换的矩阵记作M，格式如下：
[M11M12M13M21M22M23M31M321]\begin{bmatrix} M_{11} & M_{12} & M_{13} \\ M_{21} & M_{22} & M_{23} \\ M_{31} & M_{32} & 1 \\ \end{bmatrix} ⎣⎡M11M21M31M12M22M32M13M231⎦⎤
设原始图片的四角分别为

(0,0) ________ (0, w)|        ||________|
(h,0)          (h,w)

只要对四角进行变换，就可以确定新画布的边界。
首先坐标点写作矩阵的形式，三行分别代表x,y,zx,y,zx,y,z轴坐标
P=[0ww000hh1111]P = \begin{bmatrix} 0 & w & w & 0 \\ 0 & 0 & h & h \\ 1 & 1 & 1 & 1 \end{bmatrix} P=⎣⎡001w01wh10h1⎦⎤
类似地，P′=MPP'=MPP′=MP，并将P′P'P′的各列除以各列的最后一行的那个元素进行归一化，得到P′′P''P′′
P′′=[p11p12p13p14p21p22p23p241111]P'' = \begin{bmatrix} p_{11} & p_{12} & p_{13} & p_{14} \\ p_{21} & p_{22} & p_{23} & p_{24} \\ 1 & 1 & 1 & 1 \end{bmatrix} P′′=⎣⎡p11p211p12p221p13p231p14p241⎦⎤
获取xxx上的（第一行）最大最小值xmin,xmaxx_{min}, x_{max}xmin,xmax
获取yyy上的（第一行）最大最小值ymin,ymaxy_{min}, y_{max}ymin,ymax
Δx=xmax−xmin,Δy=ymax−ymin\Delta x= x_{max}-x_{min},\Delta y= y_{max}-y_{min}Δx=xmax−xmin,Δy=ymax−ymin即为新画布的宽和高。

（以上都是基于Stack Overflow上的回答所写，但正如其中的评论所述，第四步存在错误，但评论也表述不太清楚，在此详细分析一下）

为了进一步将变换后的图像平移到画布内，已知了透视变换是通过MMM乘以坐标进行的，可以对MMM进行更改来加入平移操作。
创建单位矩阵，并在第三列放入矩阵P′′P''P′′对应行的最小值的负值，称为矩阵TTT：
T=[10−xmin01−ymin001]T= \begin{bmatrix} 1 & 0 & -x_{min}\\ 0 & 1 & -y_{min} \\ 0 & 0 & 1 \end{bmatrix} T=⎣⎡100010−xmin−ymin1⎦⎤
则新的变换矩阵M′=TMM'=TMM′=TM。可以简单验证一下，将M′M'M′与坐标相乘并展开，可以发现刚好得到
[x′′′y′′′1]=[x′′−xminy′′−ymin1]\begin{bmatrix} x''' \\ y''' \\ 1 \end{bmatrix}= \begin{bmatrix} x''-x_{min} \\ y''-y_{min} \\ 1 \end{bmatrix} ⎣⎡x′′′y′′′1⎦⎤=⎣⎡x′′−xminy′′−ymin1⎦⎤
因此最后的透视变换的参数为：
warpPerspective(src=src, M=M', dsize=(delta_x, delta_y))