【opencv学习】RANSAC算法在图像拼接中的应用实战

一：单应性变换

我们得到两张图像的图像后，可以通过BFMatcher得到匹配的点，其实就是一个暴力搜索来比较最相近的特征点（128维度的向量，求向量的近似度）。

通过匹配的多个关键点的配对信息，我们能将图像A转换到图像B的角度和size。这就可以用到单应性变换。

通过这个矩阵可以将原始图像A中的关键点变换到图像B，可以看到H矩阵很关键，H矩阵一共有8个未知参数，但是我们已经有大量的匹配的配对的关键点，因此我们可以通过8个式子的方程组求解H，因此至少需要4组配对值即可求解。

但是问题存在于，我们得到的匹配的关键点真的是最好的么？从上次学习的KNNMatcher可以得到，有的匹配点虽然很相近，但其实不是图像整体的透视变换下应该匹配到的，不符合整体变换规律，这些我们逻辑上认为错误的匹配对儿就是异常点了。

如果将图像A的关键点看做X，那么B图像的关键点就是Y，我们的H矩阵就是变换参数，我们现在得知了X和Y，求H，其实就是拟合的操作，上述可知，只要4对儿X和Y即可求得H，但是我们并不知道这4对儿中是否包含了异常点。因此传统的拟合方式可能并不是很适合。

那么这个异常点干扰拟合的方式怎么解决呢？

二：RANSAC（Random Sample consensus）介绍
也称之为随机抽样一致性算法，或者说是一种新的拟合思想。
它是解决什么问题呢？如下，我们需要拟合一堆离散点，使用传统的最小二乘法去拟合的话，就会尽量的去拟合所有的点，照顾到所有的点（包括异常点），这样难免结果会有偏差。

RANSAC算法的思路就是，我随机找到一些部分点来提前拟合出拟合函数的参数，如果是拟合直线，那么最少需要俩个点，如果是需要抛物线，则最少需要是三个点。
1：随机找能求出参数的最少的点，拟合出参数H，设置一个误差阈值，得到了一个拟合函数，统计在误差范围内的点的个数。
2：循环步骤一
3：比较所有的H，找到允许误差范围内能包含最多的点个数的H。这个H就是我们期望的H。

效果差异如下图所示：绿色线是RANSAC算法的拟合结果，红色线是普通的最小二乘拟合。

但是RANSAC算法的效果受到多种因素影响
1：每一次选取的点的个数，直线需要2个点，二次曲线需要3个点，三次曲线需要4个点。一般来说，Nums少一些易得出较优结果
2：迭代次数，迭代次数太多导致计算量大，太少了容易得不到好的结果。
3：允许的误差范围阈值。

RANSAC的作用有点类似：将数据一切两段，一部分是自己人（在范围阈值内），一部分是敌人（范围阈值内），自己人留下商量事情但是得统计多少是自己人，敌人赶出去。RANSAC开的是家庭会议，不像最小二乘总是开全体会议，得照顾全部人的诉求。

该算法的作用就是可以用于图像的拼接。

下面我將举个实际的图像拼接的例子

import cv2
import numpy as npdef cv_show_image(name, img):print(img.shape)cv2.imshow(name, img)cv2.waitKey(0)  # 等待时间，单位是毫秒，0代表任意键终止cv2.destroyAllWindows()def matchKeyPoints(bf, kptA, dpA, kptB, dpB):src_matches = bf.knnMatch(dpA, dpB, k=2)# 完了后需要做个过滤good_pts = []for res in src_matches:if len(res) == 2:m, n = res  # 单个点可以取出多个匹配结果。# 每一个匹配结果都是包含了三个主要信息，# distance: 匹配度，欧氏距离度量的# trainIdx: 图像A的关键点下标编号，也就是第几个关键点，数组下标# queryIdx: 图像B的关键点下标编号，也就是第几个关键点，数组下标if m.distance < 0.75 * n.distance:# 每个元素保存的是图像A的关键点, 和图像B的关键点good_pts.append((m.trainIdx, m.queryIdx))if len(good_pts) > 4:pts_src = np.float32([kptA[j] for (_, j) in good_pts])  # 获得对应的真实的关键点的位置数值print(pts_src.shape)pts_dst = np.float32([kptB[i] for (i, _) in good_pts])  # 获得对应的真实的关键点的位置数值print(pts_dst.shape)# 这个函数是将 RANSAC 算法融合在内了，拟合方式选择的是cv2.RANSAC，允许的误差阈值是4H, status = cv2.findHomography(pts_src, pts_dst, cv2.RANSAC, ransacReprojThreshold=4.0)return Hreturn Nonedef detectKeyPoints(sift, img):kps, dps = sift.detectAndCompute(img, None)kpts = np.float32([kp.pt for kp in kps])  # 直接取所有的位置信息即可，放在list，因为这个才是我们要用的print(np.array(kps).shape)print(dps.shape)return kpts, dpsif __name__ == '__main__':imgA_SRC = cv2.imread('images/IMG_20220309_205431.jpg')imgB_SRC = cv2.imread('images/IMG_20220309_205437.jpg')# cv_show_image('imgA_SRC', imgA_SRC)# cv_show_image('imgB_SRC', imgB_SRC)# 第一步：先读取俩图片imgA = cv2.cvtColor(imgA_SRC, cv2.COLOR_BGR2GRAY)h_A, w_A = imgA.shapeimgB = cv2.cvtColor(imgB_SRC, cv2.COLOR_BGR2GRAY)h_B, w_B = imgB.shape# 第二步：计算各个图像的关键点信息和特征描述信息sift = cv2.xfeatures2d.SIFT_create()kptA, dpA = detectKeyPoints(sift, imgA)kptB, dpB = detectKeyPoints(sift, imgB)# 第三步：进行特征匹配bf = cv2.BFMatcher()homography = matchKeyPoints(bf, kptA, dpA, kptB, dpB)if homography is None:print("not find homography Matrix..., these two images are not matched.")exit(1)# 第四步：对图像进行变换im_out = cv2.warpPerspective(imgA_SRC, homography, (w_A + w_B, h_A))cv_show_image('im_out', im_out)# 第五步骤，图像拼接im_out[0: h_B, 0: w_B, :] = imgB_SRC# im_out = template_img = cv2.resize(im_out, (900, 430))cv_show_image('im_out', im_out)

原图1：
原图2：

将图像1进行单应性变换得：

最后俩图像拼接的结果是：

【opencv学习】RANSAC算法在图像拼接中的应用实战相关推荐

Pytorch框架的深度学习优化算法集(优化中的挑战)
个人简介:CSDN百万访问量博主,普普通通男大学生,深度学习算法.医学图像处理专攻,偶尔也搞全栈开发,没事就写文章,you feel me? 博客地址:lixiang.blog.csdn.net Py ...
RANSAC算法在图像拼接上的应用的实现
关于算法原理请参考<基于SURF特征的图像与视频拼接技术的研究>. 一.问题提出 RANSAC的算法原理并不复杂,比较复杂的地方在于"建立模型" ...
Opencv学习记录(三) —— 得到图像中目标物坐标的简单处理算法（望指正与补充）
先描述一下使用场景: 我要识别一个红灯,已经把目标准确的提取出来了,二值图像中白色为目标物,现在要算出二值图中的白色像素点的坐标.因为之后需要移植到树莓派,所以需要高效的方法. ...
【华为机考题库学习】--算法篇(更新中……)
系列文章目录文章目录系列文章目录前言一.HJ1 字符串最后一个单词的长度二.HJ2 计算某字符出现的次数三.HJ3 明明的随机数四.HJ4 字符串分隔五.HJ5 进制转换六.HJ6 ...
openCV中的findHomography函数分析以及RANSAC算法的详解（源代码分析）
本文将openCV中的RANSAC代码全部挑选出来,进行分析和讲解,以便大家更好的理解RANSAC算法.代码我都试过,可以直接运行. 在计算机视觉和图像处理等很多领域,都需要用到RANSAC算法.op ...
计算机视觉CV中RANSAC算法的学习笔记~
1 致谢感谢网友叶晚zd的博客, 原文链接如下: https://blog.csdn.net/u013925378/article/details/82907502 2 RANSAC算法介绍随机抽 ...
RANSAC算法（仅供学习使用）
1.定义 RANSAC(Random Sample Consensus)算法是一种基于随机采样的迭代算法,用于估计一个数学模型参数.它最初由Fischler和Bolles于1981年提出,主要用于计算 ...
相机模型与标定（十）--RANSAC算法
转自王先荣先生: http://www.cnblogs.com/xrwang/archive/2011/03/09/ransac-1.html 本文翻译自维基百科,英文原文地址是:http://en. ...
OpenCV学习笔记(九)——图像轮廓(下)
<OpenCV轻松入门:面向Python>学习笔记(九) 1-3 查找并绘制轮廓.矩特性及Hu矩 4-5 轮廓拟合及凸包 6. 利用形状场景算法比较轮廓 6.1 计算形状场景距离 6.2 ...

【opencv学习】RANSAC算法在图像拼接中的应用实战

【opencv学习】RANSAC算法在图像拼接中的应用实战相关推荐

最新文章

热门文章