计算机视觉.图像拼接
1.图像拼接技术
1.1 基本介绍
*图像拼接是将同一场景的多个重叠图像拼接成较大的图像的一种方法,在医学成像、计算机视觉、卫星数据、军事目标自动识别等领域具有重要意义。图像拼接的输出是两个输入图像的并集。
*图像配准(image alignment)和图像融合是图像拼接的两个关键技术。图像配准是图像融合的基础,而且图像配准算法的计算量一般非常大,因此图像拼接技术的发展很大程度上取决于图像配准技术的创新。早期的图像配准技术主要采用点匹配法,这类方法速度慢、精度低,而且常常需要人工选取初始匹配点,无法适应大数据量图像的融合。图像拼接的方法很多,不同的算法步骤会有一定差异,但大致的过程是相同的。
*图像拼接通常用到五个步骤:
1、根据给定图像 / 集,实现特征匹配
2、通过匹配特征计算图像之间的变换结构
3、利用图像变换结构,实现图像映射
4、针对叠加后的图像,采用APAP之类的算法,对齐特征点
5、通过图割方法,自动选取拼接缝
2.APAP算法
2.1算法流程:
1.SIFT得到两幅图像的匹配点对
2.通过RANSAC剔除外点,得到N对内点
3.利用DLT和SVD计算全局单应性
4.将源图划分网格,取网格中心点,计算每个中心点和源图上内点之间的欧式距离和权重
5.将权重放到DLT算法的A矩阵中,构建成新的W*A矩阵,重新SVD分解,自然就得到了当前网格的局部单应性矩阵
6.遍历每个网格,利用局部单应性矩阵映射到全景画布上,就得到了APAP变换后的源图
7.最后就是进行拼接线的加权融合
3.实验过程及分析
3.1 情景一:拼接视差变化小
*数据集:
*特征匹配结果:
*拼接结果:
*实验分析:
这组实验的数据集是在固定点位下拍摄的,距离,角度,光线大致相同(靠窗一侧光线较强),这组图片的景物和纹理相对单一,视察变化仅在桌子边沿部分。
从拼接结果图中可以看到桌子边缘被完美的衔接在一起,实现了我们想要的全景拼接效果,这得益于SIFT 特征匹配点的精准匹配和RANSAC算法适当删除不匹配点的功劳,再加上后期的图像融合,才让我们看到这个效果。
不足的是右侧有一条明显的拼接缝隙,左右两边的光线差异很明显,这表明算法对光线变化不做检测处理,仅对图中角点进行特征匹配,为了让全景拼接技术更出色,可以考虑改进算法,让他检测到光线的变化,这样让有光线渐变的场景拼接效果更惊艳。
左下角有一条不规则的黑色条状物体,这部分成像应该是三张数据源在拼接时进行角度调整形成的
3.2 情景二:拼接视差变化大
*数据集:
*匹配结果:
*拼接结果:
*分析:
这组数据集是在切换拍摄角度,旋转角度和一定距离差异的情况下拍的,由于手机摄像头成像的原因,第二张照片色调会比较暗。
从匹配结果来看,算法检测到的匹配点并不多,但从保留下的匹配点来看,准确度是极高的,凭自己肉眼判断,没发现错误匹配点,但这势必会影响到图片拼接的效果。
从拼接结果来看,左侧窗户下沿和右侧的窗帘拼接缝隙很明显,并没有成功连接起来,一是匹配点不够多,两张图片对应点检测到的很少,单靠少数的匹配点很难得到成功的拼接效果;二是拍摄角度和距离有一定变化;两张图窗户的大小不同,算法是对图像进行切割连接,并不对图像进行大小改变的处理,所以拍摄角度和距离会对拼接效果产生影响。
4.总结实验
1.算法没办法检测光线的变化,拍摄角度,远近距离和特征点对算法结果都有影响;
2.Apap虽然能够较好地完成配准,但非常依赖于特征点对。若图像高频信息较少,特征点对过少,配准将完全失效,并且对大尺度的图像进行配准,其效果也不是很好,一切都决定于特征点对的数量。
计算机视觉.图像拼接相关推荐
- 计算机视觉方向简介 | 图像拼接
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 简介 图像拼接是将同一场景的多个重叠图像拼接成较大的图像的一种方法 ...
- (三)计算机视觉 --SIFT特征匹配、地理标记图像匹配及RANSAC图像拼接
目录 一.sift特征检测概述 1.1特征点 1.2sift特征检测 二.sift特征提取与匹配 2.1特征提取并展示 2.2对两张图片进行特征匹配计算 2.3给定一张图片,输出与其匹配最多的三张图片 ...
- python计算机视觉--全景图像拼接
目录 一.RANSAC算法 1.1 RANSAC算法简介 1.2 算法基本思想和流程 1.3 RANSAC求解单应性矩阵 二.图像映射与全景拼接 2.1 简介 2.2 计算第二张图像与第一张图像之间的 ...
- 计算机视觉——全景图像拼接
全景图像拼接 1.全景图像拼接 1.1 基本介绍 1.2 基本原理 1.2.1 APAP算法 1.2.2 寻找最佳拼接缝(Seam Finding) 1.2.3 图像融合(multi-band ble ...
- 【计算机视觉】:(3)全景图像拼接
图像映射与全景拼接 1.全景拼接基本流程 2. 图像映射流程 2.1. 提取特征点,构建关键点描述符(SIFT特征提取) 2.2. 特征匹配(KNN或kd树匹配) 2.3. 根据图像变换特点,选取合适 ...
- 全景图像拼接【计算机视觉】
文章目录 一.全景图像拼接 1.1基本介绍 1.2原理解析 1.3 RANSAC算法(RANdom SAmple Consensus,RANSAC) 1.3 图像配准 1.4 APAP算法 1.5 图 ...
- 计算机视觉3 SIFT特征提取与全景图像拼接
1.原理 检测并提取图像的特征和关键点 匹配两个图像之间的描述符 使用RANSAC算法使用我们匹配的特征向量估计单应矩阵 拼接图像 步骤一和步骤二过程是运用SIFT局部描述算子检测图像中的关键点和特征 ...
- 计算机视觉python--全景图像拼接
1 全景图像拼接 1.1 基本介绍 图像拼接技术就是将数张有重叠部分的图像(可能是不同时间.不同视角或者不同传感器获得的)拼成一幅无缝的全景图或高分辨率图像的技术.图像拼接在医学成像.计算机视觉.卫星 ...
- 图像几何变换时为何要用到插值算法?_计算机视觉方向简介 | 图像拼接
作者戴金艳,公众号:计算机视觉life, 编辑部成员. 更好的阅读体验请看首发原文链接计算机视觉方向简介 | 图像拼接 简介 图像拼接是将同一场景的多个重叠图像拼接成较大的图像的一种方法,在医学成像. ...
最新文章
- ccna第十课 IGRP路由协议
- springmvc跨域(转)
- Android解惑 - 为什么要用Fragment.setArguments(Bundle bundle)来传递参数
- Atitit.导出excel报表的设计与实现java .net php 总
- 四人团-江南行-乌镇东栅旅游
- rxjava背压_如何形象地描述RxJava中的背压和流控机制?
- 构造函数必须没有代码
- 【Python练习题】程序5
- 深入浅出JVM-GC过程
- jqgrid 编辑列拿不到值_如何在DAX Stadio和Excel中返回表和度量值?
- 金山云肖江:5G 驱动智慧人居新发展
- ERROR Request failed with status code 404 :at createError (node_modules\axios\lib\core\createError.
- 宠物诊所java项目_java毕业设计_springboot框架的宠物医院医疗
- dbf转成excel_dbf转excel工具(DbfToExcel) v1.2 免费版
- 王招治计算机财务管理,计算机财务管理——以Excel为分析工具
- 亲邻门禁卡复制数据分析
- 【智能制造】请拿走这份精益培训PPT,不谢!
- 温情冬至暖寒冬 花样饺子大比拼
- 关于运行时错误429 ActiveX无法创建对象的错误
- java 19位时间戳_Java将19位Unix时间戳转换为可读日期