图像配准(匹配)与变化检测
文章目录
- 简介
- A Survey on Deep Learning-Based Change Detection from High-Resolution Remote Sensing Images 2022
- 变化检测的基本框架
- 基于神经网络的变化检测特征抽取
- 变化检测的粒度
- 场景级的变化检测(SLCD)
- 目标级别的变化检测
- Deep Learning-Based Change Detection in Remote Sensing Images: A Review 2022
- 基于像素的变化检测与基于对象的变化检测
- 变化检测基本处理流程
- 无监督变化检测
- 图像配准
- 基本概念
- 图像配准分类
- 传统的基于特征的图像匹配
- 图像配准的相关资源
- 参考资料
- 综合型参考资料
- 源码
- 综述
简介
A Survey on Deep Learning-Based Change Detection from High-Resolution Remote Sensing Images 2022
变化检测的基本框架
基于神经网络的变化检测特征抽取
变化检测的粒度
场景级的变化检测(SLCD)
然而,像素级或物体级的变化检测方法不适用于土地利用变化分析。造成这种情况的主要原因可能是,场景中的物体,如植被生长和个别建筑的拆除/建造,不会直接影响土地使用类别,即它们在场景中的变化不会改变土地利用类别,例如,从住宅区到工业区。因此,在场景尺度上改进变化检测方法至关重要。
- SLCD最简单的方法,即后分类方法,将场景变化检测任务视为一个独立的分类,忽略时间相关性信息,从而遭受误差累积。换句话说,它几乎没有考虑多时间图像的时间相关性。
- 一些研究人员已经开始考虑多时相图像场景之间的时间相关性,开发了深度典型相关分析(DCCA)正则化[149]和一种称为软DCCA[158]的改进方法。
- 然而,这些只专注于从两个输入中学习相关的特征,并且不能被优化以提高特征表示能力。学习的全连接层可用于对双时间场景之间的相似性进行建模,并提高特征表示的可靠性[159]。
目标级别的变化检测
基于对象的方法以对象而不是像素作为分析单元。对象是一组局部像素簇,其中所有像素都被分配了相同的分类标签。一种基于对象的方法有效地利用了图像中的同质信息,并消除了图像噪声、边界[168]和错位的影响。由于基于对象的方法可能带来的好处,它们在土地覆盖图绘制中很普遍。在各种出版物中,它们取得了比基于像素的方法更好的性能。
边界框候选方法。在该方法中,将变化对象作为对象检测(OD)的目标。通常的OD方法,如SSD[169]、Faster R-CNN[170]和YOLO1-5[171-175],有可能用于变化检测。
该方法以遥感图像中的“变化区域”为检测目标,以“不变区域”为背景。OD方法应用于高分辨率遥感图像变化检测[176]。检测结果是一组正方形区域,然后混合具有特定变化类型的相交区域。特征提取网络可以是单分支网络或双分支网络。对于单分支网络,首先合并或减去多时相图像,然后将结果输入OD网络以确定变化[176]。双分支网络分别生成每个图像的基本特征和代表性特征,然后融合每个分支的特征[177]或建议区域[178],以预测类别得分和差异置信度。此外,基于对象的实例分割,例如使用Mask R-CNN,可以用作检测变化的基础,从而产生初始化的对象实例[179]。事实上,获取对象的位置是确定更改对象的位置的第一步。
Deep Learning-Based Change Detection in Remote Sensing Images: A Review 2022
基于像素的变化检测与基于对象的变化检测
传统的CD方法可以根据分析单元分为两组:基于像素的CD(PBCD)和基于对象的CD(OBCD)。
- PBCD是一种传统的方法,通过比较像素来识别变化,因此,它无法克服各种日期或传感器之间的辐射变化和配准错误的限制。由于图像对象之间的可变性增加,PBCD方法通常适用于中低分辨率遥感图像,但在VHR图像中经常无法操作。
- OBCD解决了这些问题,并显著提高了CD的准确性。针对VHR图像CD,提出了基于OBCD的技术,将图像分割为不相交和同质的对象,然后对双时态对象进行比较和分析。
变化检测基本处理流程
无监督变化检测
基于人工智能的变化检测框架通常包括特征提取器或分类器,这需要有监督和无监督的训练。由于获得大量标记样本进行监督训练通常耗时耗力,因此已经做出了许多努力,以无监督或半监督的方式实现基于人工智能的变化检测。
图像配准
参考文献:
- 图像配准:从SIFT到深度学习
- 图像配准综述
基本概念
图像配准就是找到一幅图像像素到另一幅图像像素间的空间映射关系。
这些图像可以是不同时间(多时间配准),不同传感器在不同地方拍摄(多模式配准)。这些图像之间的空间关系可以是刚性(rigid)(平移和旋转),仿射(affine)(例如剪切),单应性(homographies)或复杂的大变形模型(complex large deformations models)。
图像配准所属现代词,指的是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程。
配准技术的流程如下:首先对两幅图像进行特征提取得到特征点;通过进行相似性度量找到匹配的特征点对;然后通过匹配的特征点对得到图像空间坐标变换参数:最后由坐标变换参数进行图像配准。其中特征点提取是关键。
几个容易混淆的概念:
- 配准,是寻找相似图像但是变形后的图像(需要做一些旋转之类的校正变换)。通常是将两幅尺寸相当的图像映射到同一个坐标系中,并通过变换映射使它们的特征对应。
- 匹配,是寻找与一幅图相似的图像(不对寻找到的图像做矫正)。通常是在大图像中寻找与小图像(模板)相似的区域。(图像匹配是通过对影像内容、特征、结构、关系、纹理及灰度等的对应关系,相似性和一致性分析,寻求相同影像目标的方法。)
武汉大学和上海交通大学近日联合发布了首篇图像匹配大领域综述:《Image Matching from Handcrafted to Deep Features: A Survey 2020》 - 融合,两幅图像配准后,就可以叠加,称为简单的图像融合。也可以是多幅图像连接成一幅大图。
图像配准分类
传统的基于特征的图像匹配
自21世纪初以来,图像配准主要使用基于特征的方法。这些方法有三个步骤:关键点检测和特征描述,特征匹配,图像变换。简单的说,我们选择两个图像中的感兴趣点,将参考图像(reference image)与感测图像(sensed image)中的等价感兴趣点进行关联,然后变换感测图像使两个图像对齐。
关键点检测和特征描述
关键点就是感兴趣点,它表示图像中重要或独特的内容(边角,边缘等)。每个关键点由描述符表示,关键点基本特征的特征向量。描述符应该对图像变换(定位,缩放,亮度等)具有鲁棒性。特征匹配
一旦在一对图像中识别出关键点,我们就需要将两个图像中对应的关键点进行关联或“匹配”。其中一种方法是BFMatcher.knnMatch()。这个方法计算每对关键点之间的描述符的距离,并返回每个关键点的k个最佳匹配中的最小距离。图像变换
在匹配至少四对关键点之后,我们就可以将一个图像转换为另一个图像,称为图像变换^12(image warping)。空间中相同平面的两个图像通过单应性变换^13(Homographies)进行关联。Homographies是具有8个自由参数的几何变换,由3x3矩阵表示图像的整体变换(与局部变换相反)。因此,为了获得变换后的感测图像,需要计算Homographies矩阵。
为了得到最佳的变换,我们需要使用RANSAC算法检测异常值并去除。它内置在OpenCV的findHomography方法中。
图像配准的相关资源
image-registration-resources(图像配准相关的书籍、论文、源码、工具、竞赛)
A Toolbox for Image Feature Matching and Evaluations(In this repository, we provide easy interfaces for several exisiting SotA methods to match image feature correspondences between image pairs. )
voxelmorph: Learning-Based Image Registration (voxelmorph is a general purpose library for learning-based tools for alignment/registration, and more generally modelling with deformations.)
综述:A review of multimodal image matching: Methods and applications
参考资料
综合型参考资料
awesome-remote-sensing-change-detection(数据集、源码、竞赛)
Change Detection Based on Artificial Intelligence: State-of-the-Art and Challenges(综述论文的github链接,有截止2021年的大量相关论文、源码、数据集)
源码
Python library with Neural Networks for Change Detection based on PyTorch
该库在gitcode上的映射
该库的blog:Github复现之遥感影像变化检测框架ChangeDetection
Change Detection Repository
In this repository, we provide python implementation of some traditional change detection methods, such as SFA, MAD, some deep learning-based change detection methods, such as SiamCRNN, DSFA, and FCN-based methods, or their original websites. Some multi-temporal datasets are also contained in this repository
综述
技术解析:基于深度学习的遥感影像变化检测
综述1:2018-多时相遥感影像变化检测方法综述(武大)
------武汉大学眭海刚教授等:多时相遥感影像变化检测方法综述综述2:Change Detection Based on Artificial Intelligence: State-of-the-Art and Challenges
收录于:Remote Sens. 2020
论文地址:Remote Sensing | Free Full-Text | Change Detection Based on Artificial Intelligence: State-of-the-Art and Challenges
解读:
变化检测综述:Change Detection Based on Artificial Intelligence: State-of-the-Art and Challenges_naath的博客-CSDN博客_变化检测发展历程
Change Detection Based on Artificial Intelligence: State-of-the-Art and Challenges(综述论文的github链接,有截止2021年的大量相关论文、源码、数据集)综述3:Deep learning for change detection in remote sensing images: comprehensive review and meta-analysis
收录于:IEEE Access,2020综述4:A Survey on Deep Learning-Based Change Detection from High-Resolution Remote Sensing Images 2022
综述5:A Survey on Deep Learning-Based Change Detection from High-Resolution Remote Sensing Images 2022
图像配准(匹配)与变化检测相关推荐
- 图像配准之特征点匹配的思考
最近赶时髦,看了一些智能优化算法如蚁群算法,还有机器学习的一些东西,就想着怎么把这些先进的东西用在图像配准中.头脑风暴了一下,觉得在已经检测到两幅图像的特征点的基础上,就如何对它们进行匹配似乎有优化的 ...
- 图像配准,特征点提取与匹配
图像配准 本文为原创文章,转载请注明出处** 目录 一.图像配准概述 二.图像匹配算法 SIFT SURF ORB 暴力匹配 FLANN 深度学习(superpoint) 三.各算法对比 四.图像配准 ...
- kaze算法的图像配准研究(2)-匹配
在特征点检测过后,完成图像间特征点的匹配是非常重要的.对于图像配准工作而言.特征点匹配的准确度是最值得关注的点,宁愿少匹配,也不能误匹配. 我在此图像配准中使用的是KNN匹配: 下面引用自百度百科. ...
- 一种基于模板匹配的图像配准方法
01 前言 如下图所示,有时候参考图像与浮动图像的灰度区别很大,但是它们又有某一个小区域比较相似,这种情况下直接通过特征点匹配或形变优化来配准的效果并不理想. 这个时候我们可以尝试使用模板匹配的方法来 ...
- 图像的匹配、配准、融合、拼接等概念的区别
匹配,是寻找与一幅图相似的图像(不对寻找到的图像做矫正). 配准,是寻找相似图像但是变形后的图像(需要做一些旋转之类的校正变换). 融合,图像融合是指将多幅图像,在经过去噪.配准等预处理后,再依据某些 ...
- 互信息配准matlab,基于图像特征和互信息的图像配准方法
基于图像特征和互信息的图像配准方法 [专利摘要]本发明公开一种基于图像特征和互信息的图像配准方法,主要用于提高现有基于互信息配准方法的精确度.其实现步骤为:(1)输入两幅图像,一幅为参考图像r,另一幅 ...
- 【计算机视觉】图像配准(Image Registration)
(Source:https://blog.sicara.com/image-registration-sift-deep-learning-3c794d794b7a) 图像配准方法概述 图像配准广泛 ...
- 【Image Registration】图像配准综述
文章目录 一.图像配准定义 二.图像配准应用场景 2.1 医学图像领域 2.2 其他领域 三.图像配准分类 四.图像配准过程 4.1 特征检测(Feature detection) 4.2 特征匹配( ...
- 【图像配准】基于matab SAR-SIFT改进的SAR图像配准【含Matlab源码 2336期】
⛄一.基于SAR-SIFT改进的SAR图像配准 合成孔径雷达(synthetic aperture radar,SAR)图像配准的主要目标是对同一或不同传感器在不同时间.不同视点捕获的SAR图像进行配 ...
最新文章
- ASIHttpRequest使用前的配置
- Redis info参数总结
- GoLand配置数据库、远程host以及远程调试
- Effective_STL 学习笔记(二十七) 用 distance 和 advance 把 const_iterator 转化成 iterator...
- 数组中第K个最大元素
- 前端学习(2927):今日总结
- 普惠金融在印尼:GoPay会是东南亚的蚂蚁金服吗?
- PowerDesigner(九)-模型文档编辑器(生成项目文档)
- rvest | 网络爬虫初步——使用CSS选择器
- 美国计算机语言学phd,美国大学语言学(Linguistics)专业PhD排名(转)2013
- c#_delegate_异步调用_BeginInvoke
- ppt讲解中的过渡_ppt过渡页的设计技巧
- linux上的mysql数据库恢复
- 计算机网络选择公用还是家庭,如何设置打印机共享?
- mysql lang_dlang操作mysql
- 笔记本 原因代码: 0x500ff 关机类型: 关闭电源_关于笔记本电池更换的建议
- 1.2帮助软件Rstudio的下载与安装
- 迅为-iMX6ULL开发板上配置AP热点
- 【小程序】第一个小程序——创建小程序项目
- sourcemap功能简介
热门文章
- Linux运维技术之详解任务计划(crontab命令)
- [笔记]深入解析Windows操作系统《三》系统机制
- time秒和年月日时分秒的转化
- Vue3的filter过滤器代替方法
- 【VPP】 VPP CLI 命令
- 这个地图绘制工具太赞了,推荐~~
- Redis入门指南 第1章 简介 Redis的几项特性
- 计算机常用芯片,笔记本电脑常用芯片大全
- mininet *** Error: RTNETLINK answers: No such file or directory 问题及解决方法
- Grip编辑器增强版(UG二次开发工具,最好用的Grip编辑器,没有之一)