ICCV2021｜武汉大学RSIDEA团队提出一种新颖的弱监督遥感变化检测算法STAR

关注公众号，发现CV技术之美

论文: https://arxiv.org/pdf/2108.07002.pdf

项目: https://zhuozheng.top/changestar/

代码: https://github.com/Z-Zheng/ChangeStar

第一作者主页：https://zhuozheng.top

该工作是武汉大学测绘遥感信息工程国家重点实验室RSIDEA团队在变化检测方面的工作，已被ICCV 2021接收。

针对成对双时相变化检测训练样本标注耗时、收集困难的问题，提出了一种新颖的弱监督学习算法STAR (Single-Temporal supervised LeARning)，其利用非成对单时相遥感影像构造伪双时相监督信号，以学习变化表征；

同时提出了一种变化检测新架构ChangeStar，其通过核心模块ChangeMixin，可将任意语义分割模型转化为变化检测器，从而复用现有的优秀架构，揭示了语义分割与变化检测之间的内在联系。

实验表明，单时相监督下的ChangeStar较Baseline取得显著提升, 在Zero-Shot验证条件下，与强监督模型精度差距缩小到10%以内；在强监督（双时相监督）的设定下，基于FarSeg的ChangeStar在LEVIR-CD数据集上实现了state-of-the-art的精度。

变化无处不在

我们观察到，成对标记的位时图像的重要性在于，变化检测器需要成对的语义信息来定义对象变化检测的正负样本。这些正、负样本通常是由两个不同时间的像素在同一地理区域是否具有不同的语义来决定的。

位时像素的语义控制着标签分配，而位置一致性条件（两个时相的像素应处于相同的地理位置）仅用于保证独立同分布的训练和推理。可以想象，如果我们松弛位置一致性条件来定义正负样本，那么变化是无处不在的，尤其是在未配对的图像之间。

方法简介

2.1 单时相监督学习算法STAR: Single-Temporal supervised LeARning

STAR旨在通过带有语义像素标签的任意图像对学习一个可泛化的变化检测器。为了实现这一点，我们构造了伪双时相图像对，松弛了传统的双时相监督的变化检测学习问题，如下式：

其中为真实双时相图像对，对应的Y是其语义像素标签，F为变化检测器，为变化检测器参数。将伪双时相图像对替换为真实双时相图像对，并重新利用逻辑异或运算分配伪双时相图像对的变化标签，从而将原学习问题松弛为下式的仅利用单时相图像即可完成的学习问题:

伪双时相图像对：为了利用单时相图像提供监督信号，我们提出了一种伪双时相图像对构建技术，其通过对一个训练批次中的图像进行随机排列得到伪第二时相图像，并且保证每个伪图像对中的图像各不相同。通过观察可以发现，伪双时相图像对的变化标签可用两张图像的语义像素标签（one-hot为二值标签）的逻辑异或表示，这样即可完成伪双时相图像对的正负样本定义。

图1：模型训练与推理流程

2.2 变化检测新架构ChangeStar = Any Segmentation Model + ChangeMixin

ChangeStar是一个简单而统一的网络，由一个深度语义分割模型和ChangeMixin模块组成。这种设计的核心思想在于重用现代语义分割架构，因为语义分割和物体变化检测都是密集的预测任务。

为此，我们设计了ChangeMixin模块，使任何现成的深度语义分割模型能够检测物体变化。ChangeMixixin模块由若干卷积层和一个时序交换模块组成，其输入由分割模型计算得到的高分辨率语义特征，输出双向的变化检测图用于后续的学习与推理。

我们在实验中发现，一个收敛的模型，双向变化检测图相似度极高，因此在推理阶段我们选择其中一个方向的变化检测图作为最终预测值。

主要实验结果

这部分展示了所提出方法在不同训练数据与测试数据下的泛化性实验结果。对比方法采用基于深度语义分割模型的分类后比较法，作为单时相监督的基线。实验结果表明，所提出的方法可有效提升单时相监督下的变化检测性能，具有很好的泛化性能。

同时为了验证所提出架构的有效性，我们在双时相监督下训练了ChangeStar模型的各种变体。实验结果（表4）表明ChangeStar架构对已有的分割模型具有良好的兼容性，在相同骨干网络的情况下可取得更加优异的性能。

为了了解单时相、双时相监督之间的实际差距，我们利用相同模型开展了多组对照实验，从实验结果中可以发现，单时相监督作为一种弱监督信号，与双时相监督这种强监督信号相比仍有一定差距，但差距随着骨干网络容量的提升而减小，目前F1精度差距最小可缩小到10%以内。

然而本文提出的方法仅仅是在单时相监督上的初步探索，未来还有更大的改进空间，例如使用模型容量更大的transfomer模型作为基础模型、更大的单时相监督数据、更好的单时相监督学习策略都是值得未来探索的研究话题。

更多的消融实验与讨论可见原文。

总结

在这项工作中，我们提出了单时相监督学习算法（STAR），从而巧妙绕过了传统的双时相监督学习中收集成对标记数据成本高的问题。STAR提供了一个利用任意图像对中的物体变化作为监督信号的新视角。

为了证明STAR的有效性，我们设计了一个简单而有效的多任务架构，称为ChangeStar，用于联合语义分割和变化检测，它可以通过进一步提出的ChangeMixin模块重新使用任何深度语义分割架构。

大量的实验分析表明，提出的方法可以以较弱监督信息学习一个鲁棒的变化检测器；同样双时相监督条件下，超越了目前的state-of-the-art方法。我们希望STAR将作为一个坚实的基线，在未来服务于弱监督变化检测研究。

END

欢迎加入「弱监督」交流群

ICCV2021｜武汉大学RSIDEA团队提出一种新颖的弱监督遥感变化检测算法STAR相关推荐

北理工团队提出一种神经表征驱动的手部运动解码深度学习模型
近日,北京理工大学机械与车辆学院毕路拯教授团队提出一种神经表征驱动的手部运动解码深度学习模型.研究成果以"MRCPs-and-ERS/D-Oscillations-Driven Deep L ...
图像算法处理视频不稳定？港科大团队提出一种通用算法解决视频处理时域不稳定问题
arxiv链接:https://arxiv.org/abs/2010.11838 project主页:https://chenyanglei.github.io/DVP/index.html vide ...
武汉大学 RSIDEA 团队开源LoveDA：可同时推进语义分割和迁移学习
关注公众号,发现CV技术之美本文分享论文『LoveDA: A Remote Sensing Land-Cover Dataset for Domain Adaptive Semantic Segme ...
CurcveLane-NAS：华为中大提出一种结合NAS的曲线车道检测算法
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达这篇文章是华为诺亚方舟实验室和中山大学开源的弯道车道线检测的工作,主要利用了NAS技术实现,使得车道敏 ...
主动移频式matlab仿真,一种新颖的主动移频式孤岛检测方法
定稿日期:2009-04-28 作者简介:朱铭炼(1985-),男,江苏靖江人,硕士研究生,研究方向为电力电子与电力传动,功率电子变换. 1引言孤岛效应是指当电网由于电气故障.误操作等原因导致供电中 ...
蝙蝠算法c语言,一种新颖的群智能算法：飞蛾扑火优化算法
李志明+莫愿斌+张森摘要飞蛾扑火优化(MFO)算法是一种新颖的群智能优化算法,该算法的主要灵感来源于飞蛾在自然界中被称为横向定位的飞行方式.作为一种新提出的仿生群智能优化算法,分析了飞蛾扑火优化算 ...
ICCV2021 2D和3D通用！新医疗影像自监督SOTA（代码已开源）
关注公众号,发现CV技术之美本文为52CV粉丝投稿. 文章链接: https://arxiv.org/abs/2109.04379 开源代码: https://github.com/Luchixia ...
一种面向业务流的内存管理算法
在象通讯系统中的基站这样的复杂嵌入式系统中,对于内存管理模块的效率具有很高的要求,因此内存管理模块的算法很有讲究.讲究在于,不仅要考虑算法的效率,还要兼顾算法是否会带来大量的内存碎片以及如何进行内存碎 ...
知识图谱-生物信息学-医学顶刊论文(Briefings in Bioinformatics-2021)：MPG：一种有效的自我监督框架，用于学习药物分子的全局表示以进行药物发现
6.(2021.9.14)Briefings-MPG:一种有效的自我监督框架,用于学习药物分子的全局表示以进行药物发现论文标题:An effective self-supervised framew ...

ICCV2021｜武汉大学RSIDEA团队提出一种新颖的弱监督遥感变化检测算法STAR

ICCV2021｜武汉大学RSIDEA团队提出一种新颖的弱监督遥感变化检测算法STAR相关推荐

最新文章

热门文章