基于遥感影像及轨迹数据融合的地图自动化生成器

自动化的地图生成对于城市服务及基于位置服务非常重要，现有的工作研究主要利用遥感影像或可以充分反映地图路网情况的车辆轨迹数据生成地图，数据源较为单一，如果能将遥感影像数据及轨迹数据融合起来，地图生成的质量将进一步提高。

本文介绍了复旦大学等机构在国际人工智能领域顶会AAAI’20 上发表的论文《DeepDualMapper: A Gated Fusion Network for Automatic Map Extractionusing Aerial Images and Trajectories》。该论文提出了一种门控神经网络机制，融合遥感影像及车辆轨迹数据，自动生成地图。

一、问题背景

地图生成是基于位置服务的基础，例如导航、自动驾驶等都依赖于精准的地图服务。遥感影像数据和车辆轨迹数据对地图生成很有帮助，例如谷歌地球利用遥感影像提供即时的地图服务，车辆轨迹活动可以充分反映地图路网情况。然而，使用单一的数据源会造成信息损失，例如图1所示，在遥感影像图中，有些路段会被建筑物和植被遮挡；在轨迹数据中，有些偏远的路段只有少量甚至没有车辆经过。如果使用单一数据源，这种信息缺失会极大影响地图生成的准确性。遥感影像数据与车辆轨迹数据是不同类型的数据源，一方缺失的信息在另一数据源中可能可以被找到，因此将两种不同类型的数据源融合起来，对提高地图生成的精度会有很大帮助。然而现有工作融合的方式局限于简单将两个数据源的信息叠加起来或者求平均，无法很好地最大化利用不同数据源的优势，因此本文提出一个全新的融合模型，DeepDualMapper，旨在将遥感影像数据和车辆轨迹数据无缝衔接式的融合。本文设计了一个门控融合模块Gated Fusion Module (GFM)和一个精细化解码器DenselySupervised Refinement (DSR)，根据数据源的置信度，自动选择数据源，进而从粗粒度数据精细化至细粒度数据，更好地生成地图。

图1 背景介绍

二、模型结构

为了融合遥感影像数据以及车辆轨迹数据，本文提出了DeepDaulMapper。与现有的地图生成模型类似，本文将地图生成问题转化为像素级二元分类问题，即将地图转为黑白图片，判断每一个像素点上是否有道路。本文主要借鉴了U-Net思想，在此基础上添加了门控模块以及精细化模块，图2展示其基本结构。本文提出的方法的目标在于融合两种不同的数据源，因此设计了两个分支分别提取遥感影像数据以及车辆轨迹的数据的特征，而后将他们通过门控模块融合起来，最后通过精细化模块生成最终的地图。下面将详细介绍DeepDaulMapper每个模块的构建过程。

图2 模型结构图

1、门控模块

在特征提取阶段，本文主要借鉴了U-Net模型结构，这里不再做详细阐述。门控模块的设计灵感来源于人们做决策时的过程，当人们使用两种数据源做任务分析时，会选择其中一个数据质量更高的数据源。类比至地图生成任务，面对遥感影像数据以及车辆轨迹数据，我们会选择清晰度更高、置信度更高的数据源来生成地图（如图1所示），而门控模块可以帮助实现此目标。

图3 门控模块结构图

首先，本文引入了一个1X1 卷积层，将遥感影像数据源的特征与轨迹数据源的特征转化成同一个维度的特征，而后利用下述公式，将两者线性组合至一起：

其中，分别代表两个数据源的门控值。由于两个数据源的门控值和为1，因此如果一个数据源有更强的置信度，则门控值会高，反之则低。

2、精细化模块

通过门控模块线性融合两种数据源的结果生成地图时，可能仍会面临细节不够清晰、线路不够光滑等问题，如图4所示。为了更好的修正地图生成的效果，受残差精细化学习的启发，本文也利用了类似的信息为地图生成提供更多的特征，公式如下：

图4 精细化前的生成结果

图5展示了精细化模块的结构，本文提出的精细化解码器模块仍旧借鉴了U-Net结构，区别在于U-Net跳跃式连接了激活图，而本文是连接了经过门控模块的融合特征。需要强调的是，本文不可以只依赖于精细化模块的结果来最小化损失函数，因为这样的目标函数会无法很好地学习门控融合。因此，本文设计了一个共享预测模块，门控融合的特征与精细化模块修正的特征会同时输入至最后一层，共同优化目标。

图5 精细化模块结构

三、实验结果

为了验证模型的有效性，本文分别在Porto、上海、新加坡三个城市的数据集上进行了实验。本文比较了三种类型的模型，其一以TCI、KDE和COBWEB为代表的基于轨迹数据生成地图的模型；其二以DeconvNet等为代表的基于遥感影像数据生成地图的模型；其三以Early-fusion等为代表的多源数据融合生成地图的模型。本文选择IoU(intersection of union) 以及F1-score做为评估标准，实验结果如表1所示。实验结果表明，本文提出的DeepDualMapper生成的地图，在不同数据集上，对比不同基准模型，均取得最优性能。其中，在Porto数据集上表现最好，是因为该城市的遥感影像数据相较于上海、新加坡，质量最佳。

表1 不同方法不同数据集下的地图生成准确率

此外，本文还分析了门控模块以及精细化模块的性能，实验结果如图6所示。可视化结果展示了门控模块是如何控制、选择遥感影像数据以及轨迹数据来生成地图。其中，白色表明门控选择值大，黑色表明选择比重小。可以明显的看出，本文设计的门控模块会自动选择质量更高的数据源来生成地图。

图6 门控模块可视化

图7可视化的展示了精细化模块的效果。可以明显的看出，经过精细化模块，生成的地图更加连续、光滑，地图生成的效果也有了进一步的提高。

图7 精细化模块可视化

四、总结

本文提出了一种融合遥感影像数据以及车辆轨迹数据自动化生成地图的方法DeepDaulMapper。通过门控模块以及精细化模块，DeepDaulMapper进一步提高了模型的准确性。在三个数据集上的实验结果表明DeepDaulMapper在地图生成的有效性。

关注公众号，订阅更多内容

转载请注明：康瑞部落 » 基于遥感影像及轨迹数据融合的地图自动化生成器

基于遥感影像及轨迹数据融合的地图自动化生成器相关推荐

基于深度学习的遥感影像语义分割数据预处理
基于深度学习的遥感影像语义分割数据预处理第一次处理数据,不熟练,仅供参考数据预处理工具:Arcgis 第一步:下载遥感影像tif数据根据实际需求选择感兴趣的遥感影像区域数据来源:Google卫 ...
基于数据空间的电子病历数据融合与应用平台
基于数据空间的电子病历数据融合与应用平台包小源1,2, 张凯3, 金梦1,2, 谢双莲3, 宋锴3 1 北京大学医学信息学中心,北京 100191 2 国家医疗服务数据中心,北京 100191 3 ...
遥感影像去背景之数据裁剪
遥感影像去背景之数据裁剪之前,在 ENVI 软件中做了处理以后,会出现背景颜色,影响了后续制图. 于是尝试了在 Arcgis 软件中把背景改为No date形式但是感觉存在误差,需要的图像与背 ...
方法技能：使用SXEarth下载遥感影像与高程数据，并使用MapGIS10进行三维显示
1 软件环境 SXEarth + MapGIS SXEarth下载:晟兴地球(正常安装就可以,国产良心软件) 2 使用SXEarth进行影像与高程数据下载 2.1打开SXEarth,新建工程 2.2 ...
面向制造领域人机物三元数据融合的本体自动化构建方法
面向制造领域人机物三元数据融合的本体自动化构建方法人工智能技术与咨询点击蓝字 · 关注我们摘要当前,智能制造面临的许多问题都具有不确定性和复杂性,单纯地利用专家经验和机理模型难以有效解决.鉴于 ...
基于遥感影像的耕地地块提取相关论文、代码以及相关开源数据集
文章目录前言 2000 (传统方法) Agricultural Field Extraction from Aerial Images Using a Region Competition Algo ...
基于遥感影像的变化检测数据集
文章目录 1. S2MTCP 2. Hi-UCD 3. SECOND 4. CD_Data_GZ 5. LEVIR-CD 6. LEVIR-CD+ 7.SLADCD 8. HRSCD 9. Mts-W ...
ArcGIS Pro基于遥感影像使用深度学习地物识别评估植被健康情况(教程）
若内容图片加载失败,请联系博主qq624633573 1.内容梳理对植被的健康状况进行清查和评估,需要花费大量的时间和劳动力.为简化这个过程,这一次,我们使用深度学习模型来识别树木,根据植被绿度来识 ...
基于遥感影像的道路提取论文、开源代码和数据集汇总
文章目录前言 2017 DeepRoadMapper Topology Loss 2018 RoadTracer iterative-deep-learning 2019 Leveraging Cr ...

基于遥感影像及轨迹数据融合的地图自动化生成器

基于遥感影像及轨迹数据融合的地图自动化生成器相关推荐

最新文章

热门文章