【论文分享】GeoGAN：从卫星图像中生成地图的标准层

在网上翻阅了很多的资料，但是对于这篇文章的分享和理解都比较少，所以自己结合翻译软件把整篇文章翻译了一遍，希望能有帮助。

· 论文的主要内容

GeoGAN模型将指定缩放级别和分辨率的卫星图像作为其输入，并为该位置生成相应的人类可读地图。
使用的数据集：Google Earth engine 和Google Maps API

文章创造了三种模型：
（1）带编码的conditional GAN：
       通过编码器将其压缩为较低维度的向量，将输入嵌入低维向量并附加高斯噪声，编码器和生成器使用标准 GAN 鉴别器损失与卷积鉴别器联合训练，重构损失计算为图像之间差异的范数。
该模型在我们的 MNIST 健全性检查中表现良好（参见附录中的图8），但在我们的卫星图像数据集上未能很好地训练。生成的图像质量很差。
（2）没有编码器的Conditional GAN：
       将卫星图像直接作为输入放进生成器中，计算重构损失和风格转移损失。到目前为止，该模型表现最好，尤其是在使用重建和样式损失进行训练时。
（3）Real NVP
       流模型具有可逆的有点，非常适用于cycle GAN,不必通过添加额外的损失惩罚或循环一致性损失来使模型学习。通过 MNIST 对基于 RealNVP 的模型进行了测试。但是该模型生成示例都倾向于匹配相同的数字——9。

以下是正文翻译内容

GeoGAN: A Conditional GAN with Reconstruction and Style Loss to Generate Standard Layer of Maps from Satellite Images
2019.4 Swetava Ganguli∗, Pedro Garzon, Noa Glaser Department of Computer Science Stanford University, Stanford, CA 94305 {swetava,pgarzon,nglasr}@cs.stanford.edu

摘要

从卫星图像自动生成地图是一项重要的任务，有大量的文献试图解决这一挑战。我们通过试验不同的模型和添加新的损失函数来改进结果，从而创建了一个更广泛的任务调查。我们创建了一个由卫星图像和相应区域地图组成的数据库。我们的模型使用三种主要的模型架构将卫星图像转换为相应的标准层图图像：(i)一个条件生成对抗网络(GAN)，它将图像压缩为一个学习的嵌入（ learned embedding），(ii)被训练为规范化流程(RealNVP)模型的生成器，(iii)一个有条件的GAN，其中生成器通过一系列卷积转换到地图的标准层，鉴别器的输入是真实/生成的地图和卫星图像的连接。模型(iii)是目前三种模型中最有前途的。为了改善结果，除了GAN损失，我们还增加了重构损失和风格转移损失。第三种模型架构创造了最好的采样图像质量。与其他生成模型相比，生成模型的评价是一个具有挑战性的问题。由于我们可以获得给定卫星图像的真实地图，除了直观地检查之外，我们能够为生成的图像的质量分配一个定量度量（衡量标准）。当我们继续努力提高模型的准确性时，一个挑战是数据的粗糙分辨率，它限制了模型结果质量的上界。然而，从结果中可以看出，生成的地图在其生成的功能上更加准确，因为生成器架构要求像素级图像转换/像素级着色。本文的总结视频可在https://youtu.be/Ur0flOX-Ji0找到。

1 引言

创建映射是一个非常昂贵和耗时的过程；然而，它是最重要的数据来源之一。地图对多个经济领域的公司都有商业价值:拼车公司(如优步和Lyft)、送餐公司(如DoorDash和GrubHub)、国家安全机构(如中央情报局、国家安全局和联邦调查局)，以及许多其他经济领域。需要强调的是，除了地图的准确性外，上述公司开发的大多数应用程序的成功都与人机交互有关。例如，用户在使用优步/Lyft应用程序跟踪他们的行程时，会与地图界面进行互动，而在设备上拍摄地理编码照片的应用程序则会在人类可读的地图界面上显示与给定地理位置相关的图片。构建精确的地图一直是希望销售“智能设备”的公司的主要推动力，因为使设备智能的一个主要部分是它能够定位自己，并通过人类可读的界面告知用户。更重要的是，地图具有巨大的人道主义价值。例如，制作难民营的准确地图可以帮助及时向难民营中的人们提供食物和资源。地图也可以看作非必要的机器可读的数据。这种方法适用于自动驾驶汽车和自动驾驶汽车领域。一张准确的地图必须及时反映实地的所有变化。最新的地理空间数据不断地从飞越的成像飞机或卫星上收集。目前，地面地理/道路状况的变化与公众可读地图之间存在相当大的延迟。减少这种延迟的一种方法是自动化在特定的缩放级别和分辨率上从给定位置的卫星图像生成人类可读地图的过程。在这项工作中，我们强调了地图的人类可读性的重要性，并旨在直接从该位置的卫星/航空图像构建精确的人类可读地图。卫星/航空图像指定所需地图的缩放级别和分辨率。生成的人类可读地图的样式被选择为公开可用的Google Maps API的样式。卫星图像是从公开的Google Earth Engine引擎数据集获得的，其对应的地图是使用Google Maps API获得的。查询这些数据库并将卫星/航空图像与其相应地图对齐的过程在数据集一节中描述。

2 相关工作

图像到图像的翻译是生成建模领域的一个最新发展和研究领域。最近的成功之一是Chan等人（2018）的工作。过去几年，由于更好的训练算法（Gulrajani et al.（2017））和必须优化的损失函数定义的新方法（Arjovsky、Chintala和Bottou（2017）），GANs（Goodfello et al.（2014））在新的生成性任务中的使用激增。Costea et al.（2017）提出了双跳GAN（DH-GAN）来检测道路和交叉口，并通过应用基于平滑的图形优化程序来找到其最佳覆盖道路图。此外，在无监督或半监督环境下使用卷积神经网络和GANs对地理空间数据进行处理也是最近的研究热点；尤其是在食品安全、网络安全、卫星任务等领域（Ganguli、Dunnmon和Hau（2019）；佩雷斯等人（2019年）；Dunnmon等人（2019年））。条件对抗网络已经被用来进行通用的图像到图像的翻译。最近提出的CycleGAN架构已对卫星图像到地图的转换进行了评估。GANs还被用于创建欺骗卫星图像和以该地点卫星图像为条件的地面真相欺骗图像。有条件的GANs也被用于从头顶卫星图像生成当前位置的地面视图。
作为标准神经网络生成器的替代方案，基于标准化流模型提出的最新模型也取得了进展，这些模型使用分布的可逆双射将一种分布转换为另一种分布并再次返回。GAN 中生成器的另一种架构是归一化流模型，它利用输入噪声/条件向量和生成图像之间的双射映射，原则上可以通过训练模型寻找地图的解开潜在表示来获得更多洞察力。最近提出的在人脸生成方面取得成功的归一化流模型是实值非体积保留归一化流模型（RealNVP）。RealNVP 已被证明在逼真的人脸生成任务（Dinh、Sohl-Dickstein 和 Bengio（2016））和解开其潜在表征方面取得了不错的成功。在这个项目中，我们以各种方式修改conditional GAN 架构，以获得最适合我们为给定位置的卫星/航空图像生成位置地图的任务的架构。除了试验新架构外，我们还分析了不同风格的损失函数的重要性，这些损失函数会根据生成的样本质量的某些特定定量指标对模型进行惩罚，以便对任务进行更全面的调查。我们还贡献了代码，这些代码提供了一种可扩展的方法来从公开可用的 Google Earth Engine 和 Google Maps API 生成新的数据集。

3 任务定义

GeoGAN 是一种模型，它将指定缩放级别和分辨率的卫星图像作为其输入，并为该位置生成相应的人类可读地图。该模型经过训练，可以模拟 Google Maps API 提供的地图样式，用于生成的地图。本文的重点是生成地图的准确性。与许多生成任务相反，我们获得了与从 Google Maps API 获得的卫星图像对应的真实地图。该模型被训练为conditional GAN，以输入卫星图像作为生成地图的条件。虽然调节生成器的输出相对简单，但没有明确的方法来调节判别器的输出。我们对调节判别器的方法进行了多次实验。对于我们的大多数实验，我们的输入是 64x64x3（3 通道）卫星图像，它们被转换为 64x64x3 的地图图像。然而，对于命名为“模型 3”的模型，我们使用 256x256x3 维的卫星图像来生成 256x256x3 的地图。

3.1 数据集
我们需要对来自街道地图、高空图像和地理空间高程数据集的特定（纬度、经度）位置的具有相应的空间分辨率切片。我们构建了从 Google Earth engine和 Google Maps API 下载图像的管道。我们的管道首先计算一组纬度/经度坐标以跨越给定的城市。然后将这些坐标列表输入到从 Google Earth Engine 和 Google Maps 下载数据的脚本中。然后，第三个脚本用于匹配图像并将它们存储为包含相应卫星图像和地图图块的 Tensorflow 数据记录。到目前为止，我们从旧金山、西雅图、纽约、奥斯汀、迈阿密、华盛顿特区、波士顿和芝加哥提取了总共 41756 张图像用于训练和测试，其中我们清理了 7605 张。对于卫星图像，我们将使用来自 Google Earth Engine 的 Sentinel2，它在红/绿/蓝 NIR 波段引擎 (2018) 上具有 1000 万像素的分辨率。使用此数据源获取卫星图像的好处是查询是免费的，您还可以访问其他频道，例如红外红色频道。它还包含其他视图，可以更好地表示位置的地形。由于一年中不同地区的地面看起来不同，我们从每个地区下载大约3月、6月、9月和12月的图像。我们使用提供的云遮罩通道来选择云最少的图像。如果一个月内没有图像的云覆盖率低于 10%，我们将扩展日期区域。对于卫星图像，我们还可以访问来自 DeepGlobe 挑战的更高分辨率的数字地球数据。但是，我们目前不使用这些数据。例如，道路挑战数据集由 6226 张 1024 x 1024 像素的卫星图像组成，像素分辨率为 50 厘米，RGB 波段 Demir 等人。 (2018)。这种精细的分辨率很棒，未来的工作可能会探索合并这些数据。对于地图数据，我们将使用 Google Maps Static API 中的图块。这个 API 允许我们从全球任何地方检索切片，无需街道标签和几个特定的离散缩放级别。我们选择使用缩放级别 14，大致转换为 7.242090 米/像素分辨率为 512 x 512 PNG 图像。我们通过从城市的左上角一直到右下角来形成我们的切片。除了我们手工制作的数据集，我们还使用从加州大学伯克利分校研究员 Taesung Park 收集的数据集进行比较，该数据集使用 Google Maps API 从纽约市公园 (2018) 中抓取大小为 256 x 256 的卫星和地图图像。

4 技术方法

4.1 我们的贡献
Zhu et al. (2018)提出了将卫星图像转换为地图的 CycleGAN 架构。在本文中，我们试验并提出了替代的新颖架构和损失函数来训练此任务。

1. 模拟 Mirza 和 Osindero (2014) 提出的架构的Conditional GAN，其中卫星图像首先通过编码器将其压缩为较低维度的向量。我们对两种方法进行了实验，一种是端到端训练编码器的方法，另一种是将编码器作为自动编码器的一部分在卫星图像上进行预训练的方法。我们还尝试使用不同数量的噪声作为编码向量的串联或编码向量的补充。

       2. 除了测量生成地图和训练时可用的真实地图之间的像素级归一化距离的 GAN 损失之外，还添加了像素级重构损失。
       3. 在上一项中描述的损失中添加样式重构损失。风格重构损失与神经风格转移中的风格损失具有相同的数学结构 Gatys, Ecker, and Bethge (2015)。这种损失不仅强调像素级的一致性，而且还确保像素与其邻居之间的相关性具有与真实地图相同的特征。
       4. 使用 L1 与 L2 范数来试验性能以确定重构损失。众所周知，不同的规范操作可以根据任务帮助训练。虽然 CycleGAN (Zhu et al. (2018)) 在其循环一致性损失中受益于 L1 惩罚，但我们观察到 L2 范数在我们的任务中表现更好。
       5. 虽然将 GAN 生成器的输出调节为给定输入很简单，但不清楚如何调节鉴别器。我们尝试两种方法。第一种方法是使用卫星图像的压缩和编码版本，并将其连接到鉴别器输出的预最终层，然后再通过最后一组层来获得鉴别器的决策概率。另一种方法是沿通道轴将卫星图像连接到真实或虚假图像。这允许卷积滤波器访问完整的卫星图像，同时决定生成的地图的真实程度。因此，这种方法完全消除了对编码器的需求。
       6. 使用 RealNVP 生成器代替标准的卷积生成器。 RealNVP 是一个双射模型，因此允许我们非常有效地从地图图像域转换到卫星图像域，反之亦然。
       7. 虽然我们正在继续努力提高模型的准确性，但一个挑战是数据的粗分辨率，这限制了我们模型结果的质量。尽管如此，正如结果中所见，生成的地图在其产生的特征方面更加准确，因为生成器架构需要逐像素图像转换/逐像素着色。例如，如果我们查看图 6 中的第 6 个图块，我们会看到与可用的卫星图像相比，生成的地图比真实地图更准确并且具有更多特征。
       8. 据我们所知，除了 GAN 损失（特征学习的相似性）之外，我们的模型是第一个包含重构损失（用于像素精度）和样式损失（用于减少高频伪影）的模型度量或内容损失类似于 Gatys、Ecker 和 Bethge（2015 年）和 Larsen、Sønderby 和 Winther（2015 年）中提出的想法，用于从卫星图像生成地图的标准图层的任务。

4.2 评估方法

鉴于 GAN 不是通过跟踪可能性来评估的，我们的大部分评估将是定性的。比如，为了查看我们的模型是否很好地学习了分布，我们可以对新的卫星图像进行采样，为它们生成地图，并进行一个小实验，看看人类是否可以区分真实的和生成的地图/地形。但是，我们确实有地图翻译任务的“基本事实”，并且还可以跟踪图像相似性索引。一些相似性指标包括 L1 和 L2 重构损失。我们跟踪了 L2 损失和风格重构损失的组合，并看到了对训练的改进。我们基于三种不同的哲学创建了三个高级模型，如下所述。

4.3 模型1：Conditional GAN

考虑我们的任务的一种方法是希望生成器，而不是生成基于随机噪声的地图图像，而是基于卫星图块中的信息生成地图图像。创建卫星图像的低维表示以提供给生成器将允许执行一些非常好的任务，例如（1）分析生成器如何处理这个低维空间，希望找到离散化的表示（2）更自然地在不同卫星之间进行插值此空间中的图像 (3) 更自然地添加自定义特征，并希望生成器使用它们以便稍后对它们进行插值并创建具有调整高级属性的新地图（即该地区的人口密度、纬度/经度区域、城市、年份等）。Mirza 和 Osindero（2014）能够为在特征向量上训练的 GAN 生成器产生令人鼓舞的结果，因此构建模型 1 以从卫星图像中提取有用信息到特征向量中，然后将其传递给生成器。 64x64x3 通过深度卷积网络（编码器）创建 100 或 512 个长嵌入。这些嵌入要么是附加的，要么是按元素添加的高斯噪声。然后为卷积生成器提供这些嵌入以生成 64x64x3 映射。编码器和生成器使用标准 GAN 鉴别器损失与卷积鉴别器联合训练。生成器损失使用标准的 GAN 非饱和生成器损失。鉴于我们知道正确的假真实地图对，可以将重构损失计算为图像之间差异的范数。图2显示了模型架构。

– 鉴别器损失 Discriminator loss

– 生成器损失 Generator loss

– 重构损失 Reconstruction loss

将输入嵌入低维向量并附加噪声的灵感来自 Deng、Zhu 和 Newsam (2018)。 Radford、Metz 和 Chintala (2015) 的动机是使用深度完全卷积网络。我们尝试了不同的嵌入，例如 100 和 512 个长向量、添加噪声的不同方法（添加与添加元素）、噪声向量的不同相对长度和幅度，以及 L1 和 L2 重建损失。

4.4 模型2：没有编码器和重建损失的Conditional GAN

卫星到图像转换的第二种方法涉及将其视为图像生成和不同地图颜色类别（道路灰色、植被绿色、水蓝色等）之间的像素级区分之间的交叉。我们可以对这个模型使用 U-net，就像 Isola 等人所做的那样。 (2016)，它使用带有 PathGAN 鉴别器的 U-net（PatchGAN 惩罚与地面实况中的纹理差异太大的输出纹理。然而，最简单的模型只是一系列卷积，它为每个像素在原始图像中的位置周围提供一个有效的感受野。因此，我们提出了图 3 所示的架构，其中不包括编码器。我们还添加了重建损失（方程 3）。我们注意到卫星图像中的一些细节会转移到生成的地图上，因此我们添加了风格转移损失。风格转移损失可以写成如下，其中 Gij 表示生成图像的 gram-matrix，Aij 是地面实况图图像的 gram-matrix。 gram-matrix 表示图像 F 的内积。 N 表示通道数量，M 是图片的高度和宽度。

– 风格损失 Style loss

在原始风格转移论文中，这种风格损失计算为所有激活层的总和。然而，在我们的例子中，我们没有一个经过完全训练的模型来提取样式，所以我们直接获取地图图像的样式损失就足够了。

4.5 模型3：Real NVP

Zhu et al. (2018)显示了令人印象深刻的结果 Zhu et al. (2018) 在卫星上使用卷积循环 GANS 进行地图翻译。在他们的论文中，前向和后向网络（卫星→地图和地图→卫星）使用重建损失联合训练。流模型具有可逆的优点，因此它们非常适合循环 GAN。更详细地说，流模型及其逆隐式包含直接重建，而不必通过添加额外的损失惩罚或循环一致性损失来使模型学习。前向只是从噪声分布到图像的双射，后向将是它的逆。因为前向和后向操作正好相反，所以应该没有重构损失，因此损失函数应该是两个判别器的损失之和。我们选择 RealNVP 作为我们的流模型，因为它在更复杂的现实世界图像（如人脸）上表现出良好的性能，并且不像 Glow Kingma 和 Dhariwal（2018）那样难以训练。我们尝试创建类似于 Dinh、Sohl-Dickstein 和 Bengio (2016) 的 RealNVP 架构，首先使用 2 个带棋盘掩蔽的双射，然后是另外 2 个双射通道掩蔽。不同的掩蔽操作是改变总像素的哪一半被 RealNVP 双射转换。所有双射都使用 Tensorflow 中的 RealNVP 双射实现，具有两个 512 个单元的 FC 层以及 batchnorm。与使用基于残差的网络的完整 RealNVP 相比，此方法的实现更简单。还应该注意的是，原始论文中使用的 RealNVP 模型通过最大似然优化进行训练，这是基于 GAN 的方法倾向于避免的（Dinh、Sohl-Dickstein 和 Bengio（2016））。

5 结果

5.1 Conditional GAN with encoder 带编码的条件GAN

虽然该模型在我们的 MNIST 健全性检查中表现良好（参见附录中的图8），但在我们的卫星图像数据集上未能很好地训练。生成器和鉴别器的训练损失都会饱和（见图 4）。样品质量也很差。当我们尝试将噪声级别更改为 0%、10% 和 50% 噪声时，情况似乎总是如此。

5.2 Conditional GAN without encoder 没有编码的条件GAN

到目前为止，该模型表现最好，尤其是在使用重建和样式损失进行训练时。我们其中一次运行的训练曲线如图 5所示。图 6 中可以找到使用该模型在 CycleGAN 数据集上训练生成的一些地图示例。更多示例可以在附录中找到。这些数据全部来自测试，而不是训练数据集，并且是随机采样的（不是手工选择的）。

5.3 RealNVP

我们通过 MNIST 对基于 RealNVP 的模型进行了健全性检查。然而，该模型似乎遭受模式崩溃，因为生成示例都倾向于匹配相同的数字，在这种情况下是数字 9。这个数字在附录中。我们怀疑这是由于模型需要更多的复杂性或不恰当的训练目标。没有通过 MNIST 健全性检查导致我们终止使用 RealNVP 生成器的想法。我们注意到这种类型的模型的损失曲线也类似于 MNIST 上的 GAN 训练应该是什么样子。

6 分析

6.1 Baseline Conditional GAN

尽管我们搜索了超参数，例如编码向量的大小、不同程度和类型的噪声以及略有不同的架构，但带有编码器的条件 GAN 无法生成令人信服的地图。可能是创建有意义的嵌入和生成逼真的图像对生成器的任务要求太高。我们尝试了一些技术，例如为鉴别器的每次更新对生成器进行更多的训练更新，但收效甚微。如果我们在将编码器插入到生成器之前将其预训练为自动编码器的一部分，那么它可能会有更好的成功几率。让自动编码器工作会很棒，因为这样我们可以更自然地在这个潜在空间中进行插值以生成不同的地图，以及向该编码添加自定义特征以生成新地图。

6.2 Conditional GAN Without Encoder 没有编码器的条件 GAN

从图中可以看出，该模型训练良好，并在第 10 个 epoch 结束时收敛。生成器和判别器只有三层深，初步调查通过增加判别器和生成器的深度表明损失值更低。

6.3 RealNVP

模型的可疑模式崩溃可能是由于缺乏复杂性，因为我们使用 FC 方法来创建二等分的移位和尺度函数。然而，在应用梯度更新时，甚至添加更多隐藏层或将两个隐藏层的大小加倍的实验很快会导致数值溢出。此外，真正的 RealNVP 论文实现对这些函数使用了卷积和残差网络方法来处理更复杂的数据，例如人脸。但是，没有办法通过应用 RealNVP 转换的 Tensorflow API 函数来增加这种复杂性。另一个可能发生的冲突点是我们通过 GAN 损失函数训练 RealNVP 生成器。这与实际训练流模型的方式不同，后者是通过对训练数据进行最大似然估计。回想一下，GAN 生成模型方法的重点是避免考虑可能性，而是让对抗样本作为训练信号。因此，可能是 RealNVP 生成器学会了生成样本，这些样本有时会通过从噪声输入中创建相同的数字来欺骗鉴别器。然而，该模型没有学习多样性，因为梯度不是根据 RealNVP 从训练集生成样本的可能性计算的。混合似然最大化和基于 GAN 的训练可能是进一步研究的一个领域，以验证这种混合方法是可能的。

6.4 数据

我们在 CycleGAN 地图数据集 Zhu et al. (2018)上进行训练时取得了最好的结果；Park(2018) 与我们生成的数据集相反，因为卫星图像的分辨率要高得多，而且更不受云的影响。看起来每像素 10 平方米的卫星图像分辨率不会产生很好的结果。我们的模型经常被水与植被（因为两者都是深蓝色和绿色）以及有时在水面上的反射混淆。因此，我们认为添加 IR 或其他波段（存在于我们生成的数据集中）。

7 结论

总之，我们展示了一个用于生成地图的可行模型（具有重建和样式转移损失且没有编码器的 GAN）。显示的结果没有超参数搜索，只训练了 15 个epochs，我们相信随着更多的训练时间，我们可以获得更真实的结果。未来的工作还可能包括在更多波段上进行培训，例如 IR，以帮助地图区分湖泊和植被等视觉模糊区域。这些额外的波段存在于我们从谷歌地球引擎提取的数据中。我们还提供了从地球引擎和谷歌地图 API 生成新数据集的代码。虽然来自sentinel 2 的 10m 分辨率图像不能很好地训练，但我们的数据收集流可以从谷歌地球引擎中提取任何数据，包括卫星图像、海拔数据、热数据等。可以提取这些域之间或地图之间的任何转换的数据集。

A. MNIST 健全性检查

作为对我们基线架构的健全性检查，我们在 MNIST 数据集上训练我们的模型。在这种情况下，鉴别器和生成器随时间的损失如图7所示。图 8显示了该训练在第 20 轮生成的图像样本和训练 NVP 模型的示例输出。

B. 演示：对同一地图使用四对（夏季、秋季、冬季、春季）卫星图像对季节性影响进行编码

C. 来自受过训练的 GeoGAN（模型 3）的其他样本

感谢阅读，如有错误敬请批评指正。