点击上方“AI遇见机器学习”，选择“星标”公众号

重磅干货，第一时间送达来源：机器之心

在人类探索太空的征途中，深度学习能做什么？

在绕地球飞行了 19 个小时之后，Space X 的载人龙飞船与国际空间站成功对接了。

这次飞行堪称载人航天史上的里程碑事件：不仅是 Space X 的第一次载人飞行任务、全球商业航天史上的第一飞，也是近 9 年来，美国宇航员第一次从本土乘坐国产火箭进入太空。

北京时间 5 月 31 日 3 时 23 分，龙飞船载着两位 NASA 宇航员成功进入太空，全世界为之瞩目。

一切都按照计划顺利进行：升空约 2 分钟后，完成一级火箭分离；9 分半钟后，一级火箭成功在海上平台着陆回收；第 12 分钟，完成二级火箭分离。

当然，这对于马斯克来说，也许只是计划中的一部分。他真正的目标是「火星殖民计划」，包括 Space X 一直以来在做的火箭回收——也是为了让火箭变成和飞机一样可重复利用的交通工具，最终实现往来太空与地球之间的大规模人口运输。

相比于完全由政府主导的「军用」航天时代，随着模块化卫星和商业航天领域的发展，更多的小型或私人机构得以参与到太空领域的探索工作中。与此同时，机器学习也在这一领域有着更加广泛的应用，尤其是近年来兴起的深度学习技术。

在今年 1 月份的一篇论文中，来自牛津大学和三星 AI 的研究者介绍了深度学习在太空探索实践中的应用。

论文链接：https://arxiv.org/pdf/2001.10362.pdf

深度学习技术与太空的相遇

在人类探索太空的征途中，深度学习能做什么？

深度学习技术可以实现复杂的智能计算，在完成各项太空任务和降低操作成本方面是一个不错的选择。太空领域的深度学习应用也是移动和嵌入式机器学习的发展方向之一。

在这项研究中，研究者阐述了包括机器学习在太空数据处理方面的多项应用（比如卫星影像），并描述了深度学习在太空设备上如何改进飞船操作，比如通过降低通信成本或者促进导航等方式。

此外，研究者详细介绍了卫星的计算平台、嵌入式系统以及资源受限环境下的最新深度学习研究。

深度学习在太空领域的两大应用范畴

深度学习在太空领域主要有两方面的应用，首先是有效载荷数据的分析，具体又分为气候和环境监测、植被和地被植物分类以及目标检测和跟踪。

地球观测卫星，无论是高轨道卫星（GEO）还是低轨道卫星（LEO），轨道上所携带的传感器包括用于云层检测的 RGB 成像仪，以及用于气温、湿度、风向以及气态成分等其他大气特性的传感器。来自辐射和光谱传感器的数据通常是在地面基站里使用经典机器学习和手写专用算法进行处理，地面和空间传感器模态的相似性使得机器学习 / 深度学习能够很好地适应有效载荷数据。

另一方面是航天器的操作，同样又分为通信以及自动控制和导航。

操作系统包括制导、导航与控制（GNC）系统以及通信、动力和推进系统。NASA 已经定义了 4 个层次的航天器自主权，最低一层关联的是地面控制任务，最高一层则期望能够独立地重新评估目标。当前自动化普遍是由机载控制应用程序（OBCPs）提供的。当在 Rosetta、Venus、Herschel & Planck 等卫星上被使用且检测到事件时，OBCPs 初始化一系列预定义的行为。通过更好的事件检测和后续计划，深度学习能够改进的不只是 OBCPs，还有跟进的系统。

深度学习在空间硬件和软件方面的应用

计算资源通常已经被高度细化并紧密联系整体。相比于地面硬件系统，太空由于远程且环境相对较差，计算系统要求高效、抗辐射，并且允许出现错误。另外，被送入太空的系统必须经过彻底验证。因此，太空系统，尤其是硬件，大大落后于现代计算水平。

表 1：不同类型的空间硬件和配置。

首先是系统平台，包括系统软件和操作系统、内存和计算能力、功率预算。

航天器的设计和任务独立高度相关（上表 1），其中专门设计的硬件（ASICs）或高端微控制器为较老的太空任务提供动力。然而，这样的系统成本高、无弹性且体积大。随着时间的流逝，这样的专门化在几个方面（功率、成本、重量、体积）变得不可行。为了降低开发成本，越来越多的系统开始使用现成的组件（COTS）。在 CubeSats 等小型航天器和大型航天器中都有使用。

其次是抗辐射加固，又包括物理加固和基于电路的加固。

在太空中，设备不再处于地球大气层的保护之下，因此会受到更多太阳辐射的影响，这可能会导致伪误差（ spurious error）或者设备电路中的晶体管阻塞。辐射会通过累积方式（总电离辐射剂量，TID）或单粒子效应（SEE）来损坏硬件。

可恢复的 SEE 称为单粒子翻转（SEU），会影响内存的逻辑状态。抗辐射加固则使得计算组件能够承受此类错误。和常规组件相比，抗辐射组件的计算速度是常规组件的两倍，并且价格是常规组件的很多倍。这就使得使用太空级 CPU 方面的开销通常比 DSP 和 FPGA 产生的开销大得多。

最后是对 DL 负载的适宜性。

目前，一些深度学习系统正在进行初步测试。Schartel[39] 训练了 SqueezeNet 模型，旨在将其转变成一个空间嵌入式系统；Buonaiuto et al.[5] 利用配置有 CUDA 深度神经网络库和 TensorRT 软件的英伟达 TX1 硬件；此外还有 Xilinx Artix-7 和 Xilinx Zynq-7020 等现场可编程门阵列（FPGAs）等，用于神经形态芯片和图像分析。首个专门针对深度学习有效负载的太空系统也已经投入生产。

案例分析：深度学习有助于捕获设备卫星影像（On-device Satellite Imagery）

获取卫星影像是航天器硬件最普遍的用途之一，但发送和接收大量数据却功耗极高。上文已经提到，研究人员正尝试在航天器的高度受限环境中使用深度学习方法加持的硬软件以及算法。接下来研究者探讨了这些深度学习方法如何选择相关成像数据并进行压缩，结果表明，深度学习至少可以节省一半功耗。

大多数成像传感器可以捕获横跨电磁波谱的数个波段（通常在 IR 和 UV 之间）。现代化的传感器能够做到捕获 31cm 物体可见的高分辨率图像，合成孔径雷达（SAR）甚至可以捕获更高分辨率的图像。人们现在也可以很容易地利用大量的原始和预处理高光谱数据集。

利用合成孔径雷达（左）和光学传感器（右）的成像图。

捕获的数据需要传输至地面卫星接收站进行汇总和分析，耗时且成本高昂。借助深度学习技术，可实现数据的机载预处理，丢掉不相干的图像区域（如被云遮盖的部分），使得卫星减少传输的数据量。此外，对于专门部署的卫星，如用于检测船只或鲸鱼的卫星，神经网络也可以帮助卫星完成主要任务，只传输任务相关的图像。

未来的挑战和机遇

探索太空领域的深度学习领域还有很长的路要走，研究者列举了前进路上面临的一些挑战以及最有发展潜力的应用领域。

其一，地面深度学习视觉模型是为光学（窄频）数据创建，而大多数太空图像数据却是高光谱的。因此，需要进一步开发适用于高光谱太空图像数据的深度学习模型。除了单模态方法未被充分开发利用之外，多模态深度学习系统也因为计算缺乏而未进入太空应用领域。多模态方法将全方位地改进航天器和有效负载操作，如融合磁强计、地面和太阳传感器数据用于 GNC 操作，以及融合 SAR 和 HSD 用于地形特征描述。

其二，航天器深度学习模型的特征描述必须不局限于准确率。模型的执行能力不仅取决于其结构，还与内存、功率、计算和可靠性受限的环境息息相关。因此，效率的定义必须扩展至硬件和情景感知特征描述。计算单元上的深度学习模型效率必须进行多轴度量，并且要在整个航天器运行的大背景下进行特征描述。

其三，当前 ECSS-E-ST-10-02C Rev.1 和 ECSS-E-ST-40C 上列出的太空系统和软件验证标准对于航天器深度学习系统来说是不足够的。鉴定过程的核心包含四部分内容：分析、测试、检查和证明，它们应用于深度学习系统时会出现较大的不同。因此，太空深度学习系统需要增加一些视角分析，如准确性、鲁棒性、效率和可解释性。

欢迎关注我们，看通俗干货！