Airfraft Type Recognition Based on Segmentation With Deep Convolutional Neural Networks
2018 IEEE

摘要：
飞机类型识别在遥感图像中是一个有意义的工作。由于很难获取适当的飞机代表以供识别，因此这个课题仍具有很大的挑战性。为了解决这一问题，我们提出了一种基于深度卷积神经网络的新型飞机型号识别框架。首先，设计一种飞机分割网络，得到细化的飞机分割结果，为区分不同飞机提供重要的细节。然后，提出一种关键点检测网络，用于获得飞机方向和边界框，并对分割结果进行对齐。设计了一种新的多旋转细化方法，进一步地提高了关键点的精度。最后，采用模板匹配的方法对飞机进行识别，并采用区间联合的方法对分割结果与模板的相似性进行评价。该框架利用飞机的形状和尺度信息进行识别。实验表明，该方法优于现有的方法，在具有挑战的数据集上达到了95.6%的准确率。

1.引言

飞机类型识别是遥感图像解译中一项有意义的任务。……

针对飞机型号识别问题，提出了多种有效方法。几种方法直接基于图像特征对飞机进行分类。Diao等人提出了一种基于深度信念网络深度置信网络分类方法。Fang等人一种建立了基于矩不变和反向神经网络传播的飞机识别方法。但是，训练这些模型需要每种类型的大量数据。此外，这些模型对数据的分布十分敏感，数据的不均匀分布会导致识别精度的下降。

此外，一些研究者采用基于模板匹配的方法进行飞机类型识别。……
最近，受到深度卷积神经网络(CNNs)在图像分类任务中的巨大成功的启发。研究人员将现有的CNN架构转换成像素标记模型，如全卷积网络(FCN)，从而解决了图像分割问题。这些方法虽然分割性能优异，但需要在具有细化像素注释的大规模数据集上进行训练，获取成本较高。

为了解决这些问题，本文提出了一种基于CNNs的新型鲁棒飞机类型识别框架。首先，我们关注的是在训练阶段不使用细化标注的情况下获得更详细的飞机分割结果。卷积编码器-解码器网络被设计用来捕获粗片段。然后采用条件随机域(CRF)对分割结果进行细化。其次，为了获得更准确的方向估计，我们将方向估计转化为关键点的检测任务，构建卷积回归网络来定位飞机关键点的位置。此外，为了进一步提高关键点位置的精度，提出了一种多旋转细化(MRR)方法。最后，根据方向估计和分割结果，设计了基于模板匹配的飞机识别算法。该框架的优点如下：

（1）该方法对不平衡的数据类型分布不敏感，只需要关键点标注即可训练分割和关键点检测模型。不需要像素分割注释或飞机类型标签。
（2）具有较强的扩展性。如果我们想识别一种新型飞机，我们不需要重新训练模型。
（3）它为识别提供了更为详细的形状和尺度信息，大大提高了识别精度。实验证明了该框架的有效性。

2.提出的方法

本节讨论了所提出的飞机识别框架的结构。如图1所示，该框架由飞机分割模型、方向估计和边界定位模型以及模板匹配模型三部分组成。首先从图像中提取飞机的二值分割，实现对飞机的二值化记录。然后将分割结果垂直旋转，放置在固定大小的背景图像中间。最后，我们用标准飞机模板估计分割结果的相似性，以识别飞机的类型。我们精心设计方法，提高每一步的性能。

A 飞机分割

1.粗分割网络

2.CRF 细化

B 方向估计和边框定位

1.网络结构

2.多旋转细化

C 飞机型号识别

我们设计了一种简单有效的飞机识别模板匹配方法。为了方便将分割结果与标准模板进行匹配，首先对分割结果进行预处理。
……

3 实验

A 数据集

该数据集是由QuickBird采集。由13000张0.6 m分辨率的农作物光学卫星遥感图像组成。每个图像包含一个且只有一个完整的飞机。训练与验证数据集包含12000张图片，仅手工标注8个关键点。我们随机选择90%的图像进行训练，其余的10%图像进行验证。测试数据集包含10种不同类型的飞机。每种类型都有100张图像，所有这些图像都标有8个关键点和飞机类型。图2所示为十种飞机的实例及其模板。需要注意的是，训练数据集中有各种飞机，而不仅仅是测试数据集中的类型。但是，训练数据集在测试数据集中没有数据J型的飞机。

B 飞机分割

在这一节中，我们评估飞机分割模型的性能。图3给出了一些分割结果的例子。虽然粗分割网络的预测具有飞机的基本形状，但由于缺乏细节，其结果不能用于识别任务。然而，经过CRF的细化，预测变得更加精确，并且给出了大部分的细节。其结果足以作为飞机的代表。在Intel Xeon E5-2630处理器上使用CRF处理图像只需要0.0169s

C 方向估计和边框定位

D 飞机识别

在本节中，我们评估了所提出的飞机识别方法。首先，我们计算了分割预测和标准模板之间的平均IOU，如图6b所示，
得益于飞机分割模型和飞机关键点检测模型的良好性能，预测与相应模板之间的平均IOU比预测与其他类型模板之间的平均IOU高得多。图6c为本文方法的混淆矩阵。

结果表明，该方法可以利用形状和比例尺信息对尺寸差异较大的飞机和尺寸相似的飞机进行区分。值得注意的是，即使J型飞机从未出现在训练数据集中，由于所提出框架的可扩展性，J型飞机的识别精度仍然可以达到98%。

然后我们将所提出的方法与其他先进的方法进行了比较。表2显示了不同方法的结果。

本文使用了相同的训练和测试数据集进行对比实验。由于我们的方法充分利用了飞机的形状和尺寸信息，所以在测试数据集上优于其他方法，准确率达到了95.6%。

4 结论

本文提出了一种新的飞机类型识别框架，用于飞机的精确识别。我们提出了一个飞机分割和一个关键点检测网络，以获得准确和详细的飞机表示。然后采用模板匹配的方法识别飞机的类型。该方法在训练阶段只需要对关键点进行标注。此外，它具有良好的扩展性，如果我们想要识别一种新型的飞机，不需要对分割和关键点检测模型进行再训练。通过实验验证了该方法的有效性。

基于深度卷积神经网络分割的飞机类型识别相关推荐

基于深度卷积神经网络的玉米病害实时识别检测系统
Deep Convolutional Neural Network based Detection System for Real-time Corn Plant Disease Recognitio ...
论文翻译：基于深度卷积神经网络的肉鸡粪便识别与分类
Recognition and Classification of Broiler Droppings Based on Deep Convolutional Neural Network 基于深度卷 ...
【论文精读】使用深度卷积神经场从单目图像学习深度
使用深度卷积神经场从单目图像学习深度 Paper Information Abstract 1 Introduction 1.1 Related Work 2 DEEP CONVOLUTIONAL N ...
【论文精读】从单张图像进行深度估计的深度卷积神经场
从单张图像进行深度估计的深度卷积神经场 Paper Information Abstract Introduction Related Work Deep convolutional neural f ...
基于深度卷积神经网络的目标检测研究综述
基于深度卷积神经网络的目标检测研究综述人工智能技术与咨询来自<光学精密工程> ,作者范丽丽等摘要:作为计算机视觉中的基本视觉识别问题,目标检测在过去的几十年中得到了广泛地研究.目标检 ...
基于深度卷积神经网络的苹果叶片植物病理学疾病检测
Abstract 多年来,许多植物病害事件给全世界数百万人带来了痛苦,估计造成全球每年减产14%.植物病理学是一门研究植物病害的科学,它试图提高植物在不利的环境条件和引起病害的寄生微生物下的生存机会. ...
基于深度卷积神经网络的大豆叶斑病识别
Abstract 摘要:本文设计了一种基于LeNet的深度卷积神经网络,利用大豆叶斑病斑影响区域进行病害识别和分类.采用无监督模糊聚类算法从叶片图像中分割出病害斑的影响区域.所提出的深度卷积神经网络模 ...
基于深度卷积神经网络的农作物病害识别
基于深度卷积神经网络的农作物病害识别 1.研究思路运用深度学习的方法,基于ResNet-50以及 InceptionV3.MobileNet等神经网络,并在这些基础结构上改进部分模型.该研究主要 ...
基于深度卷积神经网络的玉米病害识别
基于深度卷积神经网络的玉米病害识别 1.研究思路算法模型是先将图像预处理,应用Tripletloss双卷积神经网络结构学习玉米图像特征,再使用SIFT算法提取图像纹理细节,最后通Softmax对图像 ...

基于深度卷积神经网络分割的飞机类型识别

Airfraft Type Recognition Based on Segmentation With Deep Convolutional Neural Networks
2018 IEEE

1.引言

2.提出的方法