论文阅读笔记(十四)——基于大比例圈养大熊猫图像的大熊猫识别研究

论文简介

论文中文翻译:《基于大比例圈养大熊猫图像的大熊猫识别研究》
论文名称:《A study on giant panda recognition based on images of a large
proportion of captive pandas》
录用日期:2020年2月14日

期刊情况

期刊:《Ecology and Evolution》
期刊情况:

中科院二/三/四区
影响因子2.4
Q1/Q2分区
初审3-6周

摘要

作为一种高度濒危的物种，大熊猫(panda)在过去的几十年里吸引了大量的关注。在熊猫的保护和繁殖上付出了相当大的努力，为维持大熊猫的数量提供了有希望的结果。为了评估保护和管理策略的有效性，识别大熊猫个体是至关重要的。然而，由于现有的方法，如传统的跟踪方法、基于足迹识别的识别方法、分子生物学方法等具有侵入性、不准确、昂贵或具有挑战性。随着成像技术的进步，数字图像和视频在大熊猫保护和管理中的广泛应用，使得基于图像的大熊猫人脸识别方法能够以无创的方式对大熊猫个体进行识别。
近年来，深度学习在计算机视觉和模式识别领域取得了巨大的成功。针对熊猫人脸识别，本研究开发了一种全自动深度学习算法，该算法由一系列深度神经网络(DNNs)组成，用于熊猫人脸的检测、分割、比对和身份预测。为了开发和评估该算法，建立了最大的熊猫图像数据集，包含来自218个不同大熊猫的6441张图像，占世界圈养大熊猫的39.78%。
(PS:这个逼格太高了，全世界就这一家基地能做了)
该算法的熊猫识别准确率达到96.27%，检测准确率达到100%。、
研究表明，熊猫人脸可以用于熊猫识别。它可以使用安装在它们栖息地的摄像头来监控它们的数量和行为。这种无创的方法比以前的熊猫调查中使用的方法更划算。
关键词:giant panda, individual identification, panda face recognition, population estimation

论文正文

研究背景

基于图像的动物分析是一种有效、高效的方法。摄像机已经安装在大熊猫的栖息地(Kelly, 2008)，因此，计算机视觉和机器学习技术可以应用于分析和监控大熊猫的行为和数量。。(Miller, Joyce, & Waits, 2005; Smallwood & Schonewald, 1998; Solberg, Bellemain, Drageset, Taberlet, & Swenson, 2006; Zhan et al., 2006)。生态学家们一直在试图识别个体动物，包括大熊猫(Ailuropoda melanoleuca)，以准确估计它们的数量，并研究它们的空间行为。(Xiangjiang et al.， 2009)这些信息对于制定合适的动物保护策略至关重要(Pollard, Blumstein， & Griffin, 2010;郑等，2016)。大熊猫种群及其动态变化是划定自然保护区、建立地方保护管理机构、建立生态廊道带的依据，也是评价保护管理方案有效性的重要指标。同时，它们也反映了研究区域生态系统的脆弱性。在实践中，由于大熊猫数量少且分布稀疏，在森林和山区复杂的大栖息地，很难准确估计大熊猫的数量。很难找到他们的踪迹。

为了有效地保护大熊猫，自1974年以来，中国国家林业和草原局已经进行了四次大熊猫调查，以估计它们的数量和分布，并收集其他相关信息。根据第四次大熊猫种群调查，四川省拥有野生大熊猫1387只，密度为每平方公里0.0684只。来自100多个组织的近700名实地科学家参加了第四次调查。采用直接计数法、路线调查法、咬痕距离判别法等传统调查方法，以及基于大熊猫粪便的分子生物学方法，如DNA指纹检测技术、微卫星分析等。(国家林业局，2006,2015a;詹等，2006)。虽然分子生物学方法可以准确区分不同的大熊猫，但其有效性受到样本新鲜度的严格限制(Zhan et al.， 2006)。无论是传统的调查方法还是分子生物学方法，都难以在短时间内进行大规模的调查，因为它们需要大量的人力、物力和财力，而且样本采集成功率低。因此，更有成本效益和更准确的大熊猫种群调查方法仍然是需要的。

幸运的是，成像设备、计算机视觉和机器学习技术的进步，包括深度神经网络。(Le Cun,Bengio,&Hint o, 2 0 1 5) 基于图像的动物分析是一种有效、高效的方法。摄像机已经安装在大熊猫的栖息地(Kelly, 2008)，因此，计算机视觉和机器学习技术可以应用于分析和监控大熊猫的行为和数量。

贡献

更大的数据集和更自动化和更真实的设置上进行熊猫识别
建立了一个新的数据集，由来自218只不同大熊猫的6441张图片，该数据集包括世界上39.78%的圈养大熊猫
开发了一种基于深度神经网络的熊猫人脸识别算法，包括熊猫人脸检测、分割、对齐和识别
在本研究中，输入的图像是有熊猫背景的原始图像，而在前期的工作中，输入的图像只有熊猫的脸。
提出的算法是全自动的;不需要人工分割或检测。
前期工作基于传统的手工特征，而提出的算法依赖于最先进的深度网络。
在封闭集和开放集识别设置下，在不同场景下收集的最大熊猫人脸图像数据集上对本文算法进行评估。
据作者所知，这是唯一一项在这个量表和全自动设置下调查熊猫人脸识别的研究。

数据集

截至2018年11月，全球圈养大熊猫数量达到548只。它们的详细个人信息，如家谱、性别和繁殖记录，都由国家林业和草原局和中国动物园协会管理。因此，本研究有可能获得准确的身份信息。

截至2018年12月31日，成都大熊猫繁育研究基地(CRBGPB)圈养大熊猫数量居世界首位(35.6%)。本研究利用松下dv x20 0摄像机和佳能1DXmarkII相机、佳能5dmarkii相机和松下Lumix DMC-GH4相机，从218只大熊猫中提取了6441张熊猫正面脸的图像。这些照片是从不同的视角和距离拍摄的，展示了熊猫的日常活动，比如吃竹子、走路和躺下。下图为本次研究使用的熊猫图像样本，每行图像均取自同一只熊猫。在这个数据集中，不同的熊猫有不同数量的图像，从2幅图像到168幅图像。在数据集中，每只熊猫平均有29.54张图像。

下图中的直方图显示了数据分布情况**。图像的分辨率从8688 × 5792像素到440 × 293像素不等。总共52.9%的图像在1024 × 678像素到1920 × 1080像素之间**。

这些图像由15名注释员手工标注。注释过程分为两个阶段。在第一阶段，我们使用包围框来定位熊猫的脸，在第二阶段，我们使用平均有44、14、12、14、12、10、11个顶点的多边形来标注脸、左耳、左眼、右耳、右眼、鼻子和嘴巴。边界框和人脸特征标注仅用于训练网络。采用人工标注的包围框训练人脸检测网络。用三组数据训练分割对准网络。人工裁剪的图像和分割后的图像ground truth分别作为训练分割网络的输入和目标输出。对于对齐ground truth数据集，使用一种基于眼睛和嘴标注的算法对裁剪和分割后的图像进行对齐。虽然目前的算法中没有使用大熊猫的性别和年龄信息，但给出了数据总结:3743张图像来自雌性大熊猫，2698张图像来自雄性大熊猫;年龄(大于20岁)、成虫(5.5-20岁)、亚成虫(1.5-5.5岁)和3564只| CHEN等采集到328、4,001、1,271和784张图像，其中幼年大熊猫(0-1.5岁)和57张图像没有年龄信息。在测试阶段，所有的任务，即检测，分割，对齐和识别都是使用网络与原始图像。下图显示了带注释的图像示例。

熊脸识别算法

下图说明了该算法。首先，一个检测网络(Girshick, 2015;Liu等，2016;Redmon, Divvala, Girshick， & Farhadi, 2016)应用于原始输入图像，检测熊猫正面面孔，以输出边框表示。其次，提取边界框内的人脸区域并输入到图像分割网络中(He,Gkioxari, Dollár，&Girshick, 2017;Long, Shelhamer， &Darrell,2015;Ronneberger, Fischer,&Brox, 2015)和空间变换网络(Jaderberg, Simonyan, Zisserman， & Kavukcuoglu, 2015)分别用于分割和对齐。最后，归一化后的人脸图像被输入到一个深度网络来确定熊猫的身份。在本节中，我们将简要讨论模型架构、它的组件(第2.2.1节)和训练(第2.2.2节)。关于模型架构和培训的更详细描述，请参阅附录S1。

模型结构

检测

Faster R-CNN (Ren, He, Girshick， & Sun, 2015)是最先进的基于深度学习的通用目标检测算法由区域建议网和分类网组成。

区域提议网络返回可能包含对象的区域候选对象。该分类网络用于对候选区域中的目标进行分类，并细化边界框坐标以更准确地拟合目标。

在第一个模块中，熊猫人脸检测(图4a)使用了Faster R-CNN，它使用了ResNet-50层(He, Zhang, Ren， & Sun, 2016)。

该网络已经使用COCO数据集进行了训练(Lin et al.， 2014)，可以从网上下载。这个预先训练好的网络经过微调来检测熊猫的脸。更快的R-CNN的输入是熊猫图像(下图a)，水平图像缩放为1024 * 600像素，垂直图像缩放为600 * 1024像素。更快的R-CNN输出边框坐标，用于裁剪熊猫脸(图5b)。裁剪后的图像被检测到熊猫的脸，它们的大小被调整到224乘224像素。

分割

第二个模块(图4b)通过生成一个二进制掩模(一个黑色像素的图像)负责背景去除代表背景，白色像素代表熊猫脸。它使用在ImageNet数据集上训练的ResNet-50 (Deng et al.， 2009)，然后对ResNet Layer 3后的顶层进行修剪。一个新的卷积层，然后是平均池化，卷积转置，和激活层被添加在顶部。这个网络从更快的R-CNN中获取裁剪过的熊猫脸图像。并输出一个二值掩模，该掩模与输入图像相乘，生成分割的熊猫人脸图像。上图显示了该网络的输出。

校准

第三个模块(上上图)确定仿射变换参数，将分割后的熊猫人脸图像对齐到参考模板，以最小化不同熊猫人脸图像之间的旋转、平移和缩放变化。

这个模块包含一个ResNet-50，它的层在ResNet Layer 4之后被修剪，然后是平均池化和两个完全连接的层激活。最后一层有6个神经元，对应6个仿射变换参数，用于将分割后的熊猫人脸图像对齐为参考熊猫人脸。图5c,d显示了对齐前后的分割图像。对齐后的图像被传递到最后一个模块进行熊猫ID预测。

身份预测

最后一个模块(图4d)是一个标准的分类网络。在ImageNet数据集上训练并对对齐的熊猫面孔进行进一步微调的ResNet-50用于确定输入图像中熊猫的身份。
最后一层中的每个输出节点给出一个概率值，指示输入图像中的panda与该节点对应的panda的可能性有多大。在闭集识别中，输出节点的个数等于训练集中熊猫的个数。
在这种情况下，所提出的算法不会显式地处理未知的熊猫。如果应用程序环境中有未知的熊猫，专家需要手动比较算法输出的最有可能的熊猫与输入图像中的熊猫。手工比较也用于取证应用。
在开集识别中，最后一层的输出节点数等于具有已知身份的熊猫数，并为具有未知身份的熊猫增加一个节点。附加节点的输出是一个概率值，表示输入图像中的熊猫不属于已知身份的熊猫的可能性有多大。关于网络架构的更多细节可以在附录S1中找到

训练

所有的网络都是在Ubuntu 18.04工作站上训练的，使用Intel Xeon® E5-1650 v4 CPU和NVIDIA GTX 1080 Ti GPU。代码是使用Tensorflow和Pytorch在Python中实现的。该网络的训练使用监督的方法分两个阶段。监督方法意味着每个输入训练样本与地面真实输出相关联，用于计算损失函数，以获得最优网络参数。

在第一阶段，使用一对对原始图像和熊猫脸周围的地面真相包围框来训练用于熊猫脸检测的Faster R-CNN。在训练过程中，该网络以原始图像作为输入，输出预测的包围框，用于计算四种不同的损失函数。训练后，该网络用于检测图像中的熊猫人脸。使用5,854张图像对panda人脸检测网络进行训练，使用185张图像在训练过程中对模型进行验证，使用402张图像对训练后的检测网络进行性能评价。

在第二阶段，使用裁剪的熊猫人脸图像作为输入，依次训练剩下的三个模块，即分割、比对和识别网络。相应的ground truth是二进制掩码、仿射变换参数和panda恒等式，用来计算相应的loss函数来得到最优网络参数。
此外，还使用了数据增强(空间和颜色转换)。它是对抗模型过拟合和提高网络性能的常用技术。为了解决不平衡数据集的问题，利用熊猫人脸检测网络检测到的图像构建了一个增强数据集。将随机选取的图像随机应用平移、旋转、亮度、对比度和锐度操作生成的新图像添加到数据集中。这些操作被应用在所有的熊猫上，除了图像数量最多的那只。因此，增强训练数据集中的所有熊猫都有相同数量的图像。手动标记的地面真相包围框用于训练第一个模块，即速度更快的R-CNN。
对训练数据集进行数据增强。裁剪(来自更快的R-CNN)和调整大小(224 × 224)的图像在水平和垂直方向平移到最大±15像素。训练样本也随机旋转±20°。检测后裁剪后的图像转换为单通道灰度(224 × 224 × 1)，再将同一通道复制三次，形成(224 × 224 × 3)输入到后续网络中。将图像转换为灰度;只有锐度、亮度和对比度增强被随机应用于训练图像。
图像的亮度、对比度和锐度是随机变化的，最高可达±15%。最后，在增强后，每只熊猫有134张图像。在增强训练数据集中，总共有29,212幅图像。测试数据集和验证数据集中的图像没有增强。第二阶段使用增强数据集对网络进行训练。经过训练后，这些网络按顺序工作，以确定熊猫的身份

对该算法进行了闭集识别和开集识别的训练。对于封闭集识别，包含6441张图像的原始数据集被分割为包含5854张图像的训练集、包含185张图像的验证集和包含402张图像的测试集。
训练集和测试集都有来自218只熊猫的图像，验证集中的图像是从训练数据集中超过5张图像的熊猫中选取的。每只熊猫都至少有一张图像在探测装置中。上面提到的数据增强应用于训练集，并创建了一个包含29,212张图像的训练集。
为了进行开放式识别，画廊的布景被重新组织。来自176只大熊猫的4983张图像被增强到23584张图像，形成了一个seen panda数据集，来自20只大熊猫的505张图像被增强到2680张.形成一个看不见的熊猫数据集来训练网络。
在识别网络中，176只熊猫对应176个输出节点用于识别熊猫，20只熊猫对应一个输出节点用于检测未见熊猫。需要注意的是，在最初的图库中，有366张来自22只熊猫的图片没有在训练中使用。
在开放集识别设置下，对176只大熊猫的338张图像和22只大熊猫的29张图像进行了评估。这些图像来自最初的探测装置。关于training和loss函数的详细信息可以在附录S1中找到。

评价指标

在评价基于图像的生物识别系统时，通常使用训练集和测试集。训练集是一个包含已知身份图像的数据集。测试集包含输入到识别系统以确定其身份的图像查询。对于每个查询，系统输出比较分数，表示查询与图库集中标识之间的相似性/不相似性。所有这些比较分数将进一步用于计算性能指标。两种指标，接受者工作特征(receiver operating characteristic, ROC)和累积匹配特征(cumulative match characteristic, CMC)曲线，常用来评价识别系统的性能

Receiver operating characteristic

ROC曲线显示了真阳性率(TPR)和假阳性率(FPR)，它衡量了系统在回答一个查询和一个给定的身份是相同的或不同的个人(验证)时的准确性。ROC曲线上的点的计算方法是对所有比较得分进行阈值化，并计算每个阈值的真阳性和假阳性率。识别系统最好将阈值设置为高TPR和低FPR。但是，要在较高的TPR和较低的FPR之间进行权衡，必须为目标应用程序选择一个合适的阈值。为了根据两种识别系统的roc对其进行数字比较，通常报告不同FPRs的TPRs，例如，0.1,0.01,0.001等，或者报告相等错误率(EER)，其中1-TPR和FPR相等。

Cumulative match characteristic curve

CMC曲线显示了不同级别的识别率，第k个级别的点表示在top-K级别内查询的身份被正确检索的百分比。CMC曲线通过对每个查询的比较得分进行排序(升序/降序)来计算，以确定其在已排序图库中的排名。通常使用rank-1 (Top-1)和rank-5 (Top-5)识别率来评估和比较系统性能。在一些需要人工进一步处理搜索结果的应用中，更高的排名(例如排名10或排名30)也很重要。

结果

首先，报道了检测性能和闭环精度。并交点是一种用于测量目标检测器检测精度的评价指标。一个阈值用于确定ground truth包围盒和预测包围盒在两个包围盒所覆盖的合并区域内是否存在显著的交集。如果比率高于阈值，则假定检测到的包围框是正确的。该检测网络在70% IoU (intersection over union)时准确率达到100%。下图显示了一些检测结果。

对于闭集识别，该算法的top-1准确率为96.27%，top-5准确率为97.25%。图7a为合成CMC曲线。请注意，下图a只显示了25个等级，但画廊设置有218只熊猫。图8a,b分别给出正确和错误识别的熊猫图像。从下下图可以看出，图像质量对识别结果有影响。熊猫的脸有遮挡和大的姿势变化更有挑战性。为了理解识别性能，还进行了额外的分析。在这个分析中，熊猫是根据它们的原始训练图像的数量分组的。将每组的识别准确率绘制成柱状图，如下图b所示。从下图b可以看出，训练图像越多，准确率越高。这是机器学习算法的一个常见特性，特别是基于深度学习的方法，因为它们非常需要数据。

为了选择熊猫身份预测的分类模型，我们在Resnet-101、Restnet-50和Resnet-18上进行了实验，结果如下表所示。使用ImageNet数据集对三个模型进行了预训练。虽然Resnet-101是最深层的模型，但Resnet-50和Resnet-18是同一网络架构的浅层版本。总的来说，带有预先训练权重的Resnet-50模型的结果给出了最高的Top-1精度，因此该模型被用于所有其他实验。

对于开集识别，该算法的top-1准确率为92.12%，top-5准确率为95.09%。图9a为合成CMC曲线。与封闭集识别相比，算法性能有所下降(上上图)，原因是训练图像减少，且测试集中存在未知熊猫。为了验证本文算法是否能够检测到未知熊猫，我们对未知熊猫对应的最后一层神经元的输出概率施加不同的阈值，从而绘制出对应的ROC曲线(下图)。在5%的误认率下，该算法能够正确检测出未知熊猫，准确率为93.18%。

网络学习了哪些特征来识别熊猫?这是一个需要调查的中肯问题。正如(Miao et al.， 2019)， gradam (Selvaraju et al.2017)方法被用来洞察网络的学习特征。gradcam是一种广泛使用的基于CNN的可视化解释技术通过可视化从最终卷积层到输入层的梯度流来建模，并生成热图。使用gradcam生成热图，并将其覆盖在输入的熊猫图像上。热图(下图)显示了网络预测中熊猫脸部区域的贡献最大(绿色)和最小(蓝色)。这些热图表明，眼睛和鼻子区域使网络能够区分不同的熊猫。

讨论

在实验中，该算法在具有挑战性的环境下进行了评估，其中封闭识别有218只熊猫，开放识别有176只熊猫。大量的熊猫意味着算法更难识别熊猫。然而，将该算法应用于野生图像时，不需要进行识别。由于野生大熊猫分布面积大,分布稀疏,多为独居(Guan et al.， 2016)。更清楚的是，根据最新的大熊猫调查(国家林业局，2015b)，野生大熊猫的密度为每平方公里0.0684只，因此安装在它们栖息地的每个摄像头只能拍摄几只大熊猫。当比较特定相机拍摄的熊猫图像时，算法只需要将它们与同一相机或周围相机拍摄的图像进行比较。需要匹配的熊猫数量比本研究中检查的熊猫数量少得多。

在本研究中，将每一幅图像作为独立样本，算法对每一幅测试图像中的熊猫进行识别。实际上，野外摄像机可以在每一次相遇中拍摄一段视频。尽管一个熊猫的视频片段可以有100多张图像，但算法只需要做出一个决定。因此，可以使用投票和权值和等集成分类技术来提高分类的准确性。在实验中，对算法进行了检验在极端情况下，在每一次遭遇中，只有一幅有效的图像可以用于识别，而相机的位置是不可用的.

利用该算法进行熊猫识别，获取质量较好的熊猫正面人脸图像是必不可少的一步。Zheng et al.2016，同种诱饵可以提高野生大熊猫的图像质量(Zheng et al.， 2016)。此外，多台摄像机从不同方向拍摄同一只熊猫，可以增加拍摄熊猫正面面部图像的机会。另一个减轻正面熊猫人脸图像要求的方向是扩展处理不同方向熊猫人脸图像的算法。