《Occlusion Aware Facial Expression RecognitionUsing CNN With Attention Mechanism》论文阅读（2019TIP）

1. 本论文提出的ACNN框架

ACNN将人脸图像作为输入，并使用VGG-16网络对图像进行编码。然后，对于pACNN，通过区域分解方案将来自最后一个卷积层（VGG16网络中的conv4_2）的特征映射裁剪为24个局部面片。然后，PG单元对每个patch进行处理。每个PG单元通过一个矢量形状的特征对一个patch进行编码，并通过一个注意力网络估计patch的信息量。对于gACNN，通过GG Unit将全特征映射编码并作为表示向量加权。softmax损耗附加在末尾。通过最小化softmax损耗来学习整个网络中的参数。

2. 本文分为两大部分：pACNN和gACNN。

2.1 pACNN包括两个关键方案：区域分解和遮挡感知

（1）区域分解：由于人脸不同的区域对表情识别的贡献是不同的，并且将面部分分割为多个局部区域有助于找到遮挡的位置。检测到68个面部标志点，然后根据检测到的68个点，重新选择覆盖面部区域的24个点，包括眼睛、鼻子、嘴巴、脸颊。再根据选出的24个点裁剪局部区域。

首先，从最初选择的68个点中先选择16个点，覆盖眉毛、眼睛、鼻子和嘴巴。

然后，为每只眼睛和眉毛添加一个信息点。在眼睛和眉毛周围选取4个点对，然后计算每个点对的中点，这是因为是在卷积特征图上提取的而不是在输入图像上，人脸图像上的相邻点将合并为特征图上的同一点。（有点疑惑，不太明白）

最后，因为脸颊没有被面部标志直接覆盖，所以我们选择两个点对，然后计算他们的中点，两个点对的标号分别为（18,59），（27,57）。然后选择两个相对于嘴角有固定偏移的面部点。对于左嘴角，目标点的坐标可计算为 $(x,y)=(x_{left}-16,y_{left}-16)$ ，对于右嘴角，目标点的坐标可计算为 $(x,y)=(x_{right}+16,y_{right}+16)$ 。

（2）基于Gate Unit的遮挡感知：在pACNN中嵌入了Patch-Gate Unit，自动感知被遮挡的patch，主要关注未被遮挡的patch。PG-Unit详细结构为上图蓝色虚线框，在每一个patch对应的PG-Unit中，裁剪后的局部特征图别送到两个卷积层而不降低空间分辨率，以便于学习特定区域时保留更多的信息。然后又两个分支处理最后的特征映射。第一个分支将输入的特征映射编码为局部向量，第二个分支由一个注意力网络组成，该注意力网络估计一个标量权重来表示局部patch的重要性，然后用计算出的权重对局部特征进行加权。

2.2 基于全局---局部的ACNN：gACNN（局部体现在哪里，没看出来）

在pACNN中的局部patch可能会忽略一些面部中显示的互补信息，融合全局表示有望存在遮挡的条件下获得更好的性能。

（1）全人脸区域融合。除了关注局部的patch，gACNN还考虑了整体的人脸区域。一方面，global-local Attention有助于在当前图像中推断局部细节和整体上下文线索；另一方面，gACNN可以被看做是一个集成学习，它寻求促进学习特征的多样性。

（2）Global-Gated Unit：将GG-Unit嵌入到gACNN中，以自动的对全局面部表情进行加权。GG-Unit的详细结构如上图最下方所示的蓝色虚线框，由两个分支组成，第一个分支，将输入的特征映射编码为矢量形状的全局表示；第二个分支由一个注意力网络组成，该注意力网络学习一个标量权重来表示整体面部的贡献，然后通过计算的权重对全局表示进行加权。

通过阅读这篇论文，我目前遇到还没整明白的问题：

1. 单独考虑local patch对表情识别的贡献，没有考虑local patch之间的相关性对表情识别的影响。比如：人在微笑的时候眉毛、眼睛、嘴巴都呈现弯曲的状态。

2. 在存在严重遮挡的情况下，landmark点怎么标？

3. 尽管gACNN对大多数的遮挡具有很强的鲁棒性，但仍然会遭受到严重面部遮挡和新型遮挡器的干扰。前者可以理解为严重的遮挡将不可避免地导致landmark标志错位。因此gACNN无法关注到局部的patch。后者可以理解为gACNN中Gate-Unit在遇到罕见的遮挡器时，可能产生不太自适应的权重。处理这些难以理解的例子的一种方法时将图像中的上下文或人体姿态考虑在内。

4. 本文的代码也没有找到，有谁有代码可以分享一下吗。

小白求助：各位大佬有谁能帮忙解答一下疑问吗，或者有没有解决相关问题的论文提供，万分感谢！

《Occlusion Aware Facial Expression RecognitionUsing CNN With Attention Mechanism》论文阅读（2019TIP）相关推荐

Occlusion Aware Facial Expression RecognitionUsing CNN With Attention Mechanism阅读笔记
论文链接:https://ieeexplore.ieee.org/document/8576656 代码链接:https://github.com/mysee1989/PG-CNN 主要目的通过注意 ...
attention综述论文阅读：An Overview of the Attention Mechanisms in ComputerVision
1. Introduction 注意机制起源于对人类视觉的研究.在认知科学中,由于信息处理的瓶颈,人类只能注意到所有可见信息的一部分.受这种视觉注意机制的启发,研究者们试图寻找视觉选择性注意模型来模拟 ...
Small Object Detection using Context and Attention（论文阅读笔记）
Small Object Detection using Context and Attention 论文阅读笔记出处:2021 International Conference on Artifi ...
Region Attention Networks for Pose and Occlusion Robust Facial Expression Recognition
摘要: 遮挡和姿势变化是面部表情识别(FER)的两个主要障碍.它们可以显著改变面部外观.尽管在过去几十年中,自动FER已经取得了实质性的进展,但FER的遮挡鲁棒性和姿势不变问题受到的关注相对较少,尤其 ...
【语义分割系列：七】Attention Unet 论文阅读翻译笔记医学图像 python实现
Attention U-Net 2018 CVPR Ozan Oktay, Jo Schlemper, Loic Le Folgoc, Matthew Lee Attention U-Net: Lea ...
表情识别综述论文《Deep Facial Expression Recognition: A Survey》中文翻译
本篇博客为论文<Deep Facial Expression Recognition: A Survey>的中文翻译,如有翻译错误请见谅,同时希望您能为我提出改正建议,谢谢! 论文链接:h ...
论文翻译阅读——Facial Emotion RecognitionUsing Deep Learning:Review And Insights
文章目录 Abstract Introduction Facial Available Databases Facial Emotion Recognition Using Deep Learning ...
Pyramid With Super Resolution for In-The-Wild Facial Expression Recognition
论文翻译摘要一.介绍 Ⅱ.金字塔超分辨率(PSR)网络 A.STN块 B.缩放块 C.LOW AND HIGH-LEVEL FEATURE EXTRACTOR D. FULLY CONNECTED ...
[论文阅读] Facial Expression Recognition Using Residual Masking Network
Facial Expression Recognition Using Residual Masking Network 论文链接:https://ieeexplore.ieee.org/docume ...

《Occlusion Aware Facial Expression RecognitionUsing CNN With Attention Mechanism》论文阅读（2019TIP）

《Occlusion Aware Facial Expression RecognitionUsing CNN With Attention Mechanism》论文阅读（2019TIP）相关推荐

最新文章

热门文章