人脸表情系列：论文阅读——Facial Expression Recognition by De-expression Residue Learning

task是表情识别，将一张图像视为两部分组成：expressive component和neutral component。从一张图像中生成该个体的无表情图像称为de-expression learning procedure，则这个过程中逐步抛掉的就是expressive component。既然是抛掉的部分，如何使用呢？本文借助同尺寸的两组feature maps，得到两者间的差也就是被抛掉的expressive component，这就是残差学习/residue learning的意思。

该方法着重解决了identity information给表情识别带来的问题，因为生成的图像和输入图像仅在表情上有所改变，无论是图像整体的光照还是个体的面部信息，都未发生改变，这样用于识别的残差就受这些因素影响很小。

网络结构如下图所示：

整个结构分为两部分，首先是一个cGAN的结构(上图的长方形框部分)：输入是一对图像 $< I_{input},I_{target}>$ ，经过Generator生成与输入对应的无表情图像 $I_{output}$ ，再由Discriminator判别 $I_{target}$ 和 $I_{output}$ ；第二部分使用了Generator中的feature maps获取残差，然后通过cnn进行表情识别。

第一部分判别器和生成器的目标函数如下：

Generator的目标函数中还包括了 $I_{target}$ 和 $I_{output}$ 的L1 loss。训练中，先优化cGAN，然后保持其参数不变，对下面的cnn进行优化。在下面表情分类的网络中，共有4个子网络，分别在2，4，8，16四个尺寸上获取残差进行分类得到四个loss，然后四个全连接层的结果进行concatenate后再次分类得到loss 5。这五次分类准确率如下图所示：

可以看到，在分类子网络cnn相同时(说明感受野相同)，尺寸越大的feature maps保留了越多的表情信息。但也可能不是尺寸产生的影响，而是所保留expressive information的不同：如果是生成器的前半段，feature maps尺寸越大，越靠近输入图像，也就是表情信息还未过滤掉，feature maps中还包含很多；如果是生成器后半段，feature maps尺寸越大，越靠近输出图像，此时表情信息已经接近没有了。因此尺寸大的feature maps之间的残差是最能表征expressive information的。但由上图可知，即使是CNN-4也就是尺寸最小的部分，也有一定的分类功能，并没有完全过滤掉表情信息，因此进行concatenate后再次分类是有必要的。

但是表情过滤不彻底可能有一部分来自于生成器中的连接，如下图所示：

在Decode过程中，每一次都concatenate了Encode过程中得到的同尺寸的feature maps，应该是为了丰富图像本身的信息，保证生成图像尽可能在除去表情的部分接近输入图像。但是Encode中的feature maps都是包含了不少表情信息的，这就导致表情信息再一次融合到了生成图像中，还是会产生干扰，感觉有点矛盾。生成图像效果如下：

包含背景的图像中，面部边界有些模糊，但表情部分效果还不错。

人脸表情系列：论文阅读——Facial Expression Recognition by De-expression Residue Learning相关推荐

论文阅读：Natural Language Processing Advancements By Deep Learning: A Survey
文章目录一.介绍二.背景 1.人工智能和深度学习 (1)多层感知机 (2)卷积神经网络 (3)循环神经网络 (4)自编码器 (5)生成对抗网络 2.NLP中深度学习的动机三.NLP领域的核心概念 ...
论文阅读【CVPR-2022】 A Simple Multi-Modality Transfer Learning Baseline for Sign Language Translation
论文阅读 [CVPR-2022] A Simple Multi-Modality Transfer Learning Baseline for Sign Language Translation st ...
[论文阅读] Facial Expression Recognition Using Residual Masking Network
Facial Expression Recognition Using Residual Masking Network 论文链接:https://ieeexplore.ieee.org/docume ...
人脸表情系列——人脸表情识别（Facial Expression Recognization/FER）
最近看了几篇关于表情识别的论文,稍微记录一下. 综述推荐一篇CVPR2019的:Deep Facial Expression Recognition: A Survey 基于深度学习的表情识别流程为: ...
论文翻译——Facial Emotion Recognition using Deep Convolutional Networks
文章目录 Abstract introduction Recognition Of Emotion In Deep Network Convolutional Neural Network 分析与总结 ...
深度动态序列人脸表情识别——论文笔记
原文已上传Deep Facial Expression Recognition: A Survey (IEEE) 人脸表情识别分为动态序列识别和静态图片识别,本文只与动态序列有关这里也有一篇推送解析 ...
Transformer系列论文阅读
这是博主在五一期间对Transformer几篇相关论文阅读的小笔记和总结也借鉴参考了很多大佬的优秀文章,链接贴在文章下方,推荐大家前去阅读该文章只是简单叙述几个Transformer模型的基本框架 ...
Facial expression recognition method with multi-label distribution learning for non-verbal behavior
用于课堂非言语行为理解的多标签分布学习人脸表情识别方法 Abstract 人脸表情的自动识别是计算机视觉和机器学习领域的研究热点.以前关于该主题的工作设置了许多约束,例如受限场景和低图像质量造成的影响 ...
强化学习泛化性综述论文阅读 A SURVEY OF GENERALISATION IN DEEP REINFORCEMENT LEARNING
强化学习泛化性综述论文阅读摘要一.介绍二.相关工作:强化学习子领域的survey 三.强化学习中的泛化的形式 3.1 监督学习中泛化性 3.2 强化学习泛化性背景 3.3 上下文马尔可夫决策过 ...

人脸表情系列：论文阅读——Facial Expression Recognition by De-expression Residue Learning

人脸表情系列：论文阅读——Facial Expression Recognition by De-expression Residue Learning相关推荐

最新文章

热门文章