人脸表情系列——人脸表情识别（Facial Expression Recognization/FER）

最近看了几篇关于表情识别的论文，稍微记录一下。

综述推荐一篇CVPR2019的：Deep Facial Expression Recognition: A Survey

基于深度学习的表情识别流程为：人脸识别+表情分类

目前存在的问题：1. 相比于目标检测，人脸识别等任务数据不足，容易过拟合；2. 受光照等外界条件影响大；3. 类内差大(不同个体的脸部特征和表情不同，也就是论文经常提到的identity information会带来影响；另一方面姿态不同加强了识别难度，一个个体的不同pose信息过少，数据集中基本只有正面图像)；4. 相比于人脸识别，表情更加抽象细微。

目前针对这些难点有几篇不错的比较新的论文：

1. Joint Pose and Expression Modeling for Facial Expression Recognition

主体是利用CGAN生成多姿态和表情的人脸图像，实现数据增强以提高表情识别正确率。CGAN的结构比较特殊，生成器为一个autoencoder，编码部分得到输入图像的identity representation，pose和expression作为条件在编码和解码中间加入，解码部分基于三者concatenate的code生成指定pose和expression的人脸图像。判别器有两个，一个用于判别编码得到的identity representation，使其更加平滑；另一个判别解码生成的人脸图像，使其和输入图像更加一致。同时表情分类器也对生成图像进行表情识别，得到的loss也参与GAN的更新。

2. Facial Expression Recognition by De-expression Residue Learning

也是以GAN为主体的网络结构，生成器也是一个autoencoder，输入人脸图像，生成该人脸的natural expression图像，认为在这个过程中实现了解耦和：neutral component和expression component。因为最终生成了natural expression，认为生成器后半部分使用的是neutral component，前半部分则是把expression component逐渐过滤，因此生成器前半部分和后半部分图像大小对应的feature maps的差就是expression component，这个理论用于一个残差网络，学习的就是两者之差即表情。

3. Photorealistic Facial Expression Synthesis by the Conditional Difference Adversarial Autoencoder

和上面的残差法有类似的地方，从标题的difference即可看出，也是基于autoencoder的结构，输入一张表情图像先进行encode，在latent space中与target expression的label进行concatenate，再进行decode生成该表情下的图像。中间有加入short connection，该连接将整个autoencoder划分为三部分，中间一部分由于靠近latent space，具有更高级的特征，表示表情信息，是从输入图像表情到输出图像表情的转换过程，因此该部分的输入输出表示的就是两个表情的difference；而第一部分和第三部分更靠近image level，只具备低级特征，表示的是identity information。short connection保证了identity information的不变性，相当于残差结构中的旁支，残差则是刚才所说的第二部分表示的difference。

以上只是简单介绍，如果后续使用其中的理论再仔细学习吧。

人脸表情系列——人脸表情识别（Facial Expression Recognization/FER）相关推荐

人脸表情系列：论文阅读——Facial Expression Recognition by De-expression Residue Learning
task是表情识别,将一张图像视为两部分组成:expressive component和neutral component.从一张图像中生成该个体的无表情图像称为de-expression learn ...
【论文阅读】面部表情识别综述（2018年）（Deep Facial Expression Recognition: A Survey）
论文地址:https://ieeexplore.ieee.org/abstract/document/9039580 百度网盘地址:https://pan.baidu.com/s/1A8NKT_wz4 ...
Cascade EF-GAN: Progressive Facial Expression Editing with Local Focuses 论文解读
题目:Cascade EF-GAN:局部聚焦渐进式面部表情编辑时间:2020.3 作者:Rongliang Wu, Gongjie Zhang, Shijian Lu, and Tao Chen C ...
keras系列︱人脸表情分类与识别：opencv人脸检测+Keras情绪分类（四）
人脸识别热门,表情识别更加.但是表情识别很难,因为人脸的微表情很多,本节介绍一种比较粗线条的表情分类与识别的办法. Keras系列: 1.keras系列︱Sequential与Model模型.kera ...
表情识别：Facial Expression Recognition with Two-branch Disentangled Generative Adversarial Network
论文:Facial Expression Recognition with Two-branch Disentangled Generative Adversarial Network 代码:TDGA ...
表情识别综述论文《Deep Facial Expression Recognition: A Survey》中文翻译
本篇博客为论文<Deep Facial Expression Recognition: A Survey>的中文翻译,如有翻译错误请见谅,同时希望您能为我提出改正建议,谢谢! 论文链接:h ...
2020cvpr最佳人脸识别-Suppressing Uncertainties for Large-Scale Facial Expression Recognition
原文链接代码即将开源 Abstact 由于表情模糊.低质量的人脸图像以及注释者的主观性等因素的影响,对一个定性的大规模人脸表情数据集进行注释是非常困难的.这些不确定性导致了深度学习时代大规模人脸表情 ...
python实现人脸识别抓取人脸并做成熊猫头表情包（2）之优化
上次做完python实现人脸识别抓取人脸并做成熊猫头表情包之后就放了一下,因为还要好好学习Springboot毕竟这才是找工作的硬实力.但是优化这个代码心里面一直很想,借用<clean code ...
人脸识别入门论文《Deep Facial Expression Recognition: A Survey》学习笔记
Abstract 随着面部表情识别(FER)从实验室控制向野外挑战的转变,以及深度学习技术在各个领域的成功应用,深度神经网络越来越多地被用来学习用于自动FER的判别表示.最近的深度fers系统一般集中 ...

人脸表情系列——人脸表情识别（Facial Expression Recognization/FER）

人脸表情系列——人脸表情识别（Facial Expression Recognization/FER）相关推荐

最新文章

热门文章