2020 IEEE
Decheng Liu, Xinbo Gao , Senior Member, IEEE, Nannan Wang

一、简介

现有的基于属性的方法大多只探索人脸属性特征与传统人脸特征的融合。这些方法的缺点是只把人脸属性看作高级特征，而忽略了识别中人的身份和人脸属性之间的内在联系。本文旨在直接有效地利用人类身份与人脸属性之间的关系来消除属性估计错误的缺陷。

受现实世界中人类认知机制的启发，即显著属性有助于记忆和识别人脸，我们提出了我们设计的模型CAL-HFR，直接整合了主体的属性和身份之间的关系。

二、模型结构

我们使用具有多任务架构的预训练属性评估网络，以三元组的形式为照片图像提供区别性属性信息。

在识别阶段，欧几里德距离测量合成草图和图库照片之间的差异。

Coupled Attribute Guided Triplet Loss（CAGTL）：

又称耦合属性引导的三元组损失，是由身份和人脸属性的内在双边关系设计的。

由于不正确的属性预测会对匹配产生不利影响，为了消除属性预测的负面影响，我们提出了如下的CAGTL。

由于有限的异构人脸图像源，我们将大量三联体与识别任务中的探针草图和图库照片结合起来，尝试构造更多的训练数据来提高模型的泛化能力。

Representation Extraction Network（特征表示提取网络）：

输入224×224的图像（即一张草图、一张正照片和一张负照片），分别提取128维的特征。该网络进行模型预训练，以确保异构人脸图像可以映射到一个公共空间，这有效地弥合了不同模态之间的差距。

训练的是该网络。

Attribute Evaluation Network（属性评价网络）：

使用CelebA数据集预处理。CelebA数据集中每张图像具有40个二进制属性估计。

该网络使用了4个二进制属性融合估计。

该预处理后的属性评估网络仅用于提供输入人脸照片的属性相似度分数，不需要在训练阶段进行更新。

现有的方法大多需要手工标注很多人脸照片属性作为训练集，耗费了大量的劳动力。我们提出了CAL-HFR，它不需要手动标记人脸照片，而是自动属性评估。

三、损失函数

四、实验

Attribute Evaluation Network的影响：

图1显示了所提出的二元属性预测结果的一些例子，两个值分别表示不戴眼镜和戴眼镜的概率。实验表明该网络具有一定的鲁棒性，但是也有不理想的结果。

图2蓝虚线表示手动标注属性信息，粉色实线表示CAGTL，可以发现手动标注属性的方法比没有手动标注属性的方法的准确率高了一点点，但省去了手动标注的大量繁忙工作。同时证明了CAGTL算法能够有效地消除评估误差的不利影响。

属性融合的影响：

提供的人脸属性越详细，识别准确率越高。

UOM-SGFSSET A DATABASE：

UOM-SGFSSET B DATABASE：

Coupled Attribute Learning for Heterogeneous Face Recognition阅读笔记相关推荐

Do Deep Neural Networks Learn Facial Action Units When Doing Expression Recognition?阅读笔记
Do Deep Neural Networks Learn Facial Action Units When Doing Expression Recognition?阅读笔记前言 Abstract ...
（CTC损失）Hybrid CTC/Attention Architecture for End-to-End Speech Recognition阅读笔记
ASR-R (CTC损失)Hybrid CTC/Attention Architecture for End-to-End Speech Recognition阅读笔记文章目录 ASR-R (CTC ...
《BBN: Bilateral-Branch Network with Cumulative Learning for Long-Tailed Visual Recognition》笔记
Paper:<BBN: Bilateral-Branch Network with Cumulative Learning for Long-Tailed Visual Recognition& ...
q learning 参数_Soft Q-Learning论文阅读笔记
标题|作者 Reinforcement Learning with Deep Energy-Based Policies Tuomas Haarnoja, Haoran Tang, Pieter Ab ...
《Sequence to Sequence Learning with Neural Networks》阅读笔记
Abstract DNNs 可用于各种复杂的学习任务并取得很好的效果,但是 DNNs 不能用于序列到序列的映射.这篇论文提出了一种端到端(end-to-end)的神经网络模型,来学习这种映射关系.作者 ...
Deep High-Resolution Representation Learning for Visual Recognition阅读笔记
用于视觉识别的深度高分辨率表示学习论文链接摘要: 高分辨率表示对于人体姿态估计.语义分割和目标检测这类位置敏感的视觉问题至关重要.现有的 sota 框架首先通过串联 high-to-low 分辨率 ...
Joint Learning of QA and QG阅读笔记
Joint Learning of QA and QG Brief introduction 大背景:QA和QG是两个非常相关的任务,但是到目前为止没有进行非常好的结合(作者看来). 本文大框架:两个 ...
A Unified MRC Framework for Named Entity Recognition阅读笔记
论文地址: https://arxiv.org/pdf/1910.11476.pdf github:ShannonAI/mrc-for-flat-nested-ner: Code for ACL ...
A Survey on Deep Learning for Named Entity Recognition论文笔记
前言:研究课题定为特定领域的命名实体识别,所以先阅读一篇综述,在此简单记录阅读过程. 摘要在文章中,首先介绍现有的NER资源,包括标记的NER语料库及现成的NER工具,然后对现有的工作进行了分类:输 ...

Coupled Attribute Learning for Heterogeneous Face Recognition阅读笔记

一、简介

二、模型结构

三、损失函数

四、实验

Coupled Attribute Learning for Heterogeneous Face Recognition阅读笔记相关推荐

最新文章

热门文章