原文：Git Loss for Deep Face Recognition

Git Loss

1、四个问题

要解决什么问题？
- 诸如人脸识别、指纹识别等的识别任务，测试集不确定或类别较多而样本较少的情况。
- one-shot-learning。
- 最小化类内差异，最大化类间差异。
用了什么方法解决？
- 提出了一个新的loss函数——git loss。
- git loss是基于center loss的基础之上改进的，center loss可以加强网络缩小类内差异的能力，而git loss可以加强网络增加类间差异的能力。
效果如何？
- 在两个benchmark数据库上：Labeled Faces in the Wild(LFW) and YouTube Faces (YTF) 取得了state-of-the-art的结果。
还存在什么问题？
- 与center loss一样，训练时的计算成本很大，每次训练都要计算当前batch的所有特征的中心。

2、论文概述

2.1、Deep Metric Learning Approaches

优点：
- 深度度量学习方法，如contrastive loss可以优化样本对之间的相似度，triplet loss会优化三元组样本对之间的相对相似度。使用contrastive loss和triplet loss可以有效地加强深度网络提取很好分类的特征。
缺点：
- 使用contrastive loss和triplet loss需要注意样本对的选择，如果样本对选择的不好，模型的性能也会大打折扣。
- 由于训练和测试时使用的都是样本对，每次训练都要计算多张图像，这样会增加训练的计算量。

2.2、Git Loss

git loss是基于center loss改进得到的。最小化类内间距，最大化类间间距。
由于让同类样本的特征更加紧凑（类似于git的pull操作），让不同类样本的特征距离更远（类似于git的push操作），所以取名为了git loss。

公式说明：
1. LSL_SLS是Softmax Loss，LCL_CLC是Center Loss，LGL_GLG是Git Loss。
2. λC\lambda_CλC和λG\lambda_GλG分别是给Center Loss和Git Loss的权重。
3. cyic_{y_i}cyi表示所有属于yiy_iyi类的特征xix_ixi的中心值。

2.3、Toy example

基于MNIST做的实验：

左图中λG=0\lambda_G=0λG=0，即为Center Loss的结果；由于为引入了Git Loss的结果。
从图中可以直观地看出Git Loss的类间距离更大，类内也更紧凑。

2.4、实验结果

论文笔记：Git Loss相关推荐

机器学习笔记 soft-DTW（论文笔记 A differentiable loss function for time-series）
1 soft-DTW来由 DTW 算法通过动态规划求解了两个序列的相似度.这个过程1是离散的,不可微的.如果要将其应用作为神经网络的损失函数,这是不行的.因为神经网络通过对损失函数结果进行梯度下降的方 ...
Focal Loss 论文笔记
论文:<Focal Loss for Dense Object Detection> 论文地址:https://arxiv.org/abs/1708.02002 代码地址: 官方 gith ...
RetinaNet和Focal Loss论文笔记
论文:Focal Loss for Dense Object Detection.Tsung-Yi Lin Priya Goyal Ross Girshick Kaiming He Piotr Dol ...
论文笔记3 --（ReID）In Defense of the Triplet Loss for Person Re-Identification
<In Defense of the Triplet Loss for Person Re-Identification> 论文:https://arxiv.org/abs/1703.07 ...
【论文笔记】 LSTM-BASED DEEP LEARNING MODELS FOR NONFACTOID ANSWER SELECTION
一.简介这篇论文由IBM Watson发表在2016 ICLR,目前引用量92.这篇论文的研究主题是answer selection,作者在这篇论文基础上[Applying Deep Learnin ...
Deep Learning论文笔记之（五）CNN卷积神经网络代码理解
Deep Learning论文笔记之(五)CNN卷积神经网络代码理解 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文,但 ...
论文笔记：PRIN: Pointwise Rotation-Invariant Networks
PRIN: Pointwise Rotation-Invariant Networks 1.四个问题要解决什么问题? 使用特殊结构的神经网络来提取具有旋转不变性的点云特征. 用了什么方法解决? 提出 ...
图像内复制粘贴篡改取证matlab_[论文笔记] 篡改检测：RGB-N
[论文笔记] Learning Rich Features for Image Manipulation Detection 说在前面个人心得: 第一次关注篡改检测,最常见的篡改方式是拼接.复制移动 ...
神经稀疏体素场论文笔记
论文地址:https://proceedings.neurips.cc/paper/2020/file/b4b758962f17808746e9bb832a6fa4b8-Paper.pdf Githu ...

论文笔记：Git Loss

Git Loss

1、四个问题

2、论文概述

2.1、Deep Metric Learning Approaches

2.2、Git Loss

2.3、Toy example

2.4、实验结果

论文笔记：Git Loss相关推荐

最新文章

热门文章