损失函数笔记（2）--对比损失

一些常用与分类问题的损失函数：
1. 交叉熵损失：
  1. 是分类问题中默认使用的损失函数
  2. 交叉熵函数：计算了类概率与标准答案的距离
2. softamax：一般用作最后一层的激活函数，计算归一化的类概率。
前置知识：
1. 非参数样本分类：
  1. 每个权重向量事实上代表了每一类样本其特征值的模板
  2. 现有的分类问题实际是通过一系列深度网络提取特征，再依据大量的样本学习到有关每一类样本特征的模板，在测试阶段再将这个学到的特征模板去做比对。
  3. 所谓非参数样本分类，则是将每个计算出的样本特征作为模板，
2. 根据向量乘法：越相似的两个向量其内积越大。
对比损失：
1. 对比损失在非监督学习中应用广泛。
2. 在对比学习框架下，通常以每个样本作为一个单独的语义类别，并且有如下假设：
  1. 同一样本做不同变换后不改变其语义类别
  2. 举例说明：假设对样本x，分别做不同变换A，B，对比损失希望A(x),B(x)之间的距离要小于A（x）和任意其他样本的距离
3. 对比损失可视作添加了变换不确定性的非参数分类损失。
4. 基本准则：
  1. 近似样本之间的距离越小越好
  2. 不似样本之间的距离如果小于m,则通过互斥使其距离接近m（m使得训练目标有了边界）
  3. 依据此准则，对比损失完全忽视了那些属于不同类，但两两距离天生大于m的样本对，大大减少了计算量。

损失函数笔记（2）--对比损失相关推荐

机器学习笔记 - 关于Contrastive Loss对比损失
一.对比损失虽然二元交叉熵(下图公式)肯定是损失函数的有效选择,但它不是唯一的选择(甚至不是最佳选择). 然而,实际上有一个更适合孪生网络的损失函数,称为对比损失. 其中Y是我们的标签.如果图像对属 ...
Understanding the Behaviour of Contrastive Loss理解对比损失的性质以及温度系数的作用
论文标题:Understanding the Behaviour of Contrastive Loss Understanding the Behaviour of Contrastive Loss ...
机器学习中的损失函数（交叉熵损失、Hinge loss）
损失函数文章目录损失函数 1 交叉熵损失 1.1 从最大似然估计到交叉熵损失概率论中的MLE 机器学习中的MLE 交叉熵损失 1.2 多分类的交叉熵损失函数 1.3 比较 2. Hinge lo ...
对比损失Contrastive Loss
[时间]2-019.01.21 [题目]对比损失Contrastive Loss PS:本文转载自Contrastive Loss Contrastive Loss 在传统的siamese netwo ...
对比损失与三元组损失
[时间]2019.08.05 [题目]对比损失与三元组损失一.对比损失二.三元组损失具体见:一篇文章,教你读懂度量学习.三元组损失函数度量学习(metric learning)损失函数
交叉熵损失函数、修正Huber损失、极大似然估计、负对数似然、似然与交叉熵、KL散度
交叉熵损失函数.修正Huber损失.极大似然估计.负对数似然.似然与交叉熵.KL散度目录
EMNLP 2021 | 以对比损失为微调目标，UMass提出更强大的短语表示模型
©PaperWeekly 原创 · 作者 | Maple小七学校 | 北京邮电大学硕士生研究方向 | 自然语言处理论文标题: Phrase-BERT: Improved Phrase Embed ...
对比损失的PyTorch实现详解
对比损失的PyTorch实现详解本文以SiT代码中对比损失的实现为例作介绍. 论文:https://arxiv.org/abs/2104.03602 代码:https://github.com/Sa ...
关于对比损失（contrasive loss）的理解（相似度越大越相似的情况）：
def contro_loss(self):'''总结下来对比损失的特点:首先看标签,然后标签为1是正对,负对部分损失为0,最小化总损失就是最小化类内损失(within_loss)部分,让s逼近mar ...

损失函数笔记（2）--对比损失

损失函数笔记（2）--对比损失相关推荐

最新文章

热门文章