从NCE loss到InfoNCE loss

关于NCE loss：知乎上的一些介绍的文字 Noise Contrastive Estimation 学习 - 知乎

github上的介绍文字：Lei Mao's Log Book – Noise Contrastive Estimation

NCE bridges the gap between generative models and discriminative models, rather than simply speedup the softmax layer.

知乎上的说法，NCE强大之处真的不只是能够解决巨大词表Softmax的运算量的问题（关于这个，有更多的解决此问题的思路：知乎 - 安全中心），而是在于它能够解决归一化项中积分（而非求和）无法计算的问题，毕竟如果能够用采样替代计算整个积分，这玩意就能用来对生成模型进行建模了（例如GAN）

一些说法 “去端到端”化和复杂loss：梯度隔离的分层神经网络模型Greedy InfoMax(GIM)，深入了解自监督学习#2，InfoNCE loss及其对分层脉冲神经网络的启发"去端到端”化和复杂loss：梯度隔离的分层神经网络模型Greedy InfoMax(GIM)，深入了解自监督学习#2，InfoNCE loss及其对分层脉冲神经网络的启发 | David 9的博客 --- 不怕"过拟合"

理解Contrastive Predictive Coding和NCE Loss 理解Contrastive Predictive Coding和NCE Loss - 知乎

InfoNCE的最近的一些总结 InfoNCE Explained | Papers With Code

info-nce-pytorchhttps://github.com/RElbers/info-nce-pytorchcontrastive-predictive-codinghttps://github.com/Spijkervet/contrastive-predictive-codingNoise Contrastive Estimation 前世今生——从 NCE 到 InfoNCEhttps://zhuanlan.zhihu.com/p/334772391

从NCE loss到InfoNCE loss相关推荐

一文讲懂召回中的 NCE NEG sampled softmax loss
深度学习中与分类相关的问题都会涉及到softmax的计算.当目标类别较少时,直接用标准的softmax公式进行计算没问题,当目标类别特别多时,则需采用估算近似的方法简化softmax中归一化的计算. ...
train loss与test loss结果分析
在我们进行神经网络的超参数调优时,需要分析参数设置的是否合理以及网络结构是否设置的合适.对于train loss与test loss,进行分析,可以得出以下结果,一般有以下几种情况: 1.train ...
CV之FRec之ME/LF：人脸识别中常用的模型评估指标/损失函数(Triplet Loss、Center Loss)简介、使用方法之详细攻略
CV之FRec之ME/LF:人脸识别中常用的模型评估指标/损失函数(Triplet Loss.Center Loss)简介.使用方法之详细攻略目录 T1.Triplet Loss 1.英文原文解释 ...
机器学习中的损失函数（着重比较：hinge loss vs softmax loss）
https://blog.csdn.net/u010976453/article/details/78488279 1. 损失函数损失函数(Loss function)是用来估量你模型的预测值 f( ...
L1/L2/smooth_l1_loss/center_loss+Dice Loss+focal loss+各种IOU loss+kl散度
一．L1/L2/smooth_l1_loss/center_loss公式与代码 1.公式 L2公式: smooth_L1公式: 2.三种函数numpy代码实现 import numpy as np i ...
从L1 loss到EIoU loss，目标检测边框回归的损失函数一览
本文转载自知乎,已获作者授权转载. 链接:https://zhuanlan.zhihu.com/p/342991797 目标检测任务的损失函数由Classificition Loss和BBox Reg ...
pytorch查看loss曲线_pytorch loss总结与测试
pytorch loss 参考文献: loss 测试 import torch from torch.autograd import Variable ''' 参考文献: https://blog.c ...
Pytorch Feature loss与Perceptual Loss的实现
本文主要改动自:https://github.com/sowmyay/medium/blob/master/CV-LossFunctions.ipynb 首先回顾下特征损失(Feature loss) ...
【文献阅读】医学图像分割中的loss函数选择-Loss odyssey in medical image segmentation loss
参考文献:Loss odyssey in medical image segmentation loss 函数代码库 github-SegLoss 本文在四个典型的三维分割任务上对20个一般的损失函数 ...

从NCE loss到InfoNCE loss

从NCE loss到InfoNCE loss相关推荐

最新文章

热门文章