神经网络 Log-Sum-Exp

参考：https://blog.csdn.net/zziahgf/article/details/78489562

pytorch:

def log_sum_exp(x):"""Utility function for computing log_sum_exp while determiningThis will be used to determine unaveraged confidence loss acrossall examples in a batch.Args:x (Variable(tensor)): conf_preds from conf layers"""x_max = x.data.max()return torch.log(torch.sum(torch.exp(x-x_max), 1, keepdim=True)) + x_max

假设 NN 个值的数据集 {xn}Nn=1{xn}n=1N，需要计算的值为：

z=log∑Nn=1exp{xn}z=log∑n=1Nexp{xn}

当采用 softmax 对 multinomial 分布进行参数化时，比如，logistic 回归和有多于 2 个无序类别时，这种计算经常出现.

如果想要计算 log likehood，由于存在归一化常数，也会看到这种表达式.

直接进行计算，则是灾难性的，因为存在下溢(underflow) 和上溢(overflow)，取决于 xnxn 的尺度(sc

神经网络 Log-Sum-Exp相关推荐

CVX使用CVXQUAD替换CVX中的log、exp等函数
CVX中涉及log.exp.熵的函数都是使用的连续逼近方法来近似原函数,这种逼近慢且精度不高,可能会导致结果出现failed.Inaccurate等情况,导致结果不准确,甚至出现Nan,CVX本身也会 ...
对数与指数操作:pow,log,sqrt,exp
Python内容的x**y可以进行指数运算,比如2**3=8.有时候我们需要以参数的方式进行指数计算,这时我们可以使用pow函数,比如: import math for x ,y in [ ( ...
Log sum inequalit 对数和不等式的证明
学信息论的过程中遇到这个不等式: 但是证明过程看不懂,在网上找了很久,发现并没有太多相关的内容. 所以只能硬着头皮继续理解,好不容易有点灵感了,赶紧记录下来,同时希望能帮到也在苦苦寻找证明过程的小伙伴 ...
pytorch BiLSTM+CRF代码详解重点
一. BILSTM + CRF介绍 https://www.jianshu.com/p/97cb3b6db573 1.介绍基于神经网络的方法,在命名实体识别任务中非常流行和普遍. 如果你不知道Bi- ...
PyTorch 高级实战教程：基于 BI-LSTM CRF 实现命名实体识别和中文分词
20210607 https://blog.csdn.net/u011828281/article/details/81171066 前言:译者实测 PyTorch 代码非常简洁易懂,只需要将中文分词 ...
小米语音首席科学家Daniel Povey：下一代Kaldi将走向何方？
如果你曾为<十面埋伏>中章子怡"听音辨鼓"的神技所惊艳,那么你也许就会被语音识别工具Kaldi的神通广大所倾倒.作为当前最流行的开源语音识别开发框架,Kaldi集成了多 ...
Tensorflow一些常用基本概念与函数（1）
1.tensorflow的基本运作为了快速的熟悉TensorFlow编程,下面从一段简单的代码开始: import tensorflow as tf#定义'符号'变量,也称为占位符a = tf.pl ...
生成对抗网络gan原理_生成对抗网络（GAN）的半监督学习
前言如果您曾经听说过或研究过深度学习,那么您可能就知道MNIST, SVHN, ImageNet, PascalVoc或者其他数据集.这些数据集都有一个共同点: 它们由成千上万个有标签的数据组成. ...
Tensorflow一些常用基本概念与函数
参考文献 Tensorflow一些常用基本概念与函数 http://www.cnblogs.com/wuzhitj/archive/2017/03.html Tensorflow笔记:常用函数说明: ...
Tensorflow常用函数汇总
转载自:http://blog.csdn.net/lenbow/article/details/52152766 1.tensorflow的基本运作为了快速的熟悉TensorFlow编程,下面从一段 ...

神经网络 Log-Sum-Exp

神经网络 Log-Sum-Exp相关推荐

最新文章

热门文章