log_sum

log_sum_exp

scipy.misc.logsumexp函数的输入参数有(a, axis=None, b=None, keepdims=False, return_sign=False)，具体配置可参见这里，返回的值是np.log(np.sum(np.exp(a)))。
这里需要强调的是使用该函数的场景：
一般来说，该函数主要用于非常小的数值的运算（比如蒙特卡洛取样样本）。在这种情况下，将数据保持log处理是必须的。所以这时你如果想将数组中的数据累加求和就需要这样计算log(sum(exp(a)))，但这样做就会产生一些精确性的问题，而这个问题scipy.misc.logsumexp是引进解决了的，所以进行小数据求和可以直接使用scipy.misc.logsumexp函数。

def log_sum_exp(x):"""Utility function for computing log_sum_exp while determiningThis will be used to determine unaveraged confidence loss acrossall examples in a batch.Args:x (Variable(tensor)): conf_preds from conf layers"""x_max = x.data.max()return torch.log(torch.sum(torch.exp(x-x_max), 1, keepdim=True)) + x_max

log_sum_exp相关推荐

BiLSTM-CRF学习笔记（原理和理解）维特比
https://www.zhihu.com/question/20136144 维特比详解 BiLSTM-CRF 被提出用于NER或者词性标注,效果比单纯的CRF或者lstm或者bilstm效果都要好 ...
pytorch lstm crf 代码理解重点
好久没有写博客了,这一次就将最近看的pytorch 教程中的lstm+crf的一些心得与困惑记录下来. 原文 PyTorch Tutorials 参考了很多其他大神的博客,https://blog.c ...
Pytorch Bi-LSTM + CRF 代码详解
久闻LSTM + CRF的效果强大,最近在看Pytorch官网文档的时候,看到了这段代码,前前后后查了很多资料,终于把代码弄懂了.我希望在后来人看这段代码的时候,直接就看我的博客就能完全弄懂这段代码. ...
Bi-LSTM-CRF for Sequence Labeling
做了一段时间的Sequence Labeling的工作,发现在NER任务上面,很多论文都采用LSTM-CRFs的结构.CRF在最后一层应用进来可以考虑到概率最大的最优label路径,可以提高指标. 一 ...
pytorch BiLSTM+CRF代码详解重点
一. BILSTM + CRF介绍 https://www.jianshu.com/p/97cb3b6db573 1.介绍基于神经网络的方法,在命名实体识别任务中非常流行和普遍. 如果你不知道Bi- ...
高级教程: 作出动态决策和 Bi-LSTM CRF 重点
https://www.zhihu.com/question/35866596 条件随机场 CRF(条件随机场)与Viterbi(维特比)算法原理详解 https://blog.csdn.net/qq ...
pytorch实现BiLSTM+CRF用于NER(命名实体识别)
pytorch实现BiLSTM+CRF用于NER(命名实体识别) 在写这篇博客之前,我看了网上关于pytorch,BiLstm+CRF的实现,都是一个版本(对pytorch教程的翻译), 翻译得一点质 ...
pytorch版的bilstm+crf实现sequence label
在理解CRF的时候费了一些功夫,将一些难以理解的地方稍微做了下标注,隔三差五看看加强记忆, 代码是pytorch文档上的example import torch import torch.autogr ...
pytorch lstm crf 代码理解
好久没有写博客了,这一次就将最近看的pytorch 教程中的lstm+crf的一些心得与困惑记录下来. 原文 PyTorch Tutorials 参考了很多其他大神的博客,https://blog.c ...

log_sum_exp

log_sum_exp相关推荐

最新文章

热门文章