自适应权重的交叉熵计算

在训练集中类别不平衡的情况下，可对不同类别赋予不同的权重。有采用固定权重，也有实时计算权重。

在这里，介绍一种自适应权重的计算方法，参考论文《ENet: A Deep Neural Network Architecture for Real-time Semantic Segmentation》。

对类别的权重定义如下：

$w_{class} = \frac{1}{ln(c + p_{class})}$

其中，c是一个超参数，设为1.02， $p_{class}$ 是该类样本所占的比例。最后，将 $w_{class}$ 限制在[1.0,50]的范围内。

本人实验中，在类别不平衡的情况下（达到了30:1），在一个batch内，采用上述公式计算类别权重，与固定权重相比，最终的F1从百分之九十五点几上升到百分之九十六点几。

用pytorch接口

loss = F.cross_entropy(logits,gt,weight=weight)

其中，weight为上述公式计算出来的权重。

（PS：以此记录，便于查阅）

自适应权重的交叉熵计算相关推荐

多分类问题的交叉熵计算
多分类问题的交叉熵在多分类问题中,损失函数(loss function)为交叉熵(cross entropy)损失函数.对于样本点(x,y)来说,y是真实的标签,在多分类问题中,其取值只可能为标 ...
机器学习中交叉熵cross entropy是什么，怎么计算？
项目背景:人体动作识别(分类),CNN或者RNN网络,softmax分类输出,输出为one-hot型标签. loss可以理解为预测输出pred与实际输出Y之间的差距,其中pred和Y均为one-hot ...
交叉熵(cross_entropy)作为损失函数在神经网络中的作用
交叉熵的作用通过神经网络解决多分类问题时,最常用的一种方式就是在最后一层设置n个输出节点神经网络解决多分类问题最常用的方法是设置n个输出节点,其中n为类别的个数.对于每一个样例,神经网络可以得到的 ...
交叉熵【度量两个概率分布间的差异性信息】
参考:交叉熵_百度百科交叉熵(Cross Entropy)是信息论中一个重要概念,主要用于度量两个概率分布间的差异性信息.语言模型的性能通常用交叉熵和复杂度来衡量.交叉熵的意义是用该模型对文本识别的 ...
机器学习优化中的交叉熵及改进形式
机器学习优化中的交叉熵及改进形式 [摘要]目前分类问题广泛的应用到我们的实际生活中[1],因而我们应该研究如何分类,研究它的算法.交叉熵通常在机器学习的分类问题中用作损失函数来判断分类模型的优劣, ...
交叉熵三连(3)——交叉熵及其使用
相关文章: 交叉熵三连(1)--信息熵交叉熵三连(2)--KL散度(相对熵) 交叉熵三连(3)--交叉熵及其使用在神经网络中,我们经常使用交叉熵做多分类问题和二分类的损失函数,在通过前面的两篇 ...
神经网络学习中的SoftMax与交叉熵
简介: 对于在深度学习中的两个常见的函数SoftMax,交叉熵进行的探讨.在利用paddle平台中的反向求微分进行验证的过程中,发现结果与数学定义有差别.具体原因还需要之后进行查找. 关键词: 交 ...
深度学习中softmax交叉熵损失函数的理解
1. softmax层的作用通过神经网络解决多分类问题时,最常用的一种方式就是在最后一层设置n个输出节点,无论在浅层神经网络还是在CNN中都是如此,比如,在AlexNet中最后的输出层有1000个节 ...
机器学习常见损失函数，二元交叉熵，类别交叉熵，MSE，稀疏类别交叉熵
一损失函数介绍损失函数用于描述模型预测值与真实值的差距大小.一般有有两种常见的算法--均值平方差(MSE)和交叉熵.下面来分别介绍每个算法的具体内容. 1 均值平方差均值平方差(Mean Squ ...
Lesson 4.2 逻辑回归参数估计：极大似然估计、相对熵与交叉熵损失函数
文章目录一.逻辑回归参数估计基本思路 1. 构建损失函数 2. 损失函数求解二.利用极大似然估计进行参数估计三.熵.相对熵与交叉熵 1. 熵(entropy)的基本概念与计算公式 2. 熵的基本 ...

自适应权重的交叉熵计算

自适应权重的交叉熵计算相关推荐

最新文章

热门文章