交叉熵损失函数权重计算

交叉熵损失函数

torch.nn.CrossEntropyLoss(weight=None, size_average=None, ignore_index=-
100, reduce=None, reduction='elementwise_mean')

weight为每个类别的loss设置权重，常用于类别不均衡的问题，weight的数据类型必须是float的tensor,其个数要与分类的类别个数一致（其他参数不介绍）

weight的计算方法经常使用median frequency balancing，假设有五个类别的分类。那么每个类别都要计算一个频率，以第一类别为例，其计算公式为 $freq(1)=\frac{a}{b}$

上面式子中的a表示第一个类别的像素个数，b代表所有包含第一类的照片中的像素个数

（例如100张图片中有80张包含第一类，那么a就是这80张里面属于第一个类别的像素总数，b就是80张图片的像素总数）

按照上面的说法五个类别可以计算出五个数字，然后排成一列，找到这5个数字的中值median_freq，然后使用这个中值依次除以上述五个数，得到的新的五个数字就是五个权重。

交叉熵损失函数权重计算相关推荐

交叉熵损失函数优缺点_【损失函数】常见的损失函数(loss function)总结
阅读大概需要7分钟跟随小博主,每天进步一丢丢机器学习算法与自然语言处理出品 @公众号原创专栏作者 yyHaker 单位 | 哈工大SCIR实验室损失函数用来评价模型的预测值和真实值不一样的程度, ...
一文读懂交叉熵损失函数
进行二分类或多分类问题时,在众多损失函数中交叉熵损失函数较为常用. 下面的内容将以这三个问题来展开什么是交叉熵损失以图片分类问题为例,理解交叉熵损失函数从0开始实现交叉熵损失函数 1,什么是交叉 ...
[TensorFlow] 交叉熵损失函数，加权交叉熵损失函数
写在前面在文章[TensorFlow] argmax, softmax_cross_entropy_with_logits, sparse_softmax_cross_entropy_with_lo ...
损失函数｜交叉熵损失函数
看完文章,希望你能顺利回答以下题目: 题目1:这个任务,你会使用什么损失函数? 题目2: 交叉熵表达式? 题目3:为什么使用交叉熵?能不能用MSE? 题 ...
交叉熵损失函数原理详解，KL散度
https://blog.csdn.net/b1055077005/article/details/100152102 https://blog.csdn.net/tsyccnh/article/de ...
损失函数 - 交叉熵损失函数
Cross Entropy Error Function(交叉熵损失函数) 例子表达式函数性质学习过程优缺点这篇文章中,讨论的Cross Entropy损失函数常用于分类问题中,但是为什么它 ...
Lesson 4.2 逻辑回归参数估计：极大似然估计、相对熵与交叉熵损失函数
文章目录一.逻辑回归参数估计基本思路 1. 构建损失函数 2. 损失函数求解二.利用极大似然估计进行参数估计三.熵.相对熵与交叉熵 1. 熵(entropy)的基本概念与计算公式 2. 熵的基本 ...
交叉熵损失函数和NLL_loss
目录 1.交叉熵损失函数的计算过程: 2.交叉熵损失函数的公式: 3.NLL loss(负对数似然函数损失) 4.NLL_Loss和交叉熵损失函数关系 1.交叉熵损失函数的计算过程: 交叉熵损失函数经 ...
交叉熵损失函数原理详解
交叉熵损失函数原理详解之前在代码中经常看见交叉熵损失函数(CrossEntropy Loss),只知道它是分类问题中经常使用的一种损失函数,对于其内部的原理总是模模糊糊,而且一般使用交叉熵作为损失函 ...
史上最全交叉熵损失函数详解
在我们自学神经网络神经网络的损失函数的时候会发现有一个思路就是交叉熵损失函数,交叉熵的概念源于信息论,一般用来求目标与预测值之间的差距.比如说我们在人脑中有一个模型,在神经网络中还有一个模型,我们需要 ...

交叉熵损失函数权重计算

交叉熵损失函数权重计算相关推荐

最新文章

热门文章