Cross-entropy 和 Binary cross-entropy
Cross-entropy 实际上是 目标概率向量和预测概率向量的比较。
假设target向量[1, 0, 0] 代表狗(狗的概率是1,其它的概率全为0)
向量[0, 1, 0] 代表猫
向量[0, 0, 1] 代表熊猫
每张图片只能是上面三种中的一种, 那么 target向量就是目标概率向量。
举个例子，算loss
一张狗的图片（[1,0,0]）经过网络模型后得到一个向量[0.6, 0.3, - 0.1],再经过一次softmax变成预测的概率向量[0.5, 0.3, 0.2]
目标概率向量和预测概率向量通过下面公式进行比较
=-(1*log(0.5) + 0*log(0.3) + 0 *log(0.2))
可以看出预测概率向量越接近目标概率向量,cross-entropy的值越小。
Binary cross-entropy 是 Cross-entropy 的一种特殊情况,
当目标的取之只能是0 或 1的时候使用。
比如预测图片是不是熊猫,1代表是,0代表不是。
图片经过网络模型后得到一个数值15,经过sigmoid激活后变成在[0,1)范围内的一个概率值0.8。
那么target是1, 和预测值0.8如何利用 Cross-entropy来比较呢?Cross-entropy是用来比较概率向量的,
把数值转换成概率向量就可以了。
1 转换成 [1,0], 0.8转换成[0.8, 0.2],再代入 Cross-entropy的公式就可以了,
Cross-entropy = -(1 * log(0.8) + 0 * log(0.2))
OK啦!
Cross-entropy 和 Binary cross-entropy相关推荐
- 快速理解binary cross entropy 二元交叉熵
Binary cross entropy 二元交叉熵是二分类问题中常用的一个Loss损失函数,在常见的机器学习模块中都有实现.本文就二元交叉熵这个损失函数的原理,简单地进行解释. 首先是二元交叉熵的公 ...
- Binary Cross Entropy真的适合多标签分类吗？
个人曾在负责一个多标签文本分类项目时对于多标签分类(multi-label classification)的loss选择.forward尾层处理感到迷惑,当时查找了一下资料确定了一种方案: 1.以类别 ...
- Binary Cross Entropy
参考Understanding binary cross-entropy / log loss 一.Introduction 训练一个二元分类器( binary classifier)的时候,往往会用 ...
- smooth l1(huber)+binary cross entropy详解（tensorflow+pytorch）
前言 上篇讲到yolo v2 loss中使用了两个loss分别时wh使用的smoothl1 loss以及其他的BCEloss,这里做个扩展介绍,并对比pytorch以及tensorflow的api接口 ...
- 交叉验证 cross validation 与 K-fold Cross Validation K折叠验证
交叉验证,cross validation是机器学习中非常常见的验证模型鲁棒性的方法.其最主要原理是将数据集的一部分分离出来作为验证集,剩余的用于模型的训练,称为训练集.模型通过训练集来最优化其内部参 ...
- c语言cross函数什么意思,cross c.
相关文献 In order to make full use of Polycrystalline materials and to extend their ap-Plied field,the f ...
- AAAI 2019 Oral | 把Cross Entropy梯度分布拉‘平’，就能轻松超越Focal Loss
单阶段物体检测(One-stage Object Detection)方法在模型训练过程中始终面临着样本分布严重不均衡的问题,来自香港中文大学的研究者们在论文 Gradient Harmonized ...
- 卷积神经网络系列之softmax，softmax loss和cross entropy
全连接层到损失层间的计算 先理清下从全连接层到损失层之间的计算. 这张图的等号左边部分就是全连接层做的事,W是全连接层的参数,我们也称为权值,X是全连接层的输入,也就是特征. 从图上可以看出特征X是N ...
- 卷积神经网络系列之softmax，softmax loss和cross entropy的讲解
我们知道卷积神经网络(CNN)在图像领域的应用已经非常广泛了,一般一个CNN网络主要包含卷积层,池化层(pooling),全连接层,损失层等.虽然现在已经开源了很多深度学习框架(比如MxNet,Caf ...
- softmax，softmax loss和cross entropy
我们知道卷积神经网络(CNN)在图像领域的应用已经非常广泛了,一般一个CNN网络主要包含卷积层,池化层(pooling),全连接层,损失层等.虽然现在已经开源了很多深度学习框架(比如MxNet,Caf ...
最新文章
- 文件数据分析制作过程【1】
- TreeView获取目录下的所有文件
- ASP.NET MVC 使用 FluentScheduler 定时器计划任务
- 把数据存入excel文件_Python从原Excel表中抽出数据存入同一文件的新的Sheet(实例53)...
- 从Banner入手保护linux系统服务器
- web开发者工具，你必须知道的CSS盒模型，架构师必备！
- 空间金字塔池化_回顾语义分割—DenseASPP （密集空洞空间金字塔池化）
- ansible 循环与条件判断when
- 吴恩达深度学习笔记 第二章作业1
- 四川信息职业技术学院2019考纲复习
- 13. Blade 模板引擎
- cn域名注册国外_国内注册域名有什么规则？有什么要求？
- android图片添加文字,Android给图片加文字和图片水印
- 代理服务器proxy server
- 并查集+思维——Destroying Array
- win10系统桌面图标变为白色方框和去除桌面图标快捷方式小箭头的方法
- 去除页眉横线快准狠的3个方法，就喜欢这么简单粗暴的操作！
- Python判断字符串是否以字母开头
- 微信支付/退费（服务商）模式
- 最新计算机技能需求排名Python第三，谁是第一？俄罗斯实现最强读心术