交叉熵损失函数优缺点_如何简单通俗的理解交叉熵损失函数?
前面小编给大家简单介绍过损失函数,今天给大家继续分享交叉熵损失函数,直接来看干货吧。
一、交叉熵损失函数概念
交叉熵损失函数CrossEntropy Loss,是分类问题中经常使用的一种损失函数。公式为:
接下来了解一下交叉熵:交叉熵Cross Entropy,是Shannon信息论中一个重要概念,主要用于度量两个概率分布间的差异性信息。在信息论中,交叉熵是表示两个概率分布p,q,其中p表示真实分布,q表示非真实分布,在相同的一组事件中,其中,用非真实分布q来表示某个事件发生所需要的平均比特数。
交叉熵的计算方式如下:
交叉熵可在机器学习中作为损失函数,p代表真实标记的分布,q则代表训练后的模型的预测标记分布,交叉熵损失函数可以衡量p与q的相似性。交叉熵作为损失函数还有一个好处是:使用sigmoid函数在梯度下降时,可以避免均方误差损失函数学习速率下降的问题,这是因为学习速率是能够被输出的误差所控制的。
二、交叉熵损失函原理
一般我们学习交叉熵损失函数是在二元分类情况下,就比如逻辑回归「Logistic Regression」、神经网络「Neural Network」等,其真实样本的标签为 [0.1],分别表示负类和正类。模型的最后通常会经过一个 Sigmoid 函数,输出一个概率值,这个概率值反映了预测为正类的可能性:概率越大,可能性越大。
其中s是模型上一层的输出,sigmoid函数有这样的特点:s = 0 时,g(s) = 0.5; s >> 0 时,g ≈ 1.s << 0 时,g ≈ 0.显然,g(s) 将前一级的线性输出映射到[0. 1]之间的数值概率上,这里g(s)就是交叉熵公式中的模型预测输出。
预测输出也就是, Sigmoid 函数的输出,表示当前样本标签为 1 的概率:
y^=P(y=1|x)
那么,当前样本标签为 0 的概率就可以表示为:
1−y^=P(y=0|x)
从极大似然性的角度考虑,将上面两种情况进行整合:
也就是:
当真实样本标签 y = 0 时,上面式子第一项就为 1.概率等式转化为:
P(y=0|x)=1−y^
当真实样本标签 y = 1 时,上面式子第二项就为 1.概率等式转化为:
P(y=1|x)=y^
这两种情况下的概率表达式跟原来的完全相同,只是将两种情况进行了整合。
接下来我们重点看一下整合之后的概率表达式,概率 P(y|x) 越大越好。因为 log 运算并不会影响函数本身的单调性,所以 将log 函数引入P(y|x)。于是就有:
log P(y|x)=log(y^y⋅(1−y^)1−y)=ylog y^+(1−y)log(1−y^)
log P(y|x) 越大越好,反过来说也就是,只需要 log P(y|x) 的负值 -log P(y|x) 越小就可以了。引入损失函数,而且使得 Loss = -log P(y|x)即可。那么就能得到损失函数为:
如果是计算N个样本的总损失函数的情况,则只需要将N个Loss叠加起来
三、交叉熵损失函数的优缺点分析
1.使用逻辑函数得到概率,并结合交叉熵当损失函数时,当模型效果差的时,学习速度较快,模型效果好时,学习速度会变慢。
2.采用了类间竞争机制,比较擅长于学习类间的信息,但是只关心对于正确标签预测概率的准确性,而忽略了其他非正确标签的差异,从而导致学习到的特征比较散。
以上就是小编今天跟大家分享的关于交叉熵损失函数概念和原理的相关介绍,希望对于大家有所帮助。
完 谢谢观看
交叉熵损失函数优缺点_如何简单通俗的理解交叉熵损失函数?相关推荐
- 交叉熵损失函数优缺点_【损失函数】常见的损失函数(loss function)总结
阅读大概需要7分钟 跟随小博主,每天进步一丢丢 机器学习算法与自然语言处理出品 @公众号原创专栏作者 yyHaker 单位 | 哈工大SCIR实验室 损失函数用来评价模型的预测值和真实值不一样的程度, ...
- 交叉熵损失函数优缺点_交叉熵损失函数的优点(转载)
第一篇: 利用一些饱和激活函数的如sigmoid激活时,假如利用均方误差损失,那么损失函数向最后一层的权重传递梯度时,梯度公式为 可见梯度与最后一层的激活函数的导数成正比,因此,如果起始输出值比较大, ...
- 一文搞懂交叉熵在机器学习中的使用,透彻理解交叉熵背后的直觉
关于交叉熵在loss函数中使用的理解 交叉熵(cross entropy)是深度学习中常用的一个概念,一般用来求目标与预测值之间的差距.以前做一些分类问题的时候,没有过多的注意,直接调用现成的库,用起 ...
- 交叉熵损失函数优缺点_交叉熵损失函数
交叉熵代价函数(Cross-entropy cost function)是用来衡量人工神经网络(ANN)的预测值与实际值的一种方式.与二次代价函数相比,它能更有效地促进ANN的训练.在介绍交叉熵代价函 ...
- 交叉熵损失函数分类_交叉熵损失函数
我们先从逻辑回归的角度推导一下交叉熵(cross entropy)损失函数. 从逻辑回归到交叉熵损失函数 这部分参考自 cs229-note1 part2. 为了根据给定的 预测 (0或1),令假设函 ...
- 深刻理解交叉熵损失函数
说起交叉熵损失函数「Cross Entropy Loss」,脑海中立马浮现出它的公式: 我们已经对这个交叉熵函数非常熟悉,大多数情况下都是直接拿来使用就好.但是它是怎么来的?为什么它能表征真实样本标签 ...
- 平均符号熵的计算公式_交叉熵(Cross Entropy)从原理到代码解读
交叉熵(Cross Entropy)是Shannon(香浓)信息论中的一个概念,在深度学习领域中解决分类问题时常用它作为损失函数. 原理部分:要想搞懂交叉熵需要先清楚一些概念,顺序如下:==1.自信息 ...
- 量子运算 简单通俗例子_什么是量子计算机? 用一个简单的例子解释。
量子运算 简单通俗例子 by YK Sugi 由YK Sugi 什么是量子计算机? 用一个简单的例子解释. (What is a quantum computer? Explained with a ...
- yolov3损失函数改进_基于改进损失函数的YOLOv3网络
目标检测具有广阔的发展前景和巨大的商业价值, 已经成为国内外相关从业者的研究热点, 在智能安防.自动驾驶等领域具有广泛应用. 经典的目标检测方法有Dalal于2005年提出的基于HOG特征的检测方法[ ...
最新文章
- 解决:VS 2005/2008 中 fstream 不能处理带有中文路径的问题
- Python的dict字典结构操作方法学习笔记
- 【转】strlen源码
- 有效前沿—让你的投资收益最大化
- 2012中国移动社交游戏市场盈利模式探讨
- 免费c语言入门自学书籍pdf下载,c语言从入门到精通pdf
- 杂七杂八(7): win7无法安装python3
- servlet到底是什么
- 解决数据库左右连接,查询不出为空的解决方案
- 学习《医学三字经白话解》之心腹痛、胸痹
- 简单整理HTML 颜色 RGB颜色值
- excel2013 最大行数列数
- linux服务器双网卡配置,linux 关于主机服务器双网卡bond配置
- 阿里IOT云平台(二)---10分钟物联网设备接入阿里云IoT平台
- ERROR:C3848
- 入网许可证_入网许可证真伪鉴别
- 概率算法1-应用定积分计算
- Python---项目3-破解使用crypt方法加密(已加salt参数)的登录密码
- 共享电吹风的一些其它的窍门
- 016 | JavaWeb芝麻开门博客网项目源码 | 大学生毕业设计 | 极致技术工厂
热门文章
- automapper自动创建映射_AutoMapper自动映射
- SQL 多表查询去除重复
- 【Tools】i1Profiler1.7安装教程详解
- 一个将txt文件内容转换为想要的数组数据demo
- Android自定义控件之onMeasure详解
- java map怎么判断为空_java中如何判断map是否为空
- 小黑下午第一场面试被鸽,一切遇见随缘,继续第二场的leetcode之旅:654. 最大二叉树
- 豆瓣8.1分,《穿越火线》网剧能给影游联动带来哪些启示?
- 男人与女人之间灰常有趣的35条定律,太精辟鸟!
- mysql递归死循环查询_MySQL 递归查询实践总结