Cross Entropy Loss 交叉熵损失函数公式推导
表达式
输出标签表示为{0,1}时,损失函数表达式为:
$L = -[y log \hat{y} + (1-y)log(1- \hat{y})]$
二分类
二分类问题,假设 y∈{0,1}
正例:$P(y = 1| x) = \hat{y}$ 公式1
反例:$P(y=0|x) = 1-\hat{y}$ 公式2
联立
将上述两式连乘。
$P(y|x) = \hat{y}^{y} * (1-\hat{y})^{(1-y)}$ ;其中y∈{0,1} 公式3
当y=1时,公式3和公式1一样。
当y=0时,公式3和公式2一样。
取对数
取对数,方便运算,也不会改变函数的单调性。
$ logp(y|x) =ylog\hat{y} + (1-y)log(1-\hat{y})$ 公式4
我们希望$P(y|x)$越大越好,即让负值$-logP(y|x)$越小越好,得到损失函数为:
$L = -[y log \hat{y} + (1-y)log(1- \hat{y})]$ 公式5
参考阅读
《简单的交叉熵损失函数,你真的懂了吗?》
《确定不收藏?机器学习必备的分类损失函数速查手册》
补充
上面说的都是一个样本的时候,多个样本的表达式是:
多个样本的概率即联合概率,等于每个的乘积。
$p(y|x) = \prod _{i}^{m} p(y^{(i)}| x^{(i)})$
$log p(y|x) = \sum _{i}^{m} log p(y^{(i)}| x^{(i)})$
由公式4和公式5得到
$logp(y^{(i)}| x^{(i)}) = - L(y^{(i)}| x^{(i)})$
$ logp(y^{(i)}| x^{(i)})=-\sum _{i}^{m}L(y^{(i)}| x^{(i)}) $
加上$\frac{1}{m}$对式子进行缩放,便于计算。
Cost (min) : $J(w,b) =\frac{1}{m}\sum _{i}^{m} L(y^{(i)}| x^{(i)}) $
或者写作:
$J = - \frac{1}{m}\Sigma_{i=1}^{m}[y^{(i)} log \hat{y}^{(i)} + (1-y^{(i)})log(1- \hat{y}^{(i)})]$
扩展
交叉熵和KL散度有着密切联系。
https://blog.csdn.net/haolexiao/article/details/7014257
Cross Entropy Loss 交叉熵损失函数公式推导相关推荐
- 快速理解binary cross entropy 二元交叉熵
Binary cross entropy 二元交叉熵是二分类问题中常用的一个Loss损失函数,在常见的机器学习模块中都有实现.本文就二元交叉熵这个损失函数的原理,简单地进行解释. 首先是二元交叉熵的公 ...
- 交叉熵损失函数(Cross Entropy Loss)
基础不牢,地动山摇,读研到现在有一年多了,发现自己对很多经常打交道的知识并不了解,仅仅是会改一改别人的代码,这使我感到非常焦虑,自此开始我的打基础之路.如果博客中有错误的地方,欢迎大家评论指出,我们互 ...
- 训练分类器为什么要用cross entropy loss(交叉熵损失函数)而不能用mean square error loss(MSE,最小平方差损失函数)?
在一个人工智能群里,有人问起,训练分类器为什么要用cross entropy loss(交叉熵损失函数)而不能用mean square error loss(MSE,最小平方差损失函数)呢? 正好,在 ...
- 交叉熵损失(Cross Entropy Loss)计算过程
交叉熵损失(Cross Entropy Loss)计算过程_藏知阁-CSDN博客_交叉熵计算公式
- 广义交叉熵 GCE Generalized Cross Entropy Loss 的解释
Generalized Cross Entropy Loss for Training Deep Neural Networks with Noisy Labels 论文链接:https://arxi ...
- 人脸识别-Loss-2010:Softmax Loss(Softmax激活函数 + “交叉熵损失函数”)【样本3真实标签为c_5,则样本3的损失:loss_3=-log(\hat{y}_5^3)】
一般一个CNN网络主要包含卷积层,池化层(pooling),全连接层,损失层等. 全连接层:等号左边部分就是全连接层做的事, W W W 是全连接层的参数,我们也称为权值, X X X 是全连接层的输 ...
- 深度学习基础入门篇[五]:交叉熵损失函数、MSE、CTC损失适用于字识别语音等序列问题、Balanced L1 Loss适用于目标检测
[深度学习入门到进阶]必看系列,含激活函数.优化策略.损失函数.模型调优.归一化算法.卷积模型.序列模型.预训练模型.对抗神经网络等 专栏详细介绍:[深度学习入门到进阶]必看系列,含激活函数.优化策略 ...
- 损失函数——交叉熵损失函数(CrossEntropy Loss)
损失函数--交叉熵损失函数(CrossEntropy Loss) 交叉熵函数为在处理分类问题中常用的一种损失函数,其具体公式为: 1.交叉熵损失函数由来 交叉熵是信息论中的一个重要概念,主要用于度量两 ...
- 交叉熵损失函数优缺点_【损失函数】常见的损失函数(loss function)总结
阅读大概需要7分钟 跟随小博主,每天进步一丢丢 机器学习算法与自然语言处理出品 @公众号原创专栏作者 yyHaker 单位 | 哈工大SCIR实验室 损失函数用来评价模型的预测值和真实值不一样的程度, ...
最新文章
- 面试官扎心一问:知道 CopyOnWriteArrayList 吗?
- 堆栈中的EIP EBP ESP
- urllib.parse包学习
- pip安装 tensorflow-gpu 提示Could not install packages due to an EnvironmentError: [WinError 5] 拒绝访问
- Date Picker和UITool Bar的使用
- 起一卦,还是那个破事。还是大凶。
- 网络资产管理系统_网络版固定资产管理系统具备哪些优势?
- matlab 识别调试,有关matlab的人脸识别程序,但调试是不成功
- python中,(x for y in z for x in y)这个结构怎么理解?
- AVOD-理解系列(二)
- 人大金仓数据库Docker部署
- 中学计算机基础授课ppt,高中信息技术说课课件.ppt
- 伽罗华有限域_有限域 伽罗瓦域
- vue报错elementUI使用datepicker报错Avoid mutating a prop directly since the value will be overwritten whene
- 多线程经典问题1——主线程子线程交替问题
- win10部署docker后无法启用VMware虚拟机
- 测试部门KPI考核指标(绩效考核)
- Python图片处理模块PIL操作方法(pillow)(转载)
- python 召回率_使用sklearn获取精确性和召回率
- torch.load received a zip file
热门文章
- 94级计算机科学,清华大学计算机科学与技术系
- oracle 日志 安全审计,等保测评2.0:Oracle安全审计(下)
- linux mongodb启动_linux运维服务篇:MongoDB部署教程分享
- 迪杰斯特拉c++_常用十大算法之 其九·迪杰斯特拉算法【日后详细补充】
- 科技感十足的403html动态源码
- datatable使用groupby进行分组统计 [2]
- 说说过游戏保护(4)
- Wise Package Studio介绍
- 一起学习Windows Phone7开发(十八. Windows Phone7 Toolkit)
- WordPress 主题教程 #5c:日志元数据