交叉熵(cross entropy)概念整理

网上写得实在是太乱，整理下：

交叉熵函数：
H(p,q)=Ep[−logq]=−∑x∈χp(x)logq(x)①H(p,q)=E_p[-log\ q]=-\sum_{x\in \chi}p(x)log\ q(x)①H(p,q)=Ep[−log q]=−x∈χ∑p(x)log q(x)①
xxx是某个类别
χ\chiχ是所有的类别的集合

H(p,q)=H(p)+DKL(p∣∣q)H(p,q)=H(p)+D_{KL}(p||q)H(p,q)=H(p)+DKL(p∣∣q)

DKL(p∣∣q)D_{KL}(p||q)DKL(p∣∣q)是KL散度,注意,在概念上:
DKL(p∣∣q)D_{KL}(p||q)DKL(p∣∣q) ≠ DKL(q∣∣p)D_{KL}(q||p)DKL(q∣∣p)

其中
DKL(p∣∣q)=∑x∈χp(x)⋅logp(x)q(x)D_{KL}(p||q)=\sum_{x\in \chi}p(x)·log\frac{p(x)}{q(x)}DKL(p∣∣q)=x∈χ∑p(x)⋅logq(x)p(x)

交叉熵损失函数：
L(w)=1N∑n=1NH(pn,qn)L(w)=\frac{1}{N}\sum_{n=1}^NH(p_n,q_n)L(w)=N1n=1∑NH(pn,qn)
=−1N∑n=1N[pnlogqn+(1−pn)log(1−qn)]②=-\frac{1}{N}\sum_{n=1}^N[p_nlog\ q_n+(1-p_n)log(1-q_n)]②=−N1n=1∑N[pnlog qn+(1−pn)log(1−qn)]②
这里我们稍微停一下，似乎发现①和②的形式不太一样？？？
注意②是特指二分类的形式。

qn=11+e−w⋅xnq_n=\frac{1}{1+e^{-w·x_n}}qn=1+e−w⋅xn1
www指的是该隐藏单元的输入权重，
xnx_nxn指的是与隐藏单元链接的输入值
从定义可以看到，交叉熵损失函数的值总是小于１的。

其中,
pnp_npn为真实分布，
qnq_nqn为非真实分布.

这里的NNN指的是NNN条数据，而不是NNN分类，上述公式是针对二分类的。

参考链接：
https://www.cnblogs.com/ljy2013/p/6432269.html#commentform

交叉熵(cross entropy)概念整理相关推荐

平均符号熵的计算公式_交叉熵(Cross Entropy)从原理到代码解读
交叉熵(Cross Entropy)是Shannon(香浓)信息论中的一个概念,在深度学习领域中解决分类问题时常用它作为损失函数. 原理部分:要想搞懂交叉熵需要先清楚一些概念,顺序如下:==1.自信息 ...
机器学习中交叉熵cross entropy是什么，怎么计算？
项目背景:人体动作识别(分类),CNN或者RNN网络,softmax分类输出,输出为one-hot型标签. loss可以理解为预测输出pred与实际输出Y之间的差距,其中pred和Y均为one-hot ...
【Pytorch神经网络理论篇】 21 信息熵与互信息：联合熵+条件熵+交叉熵+相对熵/KL散度/信息散度+JS散度
1 信息熵熵 (Entropy),信息熵:常被用来作为一个系统的信息含量的量化指标,从而可以进一步用来作为系统方程优化的目标或者参数选择的判据. 1.1 信息熵的性质单调性,发生概率越高的事件,其 ...
相对熵与交叉熵_详解机器学习中的熵、条件熵、相对熵、交叉熵
目录信息熵条件熵相对熵交叉熵总结一信息熵 (information entropy) 熵 (entropy) 这一词最初来源于热力学.1948年,克劳德·爱尔伍德·香农将热力学中的熵引 ...
联合熵、条件熵、互信息、相对熵、交叉熵的详解
本篇博客,我们将介绍联合熵.条件熵.互信息.相对熵.交叉熵,如果对熵的概念还有不清楚的朋友,可以看一下这一篇博客,信息熵是什么呢? https://blog.csdn.net/ding_program ...
解释机器学习中的熵、联合熵、条件熵、相对熵和交叉熵
原文地址:https://www.cnblogs.com/kyrieng/p/8694705.html 1.信息熵 (information entropy) 熵 (entropy) 这一词最初来源于 ...
python3 23.keras使用交叉熵代价函数进行MNIST数据集简单分类学习笔记
文章目录前言一.交叉熵代价函数简介二.交叉熵代价函数使用前言计算机视觉系列之学习笔记主要是本人进行学习人工智能(计算机视觉方向)的代码整理.本系列所有代码是用python3编写,在平台Ana ...
详解机器学习中的熵、条件熵、相对熵、交叉熵
欢迎大家关注我们的网站和系列教程:http://www.tensorflownews.com/,学习更多的机器学习.深度学习的知识! 目录信息熵条件熵相对熵交叉熵总结一信息熵 (info ...
熵，信息熵，香农熵，微分熵，交叉熵，相对熵
2019-07-13 https://blog.csdn.net/landstream/article/details/82383503 https://blog.csdn.net/pipisorry ...

交叉熵(cross entropy)概念整理

交叉熵(cross entropy)概念整理相关推荐

最新文章

热门文章