联合熵、条件熵、互信息、相对熵、交叉熵的详解

本篇博客，我们将介绍联合熵、条件熵、互信息、相对熵、交叉熵，如果对熵的概念还有不清楚的朋友，可以看一下这一篇博客，信息熵是什么呢？

https://blog.csdn.net/ding_programmer/article/details/89785319

联合熵

两个离散随机变量 $X$ 和 $Y$ 的联合概率分布函数为 $p(x,y)$ ，则联合熵 (Joint Entropy) 为：

$H(X,Y)=- \sum_{x\in X}\ \sum_{y \in Y}\rm p(x,y)\mathrm{log}p(x,y)$

联合熵实际上就是描述一对随机变量平均所需要的信息熵。

条件熵

条件熵 (Conditional Entropy) $H(Y|X)$ 表示在已知随机变量 $X$ 的条件下随机变量 $Y$ 的不确定性。

$H(Y|X)=\sum_{x\in X}\ \sum_{y\in Y}\rm p(x,y)logp(y|x)$

条件熵和联合熵之间的关系 :

$H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)$

互信息

两个离散随机变量 $X$ 和 $Y$ 的互信息 (Mutual Information) 为：

$I(X,Y)=H(X)+H(Y)-H(X,Y)$ 或者 $I(X,Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)$

上述公式的推导可以从Vnn 图中看出来

比较有意思的是;

$H(X)=H(X)-H(X|X)=I(X,X)$

这就是为什么熵叫作自信息了，另一方面说明了两个完全相互依赖的变量之间的互信息并不是一个常量，而是取决于它们的熵。由此可见互信息其实是度量两个随机变量之间的统计相关性。

相对熵

相对熵 (Relative Entropy) 也称 KL 距离，设 $p(x),\ q(x)$ 是离散随机变量 $X$ 的两个概率分布，则 $p(x)$ 对 $q(x)$ 的相对熵是

$D(p || q) =\sum_{x \in X}\rm p(x) log{\frac{p(x)}{q(x)}}$

其中 $\rm 0log(0/q)=0,\ plog(p/0)= \infty$

交叉熵

交叉熵是用来衡量估计模型于真实概率分布之间差异情况的。如果一个随机变量 $X\sim p(x),q(x)$ 为用于近似 $p(x)$ 的概率分布，那么 $X$ 和模型 $q(x)$ 之间的交叉熵 (cross entropy) 可以定义为

$H(X,q)=H(x)+D(p||q) = -\sum_x \rm p(x) logq(x)$

可以看出估计模型 $q(x)$ 和真实模型 $p(x)$ 之间的差异。

联合熵、条件熵、互信息、相对熵、交叉熵的详解相关推荐

信息论复习笔记（1）：信息熵、条件熵，联合熵，互信息、交叉熵，相对熵
文章目录 1.1 信息和信息的测量 1.1.1 什么是信息 1.1.1 信息怎么表示 1.2 信息熵 1.3 条件熵和联合熵 The Chain Rule (Relationship between ...
自信息/熵/联合熵/条件熵/相对熵/交叉熵/互信息及其相互之间的关系
[深度学习基础]:信息论(一)_自信息/熵/联合熵/条件熵/相对熵/交叉熵/互信息及其相互之间的关系_bqw的博客-CSDN博客详解机器学习中的熵.条件熵.相对熵和交叉熵 - 遍地胡说 - 博客园
平均符号熵的计算公式_交叉熵(Cross Entropy)从原理到代码解读
交叉熵(Cross Entropy)是Shannon(香浓)信息论中的一个概念,在深度学习领域中解决分类问题时常用它作为损失函数. 原理部分:要想搞懂交叉熵需要先清楚一些概念,顺序如下:==1.自信息 ...
LESSON 10.110.210.3 SSE与二分类交叉熵损失函数二分类交叉熵损失函数的pytorch实现多分类交叉熵损失函数
在之前的课程中,我们已经完成了从0建立深层神经网络,并完成正向传播的全过程.本节课开始,我们将以分类深层神经网络为例,为大家展示神经网络的学习和训练过程.在介绍PyTorch的基本工具AutoGrad ...
【交叉熵损失函数】关于交叉熵损失函数的一些理解
目录 0. 前言 1.损失函数(Loss Function) 1.1 损失项 1.2 正则化项 2. 交叉熵损失函数 2.1 softmax 2.2 交叉熵 0. 前言有段时间没写博客了,前段时间主 ...
交插二五条码(交叉25码)详解
交插二五条码(交叉25码)详解交叉二五码是1972年美国Intermec公司发明的一种条.空均表示信息的连续型.非定长.具有自校验功能的双向条码.它的字符集为数字字符0~9.初期广泛应用于仓储及重工 ...
【知识建设】信息熵、条件熵、互信息、交叉熵及相对熵（KL散度）
一.信息熵 1. 定义衡量一个随机变量 X X X的信息量,用 H H H表示根据这个定义,这应该是个不确定的值(随机变量是变化的),而数学上使用期望来将这种不确定性量化: H = ∑ x ∈ X ...
交叉熵损失函数公式_交叉熵损失函数对其参数求导
1.Sigmoid 二分类交叉熵交叉熵公式: 其中y是laebl:0 或1. hθ(xi)是经过sigmoid得到的预测概率.θ为网络的参数, m为样本数. hθ()函数如下所示, J(θ) 对参数 ...
交叉熵损失函数分类_交叉熵损失函数
我们先从逻辑回归的角度推导一下交叉熵(cross entropy)损失函数. 从逻辑回归到交叉熵损失函数这部分参考自 cs229-note1 part2. 为了根据给定的预测 (0或1),令假设函 ...
交叉熵损失函数优缺点_交叉熵损失函数
交叉熵代价函数(Cross-entropy cost function)是用来衡量人工神经网络(ANN)的预测值与实际值的一种方式.与二次代价函数相比,它能更有效地促进ANN的训练.在介绍交叉熵代价函 ...

联合熵、条件熵、互信息、相对熵、交叉熵的详解

联合熵

条件熵

互信息

相对熵

交叉熵

联合熵、条件熵、互信息、相对熵、交叉熵的详解相关推荐

最新文章

热门文章