经验条件熵公式的推导

$H(D|A=a_i)$ 李航《统计学习方法》中，P62页公式5.8：

计算特征A对数据集D的经验条件熵 $H(D|A)$ :

$H(D|A)=\sum_{i=1}^{n}\frac{D_i}{D}H(D_i)=-\sum_{i=1}^{n}\frac{|D_i|}{|D|}\sum_{k=1}^{K}\frac{|D_{ik}|}{|D_i|}{log_{2}}^{\frac{|D_{ik}|}{|D_i|}}$

此处，给出条件熵（ $H(Y|X)$ ）的定义:X给定条件下Y的条件概率分布的熵对X的数学期望：

$H(Y|X)=\sum_{i=1}^{n}P_iH(Y|X=x_i)$

在书中P61页下方给出了各类的定义：

设训练数据集为D， $|D|$ 表示样本容量，即样本个数，设有K个类 $C_k$ ， $k=1,2,...,K$ 。 $|C_k|$ 为属于类 $C_k$ 的样本个数， $\sum_{k=1}{K}|C_k|=|D|$ ，设特征A有n个不同的取值{ $a_1,a_2,.....,a_n$ },根据特征A的取值将D划分为n个子集 $D_1,D_2,...D_n$ ， $|D_i|$ 为 $D_i$ 的样本个数， $\sum_{i=1}^{n}|D_i|=|D|$ ，记子集 $D_i$ 中属于类 $C_k$ 的样本的集合为 $D_{ik}$ ，即 $D_{ik}=D_i\cap C_k$ ， $|D_{ik}|$ 为 $D_{ik}$ 的样本个数。

那么，对于 $H(D|A)$ ，其变形过程如下：

$H(D|A)=\sum_{i=1}^{n}p_iH(D|A=a_i)$

式中， $P_i$ 为按P60页给出的定义：

设 $X$ 是一个取有限个值的离散随机变量，其概率分布为 $P(X=x_i)=p_i,i=1,2,3....,n$

这说明 $P_i$ 是数据集 $D$ 按照特征A分类成了 $n$ 类并由此计算其中的第 $i$ 类的概率分布。

对于 $H(D|A=a_i)$ ，它的含义是特征A取值 $a_i$ 时的条件下，D的条件概率分布的熵。D是整个数据集，在 $A=a_i$ 时就是上方所述的P61页给出的 $D_i$ 定义，所以特征A取值 $a_i$ 时的条件下D的条件概率分布的熵 $H(D|A=a_i)=H(D_i)$ 。

$H(D_i)$ 表示由特征A对数据集D划分后形成的 $D_i$ 子数据集的熵。那么：

$H(D_i)=-\sum_{k=1}^{K}p_k{log_{2}}^{p_k}$ ,

其中 $p_k$ 是 $D_i$ 中属于第k类的概率，即：

$p_k=\frac{|D_{ik}|}{|D_i|}$

最终可得：

$H(D|A)=\sum_{i=1}^{n}\frac{D_i}{D}H(D_i)=-\sum_{i=1}^{n}\frac{|D_i|}{|D|}\sum_{k=1}^{K}\frac{|D_{ik}|}{|D_i|}{log_{2}}^{\frac{|D_{ik}|}{|D_i|}}$

因此，经验条件熵的求解步骤：

确定特征A；
根据特征A对数据集划分获取子集，计算子集的经验熵并求和；
1. 对子集 $D_i$ 分类（此处分类是按类别分，不是按特征分），获取各类对应的集合 $D_{ik}$ ；
2. 由上一步的 $D_{ik}$ 和 $D_i$ 计算第 $k$ 类在子集 $D_i$ 中的概率分布 $|D_{ik}|/|D_i|$ ；
3. 按公式计算出子集 $D_i$ 的经验熵；
求子集 $D_i$ 对于数据集 $D$ 的概率分布 $p_i$ ；
步骤2、3中的数据对应相乘后相加。

经验条件熵公式的推导相关推荐

视频教程-小白学习课程：梯度下降算法与公式详细推导-深度学习
小白学习课程:梯度下降算法与公式详细推导国内"双一流"大学博士研究生,计算机专业,研究方向和兴趣包括人工智能,深度学习,计算机视觉,群体智能算法,元胞自动机等,愿意分享自己的技术 ...
kalman滤波器公式的推导
卡尔曼滤波的使用范围: 该系统要有如下关系: 计算步骤: PART0:INI PART1:Time update 迭代的目标:从X(K-1)+ 求得X(K) + 因此,先有X(K-1)+,已知F,G. ...
matlab三角函数降次,三角函数降次公式及推导过程
三角函数中的降次幂公式可降低三角函数指数幂.多项式各项的先后按照某一个字母的指数逐渐减少的顺序排列,叫做这一字母的降次.接下来分享三角函数降次公式及推导过程. 三角函数降次公式 sin²α=(1-co ...
梯度下降法参数更新公式的推导
梯度下降法参数更新公式的推导先来回顾一下梯度下降法的参数更新公式: (其中,α是学习速率,是梯度) 这个公式是怎么来的呢?下面进行推导: 首先,如果一个函数 n 阶可导,那么我们可以用多项式仿造一个 ...
Batch Normalization 反向传播（backpropagation ）公式的推导
What does the gradient flowing through batch normalization looks like ? 反向传播梯度下降权值参数更新公式的推导全依赖于复合函数求 ...
二维随机变量函数卷积公式的推导
二维随机变量函数卷积公式的推导 @(概率论) 给定Z=g(x,y)Z = g(x,y) 通常需要求FZ(z),fZ(z)F_Z(z),f_Z(z) 这里是由两个变元依据关系映射到一个变元,因此,求得F ...
圆锥曲线万能弦长公式_圆锥曲线的弦长公式及其推导过程
<圆锥曲线的弦长公式及其推导过程>由会员分享,可在线阅读,更多相关<圆锥曲线的弦长公式及其推导过程(5页珍藏版)>请在人人文库网上搜索. 1.圆锥曲线的弦长公式及其推导过程关于 ...
梅森公式的推导和探究
梅森公式的推导(篇三):梅森公式的推导和探究写在前: 本篇是<梅森公式的推导>的篇三,我的个人探究部分,尝试了梅森公式的推导和探究.篇一认识信号流图介绍了信号流图的基本概念和简单形式 ...
阿贝不变量等三个重要公式的推导
近轴光学系统中物体近似的可以成完善像. 根据上图,单折射球面光路示意图,可知近轴光学系统时,-u,u',i,i' ,h等都非常小. 满足h=lu=l'u': 根据三角形角度关系可知: 下面将开始推导第 ...
递推最小二乘法RLS公式详细推导
递推最小二乘法RLS公式详细推导整理递推最小二乘法推导过程自我整理. 递推最小二乘估计(RLS)作为一种估计方式是在最小二乘法(LS)的基础上发展来的. 最小二乘法可以解决的问题是不需要知道先验的概 ...

经验条件熵公式的推导

经验条件熵公式的推导相关推荐

最新文章

热门文章