Gini 系数与熵的关系

首先来看二者的基本定义：

⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪H(X)=−∑k=1KpklnpkGini(X)=∑k=1Kpk(1−pk)

\left\{ \begin{split} &H(X)=-\sum_{k=1}^Kp_k\ln p_k\\ &\text{Gini}(X)=\sum_{k=1}^Kp_k(1-p_k) \end{split} \right.

将 f(x)=−lnxf(x)=-\ln x 在 x=1x=1 处进行一阶泰勒展开（忽略高阶无穷小）：

f(x)===f(x0)+f′(x0)(x−x0)+o(⋅)f(1)+f′(1)(x−1)+o(⋅)1−x

\begin{split} f(x)=&f(x_0)+f'(x_0)(x-x_0)+o(\cdot)\\ =&f(1)+f'(1)(x-1)+o(\cdot)\\ =&1-x \end{split}

因此，熵可近似转化为：

H(X)=−∑k=1Kpklnpk=∑k=1Kpk(−lnpk)≃∑k=1Kpk(1−pk)=Gini(X)

\begin{split} H(X)=&-\sum_{k=1}^Kp_k\ln p_k=\sum_{k=1}^Kp_k\left(-\ln p_k\right)\\ &\simeq\sum_{k=1}^Kp_k\left(1-p_k\right)=\text{Gini}(X) \end{split}

Gini 系数与熵的关系相关推荐

一文理清楚：熵，条件熵，KL散度（相对熵），交叉熵，联合熵，信息增益，信息增益比，GINI系数
熵熵是表示随机变量不确定性的度量. 设 X X X是一个有N个取值有限的随机变量,其概率分布为: P ( X = i ) = p i , i = 1 , 2... N P(X=i)=p_i , i= ...
树类算法之---决策树Cart树Gini系数就算原理。
1.介绍 ID3树与CART树的区别: ID3算法中,选择的是信息增益来进行特征选择,信息增益大的特征优先选择. 而在C4.5中,选择的是信息增益比来选择特征,以减少信息增益容易选择特征值多的特征的缺 ...
我对洛伦兹曲线与GINI系数的一点看法
数据分析有时需要针对单变量进行数据描述,有时需要针对多变量之间的关系进行数据描述,洛伦兹曲线就是为描述多变量间关系而服务的.洛伦兹曲线即累计频数分布曲线,用于分析社会财富.土地.工资分配是否公平的问题 ...
分类模型的ROC曲线、AUC值、GINI系数、Lift、Gain、KS指标分别是什么？计算公式是什么？有什么意义？
分类模型的ROC曲线.AUC值.GINI系数.Lift.Gain.KS指标分别是什么?计算公式是什么?有什么意义? 目录
大白话5分钟带你走进人工智能-第二十四节决策树系列之分裂流程和Gini系数评估(3)...
第二十四节决策树系列之分裂流程和Gini系数评估(3) 上一节中我们讲解了决策树的数学表达形式,本节的话我们讲解决策树的分裂流程以及分裂条件的评估.我们基于决策树的递归表达式上: ...
KS值和GINI系数
有效性指标中的区分能力指标: KS(Kolmogorov-Smirnov):KS用于模型风险区分能力进行评估, 指标衡量的是好坏样本累计分部之间的差值. 好坏样本累计差异越大,KS指标越大,那么模 ...
【模型区分度】神秘的KS值和GINI系数
有效性指标中的区分能力指标: KS(Kolmogorov-Smirnov):KS用于模型风险区分能力进行评估, 指标衡量的是好坏样本累计分部之间的差值. 好坏样本累计差异越大,KS指标越大,那么模型的 ...
熵速率定义与各类熵的关系
本专栏包含信息论与编码的核心知识,按知识点组织,可作为教学或学习的参考.markdown版本已归档至[Github仓库:information-theory],需要的朋友们自取.或者公众号[AISha ...
Theil指数和Gini系数在经济空间差异中的作用
目录一.Theil指数 1.相关定义 2.相关公式 3.举个简单的例子. 二.Gini系数 1.Gini公式 2.Gini系数的取值解读一.Theil指数 1.相关定义 Theil 指数又称锡尔指 ...

Gini 系数与熵的关系

Gini 系数与熵的关系相关推荐

最新文章

热门文章