Python计算信息熵

计算信息熵的公式：n是类别数，p(xi)是第i类的概率

$H = -\sum_{i=1}^{n} p(x_{i})log_{2}p(x_{i})$

假设数据集有m行，即m个样本，每一行最后一列为该样本的标签，计算数据集信息熵的代码如下：

from math import logdef calcShannonEnt(dataSet):numEntries = len(dataSet) # 样本数labelCounts = {} # 该数据集每个类别的频数for featVec in dataSet:  # 对每一行样本currentLabel = featVec[-1] # 该样本的标签if currentLabel not in labelCounts.keys(): labelCounts[currentLabel] = 0labelCounts[currentLabel] += 1 shannonEnt = 0.0for key in labelCounts:prob = float(labelCounts[key])/numEntries # 计算p(xi)shannonEnt -= prob * log(prob, 2)  # log base 2return shannonEnt

Python计算信息熵相关推荐

python计算信息熵_Python计算信息熵实例
计算信息熵的公式:n是类别数,p(xi)是第i类的概率假设数据集有m行,即m个样本,每一行最后一列为该样本的标签,计算数据集信息熵的代码如下: from math import log def ca ...
python实现信息熵和条件熵
信息熵信息熵,可以用来衡量一个信息的复杂程度,通俗的理解就是表示了这件事的不确定性,如果其不确定性越大,则信息熵的值也就越大,反之,则越小. 对于随机事件X,用pxp_{x}px表示事件x发生的概 ...
使用OpenCV和Python计算图像的“彩色度”
使用OpenCV和Python计算图像"彩色度" 1. 效果图 2. 炫彩度量方法是什么? 3. 源代码参考你是否尝试过计算每个图像的炫彩值,并根据炫彩值对自己的图像数据集进行 ...
Python计算训练数据集（测试集）中某个分类变量阴性(阳性)标签样本的不同水平（level）或者分类值的统计个数以及比例
Python计算训练数据集(测试集)中某个分类变量阴性(阳性)标签样本的不同水平(level)或者分类值的统计个数以及比例目录
Python计算两个numpy数组的交集（Intersection）实战：两个输入数组的交集并排序、获取交集元素及其索引、如果输入数组不是一维的，它们将被展平(flatten)，然后计算交集
Python计算两个numpy数组的交集(Intersection)实战:两个输入数组的交集并排序.获取交集元素及其索引.如果输入数组不是一维的,它们将被展平(flatten),然后计算交集目录
Python使用datetime中的timedelta模块实现时间增减：python计算100天后是哪年那月那日？
Python使用datetime中的timedelta模块实现时间增减:python计算100天后是哪年那月那日? 目录
python计算特征的统计值并文本输出
python计算特征的统计值并文本输出 # 输出统计分位数 df.describe(percentiles=[0.05, 0.25, 0.5, 0.75, 0.95]) featname:A => ...
python计算特征与目标的相关性并可视化
python计算特征与目标的相关性并可视化 pandas计算相关性 # 相关性 tips.corr() Out[2]: total_bill tip size total_bill 1.000000 ...
python计算时间差
python计算时间差 # 使用datetime 和 timedelta import datetime old_time = datetime.datetime.now() print(old_ti ...

Python计算信息熵

Python计算信息熵相关推荐

最新文章

热门文章