机器学习 -- 决策树（Ⅱ香农熵）

一.定义

香农熵定义为信息的期望值。在信息论与概率统计中，熵是表示随机变量不确定性的度量。

假定当前样本集合D中一共有n类样本，第i类样本为Xi ，那么Xi的信息定义为：

举例：

若小明和小华下棋，两人势均力敌，则信息熵H = -((1/2) log2 (1/2) + (1/2) log2 (1/2)) = 1bit。

二.计算

香农熵的计算公式为：

香农熵的值越小，则表明D的不纯度越低。

三.代码实现

计算香农熵的python函数实现：

# 计算香农熵
def calEnt(dataSet):n = dataSet.shape[0]  # 数据集总行数iset = dataSet.iloc[:, -1].value_counts()  # 标签的所有类别p = iset / n  # 每一类标签所占比ent = (-p * (np.log2(p))).sum()return ent

假设有如下数据集，试着实现计算香农熵的python代码。

代码：

import pandas as pd
import numpy as np# 计算香农熵
def calEnt(dataSet):n = dataSet.shape[0]  # 数据集总行数iset = dataSet.iloc[:, -1].value_counts()  # 标签的所有类别# print(iset)'''no     3yes    2Name: fish, dtype: int64'''p = iset / n    # 每一类标签所占比'''no     0.6yes    0.5Name: fish, dtype: int64'''ent = (-p * (np.log2(p))).sum()return ent# 创建数据集
def createDataSet():row_data = {'no surfacing': [1, 1, 1, 0, 0],'flippers': [1, 1, 0, 1, 1],'fish': ['yes', 'yes', 'no', 'no', 'no']}dataSet = pd.DataFrame(row_data)return dataSetif __name__ == "__main__":dataSet = createDataSet()print(calEnt(dataSet))      # 0.9709505944546686

机器学习 -- 决策树（Ⅱ香农熵）相关推荐

机器学习——决策树学习
机器学习--决策树学习一.什么是决策树二.决策树的学习过程特征选择: 决策树生成: 剪枝: 三.决策树的一个具体的实例导入数据 python strip() 函数和 split() 函数的详解 ...
3.1 机器学习 --- 决策树
3.1 机器学习 - 决策树一金融评分卡模型做好后尽量快的上线,以符合要求的模型,尽快上线. 超参数赋予权重,使得模型的参数不一致,而达到均衡样本数据二决策树原理 1. 找女朋友性别:男 ...
关于《机器学习决策树导出图片、PDF支持中文》解决办法
很久没有更新博客了,一直以为自己默默无闻,埋头苦干.实际上是一种懒惰! 2020年的春天,是一段难忘的记忆!在这段特殊的时光里,让我静心思考,潜心研究.每每遇到技术困惑,总能在CSDN找到解决办法,由 ...
机器学习 | 决策树原理剪枝连续值缺失值处理
机器学习 | 决策树最近学习了西瓜书决策树一章,简单整理了笔记,后续会继续补充给文章目录机器学习 | 决策树一.基本信息论 1. 信息量 2. 信息熵二.决策树常用算法 1.ID3 2.C4 ...
机器学习——决策树（decision tree）
相关文章链接: 机器学习--人工神经网络(NN) 机器学习--卷积神经网络(CNN) 机器学习--循环神经网络(RNN) 机器学习--长短期记忆(LSTM) 机器学习--决策树(decision tr ...
机器学习 --- 决策树(educode实训作业)
引言:本文主要对educoder机器学习 --- 决策树的实训作业进行讲解,创造不易!请您点点关注,点点收藏叭!!! 目录第1关:什么是决策树任务描述相关知识引例决策树的相关概念编程要求 ...
机器学习决策树篇——解决离散变量的分类问题
机器学习决策树篇--解决离散变量的分类问题摘要熵增益和熵增益率计算熵增益和熵增益率运行结果离散变量的决策树模型决策树模型运行结果摘要本文通过python实现了熵增益和熵增益率的计算.实 ...
机器学习——决策树模型：Python实现
机器学习--决策树模型:Python实现 1 决策树模型的代码实现 1.1 分类决策树模型(DecisionTreeClassifier) 1.2 回归决策树模型(DecisionTreeRegres ...
机器学习决策树篇——解决连续变量的分类问题
机器学习决策树篇--解决连续变量的分类问题摘要信息熵.条件熵.熵增益.熵增益率的计算 GiNi系数.GiNi系数增益的计算 python代码连续变量决策树分类案例摘要本文通过python实 ...
机器学习 | 决策树之回归树
机器学习 | 决策树之回归树上文提到决策树不仅可用于分类,还可进行回归,本文将继续记录回归决策树. 文章目录机器学习 | 决策树之回归树前言一.回归树的构建方法二.递归二分法三.回归树的剪 ...

机器学习 -- 决策树（Ⅱ香农熵）

一.定义

二.计算

三.代码实现

机器学习 -- 决策树（Ⅱ香农熵）相关推荐

最新文章

热门文章