2022 高教社杯(国赛数学建模)思路解析

2022高教社杯ABCD赛题思路解析：

https://blog.csdn.net/dc_sinor/article/details/126211983

1 ID3算法概述

    ID3算法的核心是在决策树各个结点上对应信息增益准则选择特征，递归地构建决策树。具体方法是：从根结点(root node)开始，对结点计算所有可能的特征的信息增益，选择信息增益最大的特征作为结点的特征，由该特征的不同取值建立子节点；再对子结点递归地调用以上方法，构建决策树；直到所有特征的信息增益均很小或没有特征可以选择为止，最后得到一个决策树。ID3相当于用极大似然法进行概率模型的选择。

2 递归终止的条件：

（1）所有类的标签完全相同，则直接返回该类标签。

（2）使用完所有即当前属性集为空，仍不能将数据集划分成仅包含唯一类别的分组，则挑选出现次数最多的类别作为返回值。

3 使用案例

3.1 数据集描述

共分为四个属性特征：年龄段，有工作，有自己的房子，信贷情况; 现根据这四种属性特征来决定是否给予贷款
为了方便，我对数据集进行如下处理：在编写代码之前，我们先对数据集进行属性标注。

（0）年龄：0代表青年，1代表中年，2代表老年；
（1）有工作：0代表否，1代表是；
（2）有自己的房子：0代表否，1代表是；
（3）信贷情况：0代表一般，1代表好，2代表非常好；
（4）类别(是否给贷款)：no代表否，yes代表是。

存入txt文件中:

然后分别利用ID3，C4.5，CART三种算法对数据集进行决策树分类；

数据集的读取：

def read_dataset(filename):"""年龄段：0代表青年，1代表中年，2代表老年；有工作：0代表否，1代表是；有自己的房子：0代表否，1代表是；信贷情况：0代表一般，1代表好，2代表非常好；类别(是否给贷款)：0代表否，1代表是"""fr = open(filename,'r')all_lines = fr.readlines()  ## list形式,每行为1个str#print(all_lines)labels = ['年龄段','有工作','有自己的房子','信贷情况']dataset = []for line in all_lines[0:]:line = line.strip().split(',')  #以逗号为分割符拆分列表dataset.append(line)return dataset,labels　
dataset,labels = read_dataset('./data/dataset.txt')
print(dataset,labels)

3.2 计算信息熵

def inforEntropy(dataset):m = len(dataset)   #数据集的长度labelCounts = {}   #给所有可能分类创建字典for featvec in dataset:currentlabel = featvec[-1]  #获取当前样本的labelif currentlabel not in labelCounts.keys():labelCounts[currentlabel] = 0    labelCounts[currentlabel] += 1 # 统计每类标签的样本个数Ent=0.0for key in labelCounts:p = float(labelCounts[key]) / mEnt = Ent - p*log(p,2)return Ent

3.3 ID3算法的实现

def ID3(dataset):numFeatures = len(dataset[0])-1 #特征的个数baseEnt = inforEntropy(dataset)   #没划分之前的信息熵bestInfoGain = 0.0    #信息增益先定义一下bestFeature = -1       #  最优的特征先定义一下for i in range(numFeatures):    #遍历所有的特征   featList = [example[i] for example in dataset]   #只取出每个样本的第i个特征 创建一个列表uniqueVals = set(featList) #将特征列表创建成为set集合，元素不可重复。创建唯一的分类标签列表newEnt = 0.0for value in uniqueVals:   #计算每种划分方式的信息熵subdataset = splitdataset(dataset,i,value)  #根据某一属性i取出样本集中这一属性值等于value的样本p = len(subdataset) / float(len(dataset))    #计算|D(v)| / |D|newEnt += p*inforEntropy(subdataset)  #计算划分后的信息熵inforGain = baseEnt - newEnt   #计算信息增益print(u"ID3中第%d个特征的信息增益为：%.3f"%(i,inforGain))if inforGain > bestInfoGain:bestInfoGain = inforGainbestFeature = i         return bestFeature

3.4 利用ID3算法创建决策树

首先明白树停止生长的条件：

1. 当前节点包含的样本全属于同一类别，无需划分
1. 当前属性集为空，或者所有样本在所有属性上的取值相同，但所属的类别不同，无法划分
1. 当前节点包含的样本集为空，不能划分

def majorityCnt(classList):classCont = {}for vote in classList:if vote not in classList.keys():classCont[vote] = 0classCont[vote] += 1   #每个类别统计一下个数sortedClassCont = sorted(classCont.items(),key=operator.itemgetter(1),reverse=True)  #此处要注意sorted的用法和其中的key参数return sortedClassCont[0][0]  def ID3_createTree(dataset,labels):classList = [example[-1] for example in dataset]#如果一个数据集种类别完全相同或者说在某个属性下分类结果都一样，就不用划分啦，直接返回属与该类即可if classList.count(classList[0]) == len(classList):return classList[0]# 如果没有属性集可用了或者说当前属性集为空，所有属性都用完了，无法划分，这时候返回类别出现次数最多的那个种类即可if len(dataset[0]) == 1:return majorityCnt(classList)bestFeat = ID3(dataset)  #选择最好的属性bestFeatLabel = labels[bestFeat]print(u"此时最优索引为："+(bestFeatLabel))ID3Tree = {bestFeatLabel:{}}del(labels[bestFeat])  #既然选出了最佳属性，那就把它删了吧，以后不再用这个属性了featValues = [example[bestFeat] for example in dataset]  #统计一下在此最佳划分属性下所有样本的取值，构成一个列表uniqueVals = set(featValues)for value in uniqueVals: subLabels = labels[:]    #递归一下，找出当前最优属性下的生长的树，用字典存储。ID3Tree[bestFeatLabel][value] = ID3_createTree(splitdataset(dataset,bestFeat,value),subLabels)return ID3Tree

3.5 创建完决策树后进行分类

def classify(inputTree,featLables,testdataset):"""输入：决策树，分类标签，测试数据输出：决策结果描述：跑决策树"""firstStr = list(inputTree.keys())[0]secondDict = inputTree[firstStr]featIndex = featLables.index(firstStr)classlabel = '0'for key in secondDict.keys():if testdataset[featIndex] == key:if type(secondDict[key]).__name__=='dict':classlabel = classify(secondDict[key],featLables,testdataset)else:classlabel = secondDict[key]return classlabeldef classifytest(inputTree, featLabels, testDataSet):"""输入：决策树，分类标签，测试数据集输出：决策结果描述：跑决策树"""classLabelAll = []for testVec in testDataSet:classLabelAll.append(classify(inputTree, featLabels, testVec))return classLabelAll

3.6 主函数

if __name__ == "__main__":filename='./data/dataset.txt'testfile='./data/testset.txt'dataset, labels = read_dataset(filename)#dataset,features=createDataSet()print ('dataset',dataset)print("---------------------------------------------")print(u"数据集长度",len(dataset))print ("Ent(D):",inforEntropy(dataset))print("---------------------------------------------")print(u"以下为首次寻找最优索引:\n")print(u"ID3算法的最优特征索引为:"+str(ID3(dataset)))print ("--------------------------------------------------")print(u"首次寻找最优索引结束！")print("---------------------------------------------")print(u"下面开始创建相应的决策树-------")while(True):   dec_tree=str(input("请选择决策树:->(1:ID3; 2:C4.5; 3:CART)|('enter q to quit!')|："))#ID3决策树if dec_tree=='1':labels_tmp = labels[:] # 拷贝，createTree会改变labelsID3desicionTree = ID3_createTree(dataset,labels_tmp)print('ID3desicionTree:\n', ID3desicionTree)#treePlotter.createPlot(ID3desicionTree)treePlotter.ID3_Tree(ID3desicionTree)testSet = read_testset(testfile)print("下面为测试数据集结果：")print('ID3_TestSet_classifyResult:\n', classifytest(ID3desicionTree, labels, testSet))print("---------------------------------------------")if dec_tree=='q':break

2022 高教社杯(国赛数学建模)思路解析

2022高教社杯ABCD赛题思路解析：

https://blog.csdn.net/dc_sinor/article/details/126211983

2022高教社杯数学建模思路 - 案例：ID3算法相关推荐

2022高教社杯数学建模思路 - 案例：BIRCH-层次聚类算法
2022 高教社杯(国赛数学建模)思路解析 2022高教社杯ABCD赛题思路解析: https://blog.csdn.net/dc_sinor/article/details/126211983 1 ...
2022高教社杯数学建模思路 - 案例：异常检测
2022 高教社杯(国赛数学建模)思路解析 2022高教社杯ABCD赛题思路解析: https://blog.csdn.net/dc_sinor/article/details/126211983 一 ...
2022高教社杯数学建模思路 - 案例：粒子群算法
2022 高教社杯(国赛数学建模)思路解析 2022高教社杯ABCD赛题思路解析: https://blog.csdn.net/dc_sinor/article/details/126211983 1 ...
2022高教社杯数学建模思路 - 案例：AdaBoost 算法
2022 高教社杯(国赛数学建模)思路解析 2022高教社杯ABCD赛题思路解析: https://blog.csdn.net/dc_sinor/article/details/126211983 集 ...
2022高教社杯数学建模思路 - 复盘:中小微企业的信贷决策
2022 高教社杯(国赛数学建模)思路解析 2022高教社杯ABCD赛题思路解析: https://blog.csdn.net/dc_sinor/article/details/126211983 数 ...
2022高教社杯数学建模思路 - 复盘：人力资源安排的最优化模型
2022 高教社杯(国赛数学建模)思路解析 2022高教社杯ABCD赛题思路解析: https://blog.csdn.net/dc_sinor/article/details/126211983 0 ...
2022高教社杯数学建模思路 - 复盘：校园网的优化模型
2022 高教社杯(国赛数学建模)思路解析 2022高教社杯ABCD赛题思路解析: https://blog.csdn.net/dc_sinor/article/details/126211983 1 ...
【2022高教社杯数学建模】C题：古代玻璃制品的成分分析与鉴别方案及代码实现（已经更新完毕）
更新进展 2022-9-16 16:30 ,更新内容,问题二可视化及代码 2022-9-16 22:30 ,更新内容,问题三.四可视化及代码, 2022-9-17 12:11 ,更新内容,对四个问题求 ...
【2022高教社杯数学建模】C题：古代玻璃制品的成分分析与鉴别赛后总结 39页论文及代码
1 题目丝绸之路是古代中西方文化交流的通道,其中玻璃是早期贸易往来的宝贵物证.早期的玻璃在西亚和埃及地区常被制作成珠形饰品传入我国,我国古代玻璃吸收其技术后在本土就地取材制作,因此与外来的玻璃制品外 ...

2022高教社杯数学建模思路 - 案例：ID3算法

2022 高教社杯(国赛数学建模)思路解析

1 ID3算法概述

2 递归终止的条件：

3 使用案例

3.1 数据集描述

3.2 计算信息熵

3.3 ID3算法的实现

3.4 利用ID3算法创建决策树

3.5 创建完决策树后进行分类

3.6 主函数

2022 高教社杯(国赛数学建模)思路解析

2022高教社杯数学建模思路 - 案例：ID3算法相关推荐

最新文章

热门文章