决策树：

定义：决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-then结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法

信息的度量和作用：

比特：通信数学原理，奠定现代信息论的基础

信息熵：

信息和消除不确定性是相联系的

信息增益：

决策树的划分依据

信息增益表示得知特征X的信息而使得类Y的信息的不正确性减少的程度

sklearn决策树API： class sklearn.tree.DecisionTreeClassifier(criterion=’gini’, max_depth=None,random_state=None)

•决策树分类器

•criterion:默认是’gini’系数，也可以选择信息增益的熵’entropy’

•max_depth:树的深度大小

•random_state:随机数种子

•method:

•decision_path:返回决策树的路径

其他分类依据：

ID3：信息增益最大的准则

C4.5：信息增益比最大的准则

CART：

回归树：平方误差最小

分类树：肯尼系数最小的准则在 sklearn中可以选择划分的原则

决策树案例：

决策树的流程：

1、pd读取数据

2、选择有影响的特征，处理缺失值

3、进行特征工程，pd转换字典，特征抽取（x_train.to_dict(orient="records")）

4、决策树估计器流程

决策树的结构、本地保存：

1、sklearn.tree.export_graphviz() 该函数导出DOT格式：tree.export_graphviz(estimator,out_file='tree.dot’,feature_names=[‘’,’’])

2、工具：安装graphviz（能够将dot文件转化成pdf、png）

3、运行命令：dot -Tpng tree.dot -o tree.png

import pandas as pd
from sklearn.model_selection import cross_val_score
from sklearn import tree
from sklearn.preprocessing import LabelEncoder
from sklearn.tree import export_graphviz
df = pd.read_csv('F:\\python\\python docment\\Titanic\\train.csv')
df.Age.fillna(df.Age.mean(),inplace=True)
print(df.head())
print(df.info())
print(df.Age.mean())
print(df.Age.median())
le = LabelEncoder()
le.fit(df['Sex'])
#用离散值转化标签值
df['Sex'] = le.transform(df['Sex'])
print(df.Sex)
#建模预测
features = ["Pclass","Sex","Age","SibSp","Parch"]
X = df[features]
y = df['Survived']
dt = tree.DecisionTreeClassifier()
score = cross_val_score(dt,X,y,cv=5,scoring='accuracy')
import numpy as np
print(np.mean(score))
#决策树可视化
dt.fit(X,y)
with open("F:/python/python docment/Titanic.dot",'w') as f:f = export_graphviz(dt,feature_names=['Pcalss','Sex','Age','SibSp','Parch'],out_file=f)

决策树的优缺点：

优点：

1、简单的理解和解释，树木可视化

2、需要较少的数据准备，其他技术通常需要数据归一化

缺点：

决策树学习者可以创建不能很好地推广数据的过于复杂的树

改进：

1、剪枝cart算法（决策树API已经实现）

2、随机森林（准确率比较高）

随机森林：

定义：包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定

集成学习方法：

集成学习通过建立多个模型组合的来解决单一预测问题，她的工作原理就是生成多个分类器/模型，各自独立地学习和做出预测。这些预测最后结合成单预测，因此由于任何一个单分类的做出预测

单个树建立过程：（N个样本，M个特征）

1、随机在N个样本中选择一个样本，重复N次，样本有可能重复

2、随机在M个特征中选出m个特征

3、随机又放回的抽样（boot）

API：class sklearn.ensemble.RandomForestClassifier(n_estimators=10, criterion=’gini’max_depth=None, bootstrap=True, random_state=None)

随机森林：

n_estimator决策树的数量

maxx_depth：每课书的深度限制

案例分析：

from sklearn.datasets import load_iris
from sklearn.datasets import fetch_20newsgroups
from sklearn.model_selection import  train_test_split
from sklearn.datasets import load_boston
from sklearn.preprocessing import StandardScaler
from sklearn.naive_bayes import MultinomialNB
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.feature_extraction import DictVectorizer
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV
import pandas as pd
import numpy as np
def decision():#获取数据titan = pd.read_csv("F:\\python\\python docment\\Titanic\\train.csv")#处理数据，找出特征值和目标值x = titan[['Pclass', 'Age', 'Sex']]y = titan['Survived']#缺失值处理x['Age'].fillna(x['Age'].mean(), inplace=True)#分割数据到训练集和测试集x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)#进行处理特征工程dict = DictVectorizer(sparse=False)x_train = dict.fit_transform(x_train.to_dict(orient="records"))x_test = dict.transform(x_test.to_dict(orient="records"))print(x_train)#随机森林的结构rf = RandomForestClassifier()param = {"n_estimators": [120,200,300,500,800,1200],"max_depth": [5,8,15,30]}#网格搜索与交叉验证gc = GridSearchCV(rf, param_grid=param,cv=5)gc.fit(x_train,y_train)print("准确率：",gc.score(x_test,y_test))print("查看选择的参数模型",gc.best_params_)return None
if __name__ == "__main__":decision()

随机森林的优点：

1、在当前所有算法中，具有极好的准确率

2、能够有效运行在大数据集上

3、能够处理具有较高维度的输入样本，而且不需要降维

4、能够评估各个特征在分类问题上的重要性

小白学python-决策树和随机森林相关推荐

数据分享|Python决策树、随机森林、朴素贝叶斯、KNN（K-最近邻居）分类分析银行拉新活动挖掘潜在贷款客户...
原文链接:http://tecdat.cn/?p=23518 项目背景:银行的主要盈利业务靠的是贷款,这些客户中的大多数是存款大小不等的责任客户(存款人).银行拥有不断增长的客户(点击文末" ...
Python决策树、随机森林、朴素贝叶斯、KNN（K-最近邻居）分类分析银行拉新活动挖掘潜在贷款客户
最近我们被客户要求撰写关于银行拉新活动的研究报告,包括一些图形和统计输出. 项目背景:银行的主要盈利业务靠的是贷款,这些客户中的大多数是存款大小不等的责任客户(存款人).银行拥有不断增长的客户.该银行 ...
python 决策树和随机森林_【python机器学习笔记】使用决策树和随机森林预测糖尿病...
决策树:一种有监督的机器学习分类算法,可以训练已知数据,做出对未知数据的预测. 机器学习中的分类任务殊途同归,都是要根据已知的数据特征获得最佳的分类方法.对于一个有多个特征的数据,我们需要知道根据哪些 ...
python决策树 value_直播案例 | 决策树、随机森林和 AdaBoost 的 Python 实现
获取案例链接.直播课件.数据集在本公众号内发送"机器学习". 本案例使用 Python 逐步实现了三种基于树的模型:分类回归决策树(CART).随机森林和 AdaBoost .在实 ...
Python进行决策树和随机森林
Python进行决策树和随机森林一.决策树第一步,导入库: 第二步,导入数据: 第三步,数据预处理: 第四步,决策树: 第五步,决策树评价: 第六步,生成决策树图. 二.随机森林第一步,随机森林 ...
python实现决策树算法sklearn_python sklearn-05：决策树及随机森林
1.决策树 2.随机森林 1.决策树(decision tree) 决策树一种简单的非线性模型,用来解决回归与分类问题. 通常是重复的将训练集解释变量分割成子集的过程.决策树的节点用方块表示,用来测试 ...
Python 数据科学手册 5.8 决策树和随机森林
5.8 决策树和随机森林原文:In-Depth: Decision Trees and Random Forests 译者:飞龙协议:CC BY-NC-SA 4.0 译文没有得到原作者授权,不保证 ...
python在Scikit-learn中用决策树和随机森林预测NBA获胜者
在本文中,我们将以Scikit-learn的决策树和随机森林预测NBA获胜者.美国国家篮球协会(NBA)是北美主要的男子职业篮球联赛,被广泛认为是首屈一指的男子职业篮球联赛在世界上.它有30个团队(美 ...
python在Scikit-learn中用决策树和随机森林预测NBA获胜者 1
最近我们被要求撰写关于预测NBA的研究报告,包括一些图形和统计输出.我们将以Scikit-learn的决策树和随机森林预测NBA获胜者.美国国家篮球协会(NBA)是北美主要的男子职业篮球联赛,被广泛认 ...
R语言CART决策树、随机森林、chaid树预测母婴电商平台用户寿命、流失可视化
全文链接:http://tecdat.cn/?p=31644 借着二胎政策的开放与家庭消费升级的东风,母婴市场迎来了生机盎然的春天,尤其是母婴电商行业,近年来发展迅猛(点击文末"阅读原文&q ...

小白学python-决策树和随机森林

决策树：

信息的度量和作用：

信息熵：

信息增益：

决策树案例：

随机森林：

案例分析：

小白学python-决策树和随机森林相关推荐

最新文章

热门文章