【Python-ML】SKlearn库非线性决策树回归

# -*- coding: utf-8 -*-
'''
Created on 2018年1月24日
@author: Jason.F
@summary: 有监督回归学习-决策树回归模型，无需对数据进行特征转换，就能处理非线性关系的数据
'''
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import numpy as np
from sklearn.tree import DecisionTreeRegressor
from sklearn.cross_validation import train_test_split
from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics.regression import mean_squared_error, r2_score
#导入波士顿房屋数据集
df=pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/housing/housing.data',header=None,sep='\s+')
df.columns=['CRIM','ZM','INDUS','CHAS','NOX','RM','AGE','DIS','RAD','TAX','PTRATIO','B','LSTAT','MEDV']#单颗决策树回归，MSE替代熵作为节点t的不纯度度量标准
X=df[['LSTAT']].values
y=df['MEDV'].values
tree = DecisionTreeRegressor (max_depth=3)
tree.fit(X,y)
sort_idx = X.flatten().argsort()
def lin_regplot(X,y,model):plt.scatter(X,y,c='blue')plt.plot(X,model.predict(X),color='red')return None
lin_regplot(X[sort_idx],y[sort_idx],tree)
plt.xlabel('%lower status of the population[LSTAT]')
plt.ylabel('Price in $1000\'s [MEDV]')
plt.show()#随机森林，对数据集中的异常值不敏感，且无更多参数调优
#随机森林回归使用MSE作为单颗决策树生成的标准，同时所有决策树预测值的平均数作为预测目标变量的值
X=df.iloc[:,:-1].values
y=df['MEDV'].values
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.4,random_state=1)
forest = RandomForestRegressor(n_estimators=1000,criterion='mse',random_state=1,n_jobs=1)
forest.fit(X_train,y_train)
y_train_pred = forest.predict(X_train)
y_test_pred = forest.predict(X_test)
print ('MSE train:%.3f,test:%.3f'%(mean_squared_error(y_train,y_train_pred),mean_squared_error(y_test,y_test_pred)))
print ('R^2 train:%.3f,test:%.3f'%(r2_score(y_train,y_train_pred),r2_score(y_test,y_test_pred)))
#可视化效果
plt.scatter(y_train_pred,y_train_pred-y_train,c='black',marker='o',s=35,alpha=0.5,label='Training data')
plt.scatter(y_test_pred,y_test_pred-y_test,c='lightgreen',marker='s',s=35,alpha=0.7,label='Test data')
plt.xlabel('Predicted values')
plt.ylabel('Residuals')
plt.legend(loc='upper left')
plt.show()

结果：

MSE train:1.642,test:11.052
R^2 train:0.979,test:0.878

【Python-ML】SKlearn库非线性决策树回归相关推荐

Python安装sklearn库时出现异常：ERROR: Could not install packages due to an EnvironmentError: [Errno 2]
文章目录一.问题描述二.问题解决一.问题描述今天在学习python机器学习时,需要安装python的sklearn库,在安装的过程中出现了以下错误上CSDN上找了好多文章,都没办法解决问题 ...
ID3决策树 Python实现 + sklearn库决策树模型的应用
本文介绍机器学习中决策树算法的python实现过程共介绍两类方法: (1)亲手实习Python ID3决策树经典算法 (2)利用sklearn库实现决策树算法关于决策树的原理,指路:机器学习第四 ...
用Python的sklearn库进行PCA（主成分分析）
在python的sklearn的库里面集成很多机器学习算法的库,其中也包括主成分分析的方法. 1.PCA算法的原理: PCA主要是用来数据降维,将高纬度的特征映射到低维度的特征,加快机器学习的速度.比 ...
机器学习系列7 基于Python的Scikit-learn库构建逻辑回归模型
课前测验本文所用数据免费下载在本文中,你将学习: 0 用于数据可视化的新库 1 逻辑回归原理及技术目录一.内容介绍二.理论知识 1.分类与回归的区别 2.逻辑回归与其他回归的区别 3.逻辑回 ...
每天进步一点点《ML - Sklearn库简单学习》
一:Sklearn介绍 Sklearn是一个强大的机器学习库,基于python的.官方文档(http://scikit-learn.org/stable/ ).如下列举部分的使用场景. 由图中,可以看 ...
python中sklearn库更新_python库之sklearn
一.安装sklearn conda install scikit-learn 参考文献 [1]整体介绍sklearn https://blog.csdn.net/u014248127/article/ ...
python二元函数如何编写,如何用Python和sklearn编写多元对数回归？
我写了一个多元多项式回归的代码,我使用了来自sklearn的多项式特征和转换函数.有可能进行多元对数回归吗? sklearn是否有某种对数变换,就像它对多项式特征的那样? 如何在python中编写多元 ...
Python初探——sklearn库中数据预处理函数fit_transform()和transform()的区别
敲<Python机器学习及实践>上的code的时候,对于数据预处理中涉及到的fit_transform()函数和transform()函数之间的区别很模糊,查阅了很多资料,这里整理一下: ...
怎么用python实现回归_Python使用sklearn实现的各种回归算法示例
本文实例讲述了Python使用sklearn实现的各种回归算法.分享给大家供大家参考,具体如下: 使用sklearn做各种回归基本回归:线性.决策树.SVM.KNN 集成方法:随机森林.Adaboo ...

【Python-ML】SKlearn库非线性决策树回归

【Python-ML】SKlearn库非线性决策树回归相关推荐

最新文章

热门文章