机器学习实战-集成学习-23

集成学习-泰坦尼克号船员获救预测

import pandas titanic = pandas.read_csv("titanic_train.csv")
titanic

# 空余的age填充整体age的中值
titanic["Age"] = titanic["Age"].fillna(titanic["Age"].median())
print(titanic.describe())

print(titanic["Sex"].unique())# 把male变成0，把female变成1
titanic.loc[titanic["Sex"] == "male", "Sex"] = 0
titanic.loc[titanic["Sex"] == "female", "Sex"] = 1

print(titanic["Embarked"].unique())
# 数据填充
titanic["Embarked"] = titanic["Embarked"].fillna('S')
# 把类别变成数字
titanic.loc[titanic["Embarked"] == "S", "Embarked"] = 0
titanic.loc[titanic["Embarked"] == "C", "Embarked"] = 1
titanic.loc[titanic["Embarked"] == "Q", "Embarked"] = 2

from sklearn.preprocessing import StandardScaler# 选定特征
predictors = ["Pclass", "Sex", "Age", "SibSp", "Parch", "Fare", "Embarked"]
x_data = titanic[predictors]
y_data = titanic["Survived"]# 数据标准化
scaler = StandardScaler()
x_data = scaler.fit_transform(x_data)

逻辑回归

from sklearn import model_selection
from sklearn.linear_model import LogisticRegression# 逻辑回归模型
LR = LogisticRegression()
# 计算交叉验证的误差
scores = model_selection.cross_val_score(LR, x_data, y_data, cv=3)
# 求平均
print(scores.mean())

神经网络

from sklearn.neural_network import MLPClassifier# 建模
mlp = MLPClassifier(hidden_layer_sizes=(20,10),max_iter=1000)
# 计算交叉验证的误差
scores = model_selection.cross_val_score(mlp, x_data, y_data, cv=3)
# 求平均
print(scores.mean())

KNN

from sklearn import neighborsknn = neighbors.KNeighborsClassifier(21)
# 计算交叉验证的误差
scores = model_selection.cross_val_score(knn, x_data, y_data, cv=3)
# 求平均
print(scores.mean())

决策树

from sklearn import tree# 决策树模型
dtree = tree.DecisionTreeClassifier(max_depth=5, min_samples_split=4)
# 计算交叉验证的误差
scores = model_selection.cross_val_score(dtree, x_data, y_data, cv=3)
# 求平均
print(scores.mean())

随机森林

# 随机森林
from sklearn.ensemble import RandomForestClassifierRF1 = RandomForestClassifier(random_state=1, n_estimators=10, min_samples_split=2)
# 计算交叉验证的误差
scores = model_selection.cross_val_score(RF1, x_data, y_data, cv=3)
# 求平均
print(scores.mean())

RF2 = RandomForestClassifier(n_estimators=100, min_samples_split=4)
# 计算交叉验证的误差
scores = model_selection.cross_val_score(RF2, x_data, y_data, cv=3)
# 求平均
print(scores.mean())

Bagging

from sklearn.ensemble import BaggingClassifierbagging_clf = BaggingClassifier(RF2, n_estimators=20)
# 计算交叉验证的误差
scores = model_selection.cross_val_score(bagging_clf, x_data, y_data, cv=3)
# 求平均
print(scores.mean())

Adaboost

from sklearn.ensemble import AdaBoostClassifier# AdaBoost模型
adaboost = AdaBoostClassifier(bagging_clf,n_estimators=10)
# 计算交叉验证的误差
scores = model_selection.cross_val_score(adaboost, x_data, y_data, cv=3)
# 求平均
print(scores.mean())

Stacking

from sklearn.ensemble import VotingClassifier
from mlxtend.classifier import StackingClassifier sclf = StackingClassifier(classifiers=[bagging_clf, mlp, LR],   meta_classifier=LogisticRegression())sclf2 = VotingClassifier([('adaboost',adaboost), ('mlp',mlp), ('LR',LR),('knn',knn),('dtree',dtree)])  # 计算交叉验证的误差
scores = model_selection.cross_val_score(sclf2, x_data, y_data, cv=3)
# 求平均
print(scores.mean())

集成学习-乳腺癌预测

import numpy as np
import pandas as pdimport seaborn as sns
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings("ignore")

df = pd.read_csv("data.csv")
df.head()

df = df.drop('id', axis=1)

df.diagnosis.unique()

df['diagnosis'] = df['diagnosis'].map({'M':1,'B':0})
df.head()

df.describe()

# 画热力图，数值为两个变量之间的相关系数
plt.figure(figsize=(20,20))
p=sns.heatmap(df.corr(), annot=True ,square=True)
plt.show()

# 查看标签分布
print(df.diagnosis.value_counts())
# 使用柱状图的方式画出标签个数统计
p=df.diagnosis.value_counts().plot(kind="bar")
plt.show()

# 获取训练数据和标签
x_data  = df.drop(['diagnosis'], axis=1)
y_data = df['diagnosis']

from sklearn.model_selection import train_test_split
# 切分数据集，stratify=y表示切分后训练集和测试集中的数据类型的比例跟切分前y中的比例一致
# 比如切分前y中0和1的比例为1:2，切分后y_train和y_test中0和1的比例也都是1:2
x_train,x_test,y_train,y_test = train_test_split(x_data, y_data, test_size=0.3, stratify=y_data)

from sklearn.metrics import accuracy_score
from sklearn.neural_network import MLPClassifier
from sklearn.neighbors import KNeighborsClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier, AdaBoostClassifier, BaggingClassifierclassifiers = [KNeighborsClassifier(3),LogisticRegression(),MLPClassifier(hidden_layer_sizes=(20,50),max_iter=10000),DecisionTreeClassifier(),RandomForestClassifier(max_depth=9,min_samples_split=3),AdaBoostClassifier(),BaggingClassifier(),]log = []
for clf in classifiers:clf.fit(x_train, y_train)name = clf.__class__.__name__print("="*30)print(name)print('****Results****')test_predictions = clf.predict(x_test)acc = accuracy_score(y_test, test_predictions)print("Accuracy: {:.4%}".format(acc))log.append([name, acc*100])print("="*30)

log = pd.DataFrame(log)
log

log.rename(columns={0: 'Classifier', 1:'Accuracy'}, inplace=True)

sns.barplot(x='Accuracy', y='Classifier', data=log, color="b")plt.xlabel('Accuracy %')
plt.title('Classifier Accuracy')
plt.show()

机器学习实战-集成学习-23相关推荐

机器学习实战—集成学习
文章目录一.简介 1.1 集成学习 1.2 随机森林二.集成学习-投票分类器 2.1 概念 2.2 代码实现三.集成学习-bagging和pasting 3.1 简介 3.2 Scikit-Le ...
23神经网络 :唐宇迪《python数据分析与机器学习实战》学习笔记
唐宇迪<python数据分析与机器学习实战>学习笔记 23神经网络 1.初识神经网络百度深度学习研究院的图,当数据规模较小时差异较小,但当数据规模较大时深度学习算法的效率明显增加,目前大 ...
Python3《机器学习实战》学习笔记（八）：支持向量机原理篇之手撕线性SVM
原 Python3<机器学习实战>学习笔记(八):支持向量机原理篇之手撕线性SVM 置顶 2017年09月23日 17:50:18 阅读数:12644 转载请注明作者和出处: https: ...
《机器学习实战》学习笔记（三）：决策树
欢迎关注WX公众号:[程序员管小亮] [机器学习]<机器学习实战>读书笔记及代码总目录 https://blog.csdn.net/TeFuirnever/article/details ...
《机器学习实战》学习笔记（七）：利用AdaBoost 元算法提高分类性能
欢迎关注WX公众号:[程序员管小亮] [机器学习]<机器学习实战>读书笔记及代码总目录 https://blog.csdn.net/TeFuirnever/article/details ...
【机器学习】集成学习投票法：投票回归器(VotingRegressor) 投票分类器（VotingClassifier）
前言投票回归器和投票分类器都属于集成学习.在[机器学习]集成学习基础概念介绍中有提到过,集成学习的结合策略包括: 平均法.投票法和学习法.sklearn.ensemble库中的Voting Clas ...
python predictabel_Python3《机器学习实战》学习笔记（三）：决策树实战篇之为自己配个隐形眼镜...
) p1Vect = np.log(p1Num/p1Denom) #取对数,防止下溢出 p0Vect = np.log(p0Num/p0Denom) return p0Vect,p1Vect,pAbu ...
【机器学习】集成学习与模型融合方法举例
[机器学习]集成学习与模型融合方法举例文章目录 1 概述1.1 什么是集成学习 2 CrossValidation 交叉验证 3 stacking 4 Voting投票器 5 Bagging 1 概 ...
《机器学习实战》学习笔记（四）：基于概率论的分类方法 - 朴素贝叶斯
欢迎关注WX公众号:[程序员管小亮] [机器学习]<机器学习实战>读书笔记及代码总目录 https://blog.csdn.net/TeFuirnever/article/details ...

机器学习实战-集成学习-23

集成学习-泰坦尼克号船员获救预测

集成学习-乳腺癌预测

机器学习实战-集成学习-23相关推荐

最新文章

热门文章