Kaggle泰坦尼克号比赛项目详解

项目背景
目标
数据字典
- 一、基础字段
- 二、衍生字段（部分，在后续代码中补充）
特征工程
特征分析
- 一、导入必要库
- 二、导入数据
- 三、查看数据
- 四、查看字段信息
- 五、查看字段统计数据
- 六、查看船舱等级与幸存量的关系
- 七、查看性别与幸存情况的关系
- 八、查看乘客年龄与幸存情况的关系
- 九、查看兄弟姐妹及配偶数量与幸存情况关系
- 十、查看父母与孩子数量与幸存情况的关系
- 十一、查看不同票价对应与幸存情况的关系
特征清洗
- 1.NameLength （名字长度）
- 2.HasCabin（是否有船舱）
- 3.Title 称号字段
- 4.sex 性别字段
- 5.Age 年龄字段
- 6. IsChildren （是否为儿童）
- 7.FamilySize （将兄弟姐妹或配偶总数以及父母或孩子总数合并成一个特征）
- 8.IsAlone （是否为单独一人）
- 9.Embarked （港口因素）
- 9.Fare （票价）
- 10.特征相关性可视化
建模和优化
- 1.逻辑回归
- 2.SVC（支持向量机）
- 3.KNN（K近邻分类算法）
- 4.GNB（贝叶斯分类算法）
- 5.Perceptron模型
- 6.Linear SVC
- 7.SGD模型
- 8.决策树模型
- 9.随机森林算法
- 10.kfold交叉验证模型
模型效果比较
保存结果
- 1.保存随机森林模型预测结果
- 2.保存决策树模型预测结果
- 3.保存KNN模型预测结果
- 4.保存SVC（支持向量机模型）预测结果
- 5.保存SGD模型预测结果
- 6.保存Linear SVC模型预测结果
- 7.保存逻辑回归模型预测结果
结果文件

数据链接: https://pan.baidu.com/s/1gE4JvsgK5XV-G9dGpylcew
提取码：y409

项目背景

1、泰坦尼克号：英国白星航运公司下辖的一艘奥林匹克级邮轮，于1909年3月31日在爱尔兰贝尔法斯特港的哈兰德与沃尔夫造船厂动工建造，1911年5月31日下水，1912年4月2日完工试航。

2、首航时间：1912年4月10日

3、航线：从英国南安普敦出发，途经法国瑟堡-奥克特维尔以及爱尔兰昆士敦，驶向美国纽约。

4、沉船：1912年4月15日（1912年4月14日23时40分左右撞击冰山）
船员+乘客人数：2224

5、遇难人数：1502（67.5%）

目标

根据训练集中各位乘客的特征及是否获救标志的对应关系训练模型，预测测试集中的乘客是否获救。（二元分类问题）

数据字典

一、基础字段

PassengerId 乘客id：
训练集891（1- 891），测试集418（892 - 1309）

Survived 是否获救：
1=是，0=不是
获救：38%
遇难：62%（实际遇难比例：67.5%）

Pclass 船票级别：
代表社会经济地位。 1=高级，2=中级，3=低级
1 : 2 : 3 = 0.24 : 0.21 : 0.55

Name 姓名：
示例：Futrelle, Mrs. Jacques Heath (Lily May Peel)
示例：Heikkinen, Miss. Laina

Sex 性别：
male 男 577，female 女 314
男 : 女 = 0.65 : 0.35

Age 年龄（缺少20%数据）：
训练集：714/891 = 80%
测试集：332/418 = 79%

SibSp 同行的兄弟姐妹或配偶总数：
68%无，23%有1个 … 最多8个

Parch 同行的父母或孩子总数：
76%无，13%有1个，9%有2个 … 最多6个
Some children travelled only with a nanny, therefore parch=0 for them.

Ticket 票号（格式不统一）：
示例：A/5 21171
示例：STON/O2. 3101282

Fare 票价：
测试集缺一个数据

Cabin 船舱号：
训练集只有204条数据，测试集有91条数据
示例：C85

Embarked 登船港口：
C = Cherbourg（瑟堡）19%, Q = Queenstown（皇后镇）9%, S = Southampton（南安普敦）72%
训练集少两个数据

二、衍生字段（部分，在后续代码中补充）

Title 称谓：
dataset.Name.str.extract( “ ([A-Za-z]+).”, expand = False)
从姓名中提取，与姓名和社会地位相关

FamilySize 家庭规模：
Parch + SibSp + 1
用于计算是否独自出行IsAlone特征的中间特征，暂且保留

IsAlone 独自一人：
FamilySize == 1
是否独自出行

HasCabin 有独立舱室：
不确定没CabinId的样本是没有舱室还是数据确实

特征工程

Classifying：
样本分类或分级

Correlating：
样本预测结果和特征的关联程度，特征之间的关联程度

Converting：
特征转换（向量化）

Completing：
特征缺失值预估完善、

Correcting：
对于明显离群或会造成预测结果明显倾斜的异常数据，进行修正或排除

Creating：
根据现有特征衍生新的特征，以满足关联性、向量化以及完整度等目标上的要求

Charting：
根据数据性质和问题目标选择正确的可视化图表

特征分析

一、导入必要库

# 导入库
# 数据分析和探索
import pandas as pd
import numpy as np
import random as rnd# 可视化
import seaborn as sns
import matplotlib.pyplot as plt
%matplotlib inline# 消除警告
import warnings
warnings.filterwarnings('ignore')# 机器学习模型
# 逻辑回归模型
from sklearn.linear_model import LogisticRegression
# 线性分类支持向量机
from sklearn.svm import SVC, LinearSVC
# 随机森林分类模型
from sklearn.ensemble import RandomForestClassifier
# K近邻分类模型
from sklearn.neighbors import KNeighborsClassifier
# 贝叶斯分类模型
from sklearn.naive_bayes import GaussianNB
# 感知机模型
from sklearn.linear_model import Perceptron
# 梯度下降算法
from sklearn.linear_model import SGDClassifier
# 决策树模型
from sklearn.tree import DecisionTreeClassifier

二、导入数据

# 获取数据，训练集train_df，测试集test_df
train_df = pd.read_csv('E:/PythonData/titanic/train.csv')
test_df = pd.read_csv('E:/PythonData/titanic/test.csv')
combine = [train_df, test_df]

将train_df和test_df合并为combine（便于对特征进行处理时统一处理：for df in combine:）

三、查看数据

# 探索数据
# 查看字段结构、类型及head示例
train_df.head()

四、查看字段信息

# 查看各特征非空样本量及字段类型
train_df.info()
print("*"*40)
test_df.info()

五、查看字段统计数据

# 查看数值类（int，float）特征的数据分布情况
train_df.describe()

# 查看非数值类（object类型）特征的数据分布情况
train_df.describe(include=["O"])

六、查看船舱等级与幸存量的关系

1. 创建船舱等级与生存量列联表

#生成Pclass_Survived的列联表
Pclass_Survived = pd.crosstab(train_df['Pclass'], train_df['Survived'])

2.绘制船舱等级与生存量条形图

# 绘制条形图
Pclass_Survived.plot(kind = 'bar')
plt.xticks(rotation=360)
plt.show()

3.查看不同船舱等级生存率条形图

train_df[["Pclass","Survived"]].groupby(["Pclass"],as_index=True).mean().sort_values(by="Pclass",ascending=True).plot()
plt.xticks(range(1,4)[::1])
plt.show()

分析： 1，2，3分别表示1等，2等，3等船舱等级。富人和中等阶层有更高的生还率，底层生还率低。

七、查看性别与幸存情况的关系

1.创建性别与生存量列联表

#生成性别与生存列联表
Sex_Survived = pd.crosstab(train_df['Sex'],train_df['Survived'])

2.绘制性别与生存量条形图

Sex_Survived.plot(kind='bar')# 横坐标0,1分别表示男性和女性
plt.xticks(rotation=360)
plt.show()

3.不同性别与生存率表格如下：

# 查看性别与生存率
train_df[["Sex","Survived"]].groupby(["Sex"],as_index=False).mean().sort_values(by="Survived",ascending=False)

分析：性别和是否生还强相关，女性用户的生还率明显高于男性。

八、查看乘客年龄与幸存情况的关系

1.处年年龄缺失情况（用中位数数代替缺失数据）

# 用年龄的中位数代替年龄缺失值
Agemedian = train_df['Age'].median()#在当前表填充缺失值
train_df.Age.fillna(Agemedian, inplace = True)#重置索引
train_df.reset_index(inplace = True)

2.对年龄进行分组，绘制年龄与幸存数量条形图

#对Age进行分组: 2**10>891分成10组, 组距为(最大值80-最小值0)/10 =8取9
bins = [0, 9, 18, 27, 36, 45, 54, 63, 72, 81, 90]train_df['GroupAge'] = pd.cut(train_df.Age, bins)GroupAge_Survived = pd.crosstab(train_df['GroupAge'], train_df['Survived'])
GroupAge_Survived.plot(kind = 'bar',figsize=(10,6))plt.xticks(rotation=360)
plt.title('Survived status by GroupAge')

3.绘制不同年龄对应生存率折线图

# 不同年龄段幸存数
GroupAge_Survived_1 = GroupAge_Survived[1]
# 不同年龄段幸存率
GroupAge_all = GroupAge_Survived.sum(axis=1)
GroupAge_Survived_rate = round(GroupAge_Survived_1/GroupAge_all,2)
GroupAge_Survived_rate.plot(figsize=(10,6))
plt.show()

分析：年龄段在0-9以及72-81岁时，对应的幸存率较高。说明在逃生时老人小孩优先。但63-72对应的幸存率是最低，猜测时对应年龄段的人数太少导致。

九、查看兄弟姐妹及配偶数量与幸存情况关系

1.创建兄弟姐妹及配偶数量与生存量列联表

# 生成列联表
SibSp_Survived = pd.crosstab(train_df['SibSp'], train_df['Survived'])
SibSp_Survived

2.绘制兄弟姐妹及配偶数量与生存量条形图

SibSp_Survived.plot(kind='bar')plt.xticks(rotation=360)
plt.show()

3.绘制兄弟姐妹及配偶数量与存活率折线图

# 查看兄弟姐妹配偶数量与生存率的关系
train_df[["SibSp","Survived"]].groupby(["SibSp"],as_index=True).mean().sort_values(by="SibSp",ascending=True).plot()
plt.show()

分析：兄弟姐妹与配偶数量从在1-2时对应的生存率较高，其他相对较低。

十、查看父母与孩子数量与幸存情况的关系

1.创建父母与孩子数量与生存量列联表

创建列联表
Parch_Survived = pd.crosstab(train_df['Parch'], train_df['Survived'])
Parch_Survived

2.绘制父母与孩子数量与生存量柱状图

Parch_Survived.plot(kind='bar')plt.xticks(rotation=360)
plt.show()

3.绘制父母与孩子数与存活率折线图

# 查看父母与孩子数与生存率的关系
train_df[["Parch","Survived"]].groupby(["Parch"],as_index = True).mean().sort_values(by="Parch",ascending=True).plot()
plt.show()

分析：父母与孩子数在1-3时对应的生存率较高，其他相对较低

十一、查看不同票价对应与幸存情况的关系

1.划分船票价格，创建不同船票对应生存量列联表

#对Fare进行分组: 2**10>891分成10组, 组距为(最大值512.3292-最小值0)/10取值60
bins = [0, 60, 120, 180, 240, 300, 360, 420, 480, 540, 600]
train_df['GroupFare'] = pd.cut(train_df.Fare, bins, right = False)
GroupFare_Survived = pd.crosstab(train_df['GroupFare'], train_df['Survived'])
GroupFare_Survived

2.绘制不同船票价格对应幸存量簇状柱形图

# 绘制簇状柱形图
GroupFare_Survived.plot(kind = 'bar',figsize=(10,6))# 调整刻度
plt.xticks(rotation=360)
plt.title('Survived status by GroupFare')GroupFare_Survived.iloc[2:].plot(kind = 'bar',figsize=(10,6))
# 调整刻度
plt.xticks(rotation=360)
plt.title('Survived status by GroupFare(Fare>=120)')

3.绘制不票价对应生存率折线图

# 绘制不票价对应生存率折线图# 不同票价对应存活数
GroupFare_Survived_1 = GroupFare_Survived[1]
# 不同票价对应存活率
GroupFare_all = GroupFare_Survived.sum(axis=1)
GroupFare_Survived_rate = round(GroupFare_Survived_1/GroupFare_all,2)
GroupFare_Survived_rate.plot()
plt.show()

分析：票价在120-180以及480-540时对应的生存率较高，且票价与生存率总体上呈正相关趋势。

train_df.head()

移除index，GroupAge，GroupFare等字段

train_df = train_df.drop(["index","GroupAge","GroupFare"],axis=1)
train_df.head()

特征清洗

1.NameLength （名字长度）

# 创建训练集和测试集姓名长度字段
train_df['NameLength'] = train_df['Name'].apply(len)
test_df['NameLength'] = test_df['Name'].apply(len)

注：这里解释一下Kaggle作者使用名称字段作为特征之一，原因在于姓名里带有该乘客的头衔，名字长度越长对应的头衔越多。即相对应的社会地位较高。

2.HasCabin（是否有船舱）

将乘客是否有船舱归为两类

# 使用匿名函数，NaN为浮点型，为浮点型的为0，否则为1（即没有船舱的为0，有船舱的为1）
train_df['HasCabin'] = train_df["Cabin"].apply(lambda x: 0 if type(x) == float else 1)
test_df['HasCabin'] = test_df["Cabin"].apply(lambda x: 0 if type(x) == float else 1)
train_df.head()

删除Ticket和Cabin

删除Ticket和Cabin字段，原因在于Ticket字段表示船票的名称。与乘客的生存率无关联。删除Cabin是因为通过HasCabin来代替Cabin字段。

# 剔除Ticket（人为判断无关联）和Cabin（有效数据太少）两个特征
train_df = train_df.drop(["Ticket","Cabin"],axis=1)
test_df = test_df.drop(["Ticket","Cabin"],axis=1)
combine = [train_df,test_df]
print(train_df.shape,test_df.shape,combine[0].shape,combine[1].shape)

3.Title 称号字段

# 根据姓名创建称号特征，会包含性别和阶层信息
# dataset.Name.str.extract(' ([A-Za-z]+)\.' -> 把空格开头.结尾的字符串抽取出来
# 和性别匹配，看各类称号分别属于男or女，方便后续归类for dataset in combine:dataset['Title'] = dataset.Name.str.extract(' ([A-Za-z]+)\.', expand=False)
pd.crosstab(train_df['Title'], train_df['Sex']).sort_values(by=["male","female"],ascending=False)

将不同称号的乘客进行归类

# 把称号归类为Mr,Miss,Mrs,Master,Rare_Male,Rare_Female(按男性和女性区分了Rare)
for dataset in combine:dataset["Title"] = dataset["Title"].replace(['Lady', 'Countess', 'Dona'],"Rare_Female")dataset["Title"] = dataset["Title"].replace(['Capt', 'Col','Don','Dr','Major','Rev','Sir','Jonkheer',],"Rare_Male")dataset["Title"] = dataset["Title"].replace('Mlle', 'Miss') dataset['Title'] = dataset['Title'].replace('Ms', 'Miss')dataset['Title'] = dataset['Title'].replace('Mme', 'Miss')

绘制不同称号对应的存活率

# 按Title汇总计算Survived均值，查看相关性
T_S = train_df[["Title","Survived"]].groupby(["Title"],as_index=False).mean().sort_values(by='Survived',ascending=True)
plt.figure(figsize=(10,6))
plt.bar(T_S['Title'],T_S['Survived'])

分析：称号为Miss、Mrs、Rare_Female乘客的存活率居高，说明在逃生时，大家遵循女士优先的原则。

将Title特征映射成数值

title_mapping = {"Mr":1,"Miss":2,"Mrs":3,"Master":4,"Rare_Female":5,"Rare_Male":6}
for dataset in combine:dataset["Title"] = dataset["Title"].map(title_mapping)dataset["Title"] = dataset["Title"].fillna(0)# 为了避免有空数据的常规操作
train_df.head()

删除姓名字段

# Name字段可以剔除了
# 训练集的PassengerId字段仅为自增字段，与预测无关，可剔除
train_df = train_df.drop(["Name","PassengerId"],axis=1)
test_df = test_df.drop(["Name"],axis=1)
train_df.head()

# 每次删除特征时都要重新combine
combine = [train_df,test_df]
combine[0].shape,combine[1].shape

4.sex 性别字段

将性别字段转换成数值，将女性设置为0，男性设置为1

# sex特征映射为数值
for dataset in combine:dataset["Sex"] = dataset["Sex"].map({"female":1,"male":0}).astype(int)# 后面加astype(int)是为了避免处理为布尔型？
train_df.head()

5.Age 年龄字段

guess_ages = np.zeros((6,3))
guess_ages

对年龄字段进行空值处理（使用相同Pclass和Title的Age中位数来填充）

# 给age年龄字段的空值填充估值
# 使用相同Pclass和Title的Age中位数来替代（对于中位数为空的组合，使用Title整体的中位数来替代）for dataset in combine:# 取6种组合的中位数for i in range(0, 6):for j in range(0, 3):guess_title_df = dataset[dataset["Title"]==i+1]["Age"].dropna()guess_df = dataset[(dataset['Title'] == i+1) & (dataset['Pclass'] == j+1)]['Age'].dropna()# age_mean = guess_df.mean()# age_std = guess_df.std()# age_guess = rnd.uniform(age_mean - age_std, age_mean + age_std)age_guess = guess_df.median() if ~np.isnan(guess_df.median()) else guess_title_df.median()#print(i,j,guess_df.median(),guess_title_df.median(),age_guess)# Convert random age float to nearest .5 ageguess_ages[i,j] = int( age_guess/0.5 + 0.5 ) * 0.5# 给满足6中情况的Age字段赋值for i in range(0, 6):for j in range(0, 3):dataset.loc[ (dataset.Age.isnull()) & (dataset.Title == i+1) & (dataset.Pclass == j+1),'Age'] = guess_ages[i,j]dataset['Age'] = dataset['Age'].astype(int)train_df.head()

6. IsChildren （是否为儿童）

将年龄小于等于12的视为儿童，其余的为非儿童。分别用1,0来表示

#创建是否儿童特征
for dataset in combine:dataset.loc[dataset["Age"] > 12,"IsChildren"] = 0dataset.loc[dataset["Age"] <= 12,"IsChildren"] = 1
train_df.head()

划分年龄区间

# 创建年龄区间特征
# pd.cut是按值的大小均匀切分，每组值区间大小相同，但样本数可能不一致
# pd.qcut是按照样本在值上的分布频率切分，每组样本数相同
train_df["AgeBand"] = pd.qcut(train_df["Age"],8)
train_df.head()

train_df[["AgeBand","Survived"]].groupby(["AgeBand"],as_index = False).mean().sort_values(by="AgeBand",ascending=True)

将年龄区间转换成数值

# 把年龄按区间标准化为0到4
for dataset in combine:    dataset.loc[ dataset['Age'] <= 17, 'Age'] = 0dataset.loc[(dataset['Age'] > 17) & (dataset['Age'] <= 21), 'Age'] = 1dataset.loc[(dataset['Age'] > 21) & (dataset['Age'] <= 25), 'Age'] = 2dataset.loc[(dataset['Age'] > 25) & (dataset['Age'] <= 26), 'Age'] = 3dataset.loc[(dataset['Age'] > 26) & (dataset['Age'] <= 31), 'Age'] = 4dataset.loc[(dataset['Age'] > 31) & (dataset['Age'] <= 36.5), 'Age'] = 5dataset.loc[(dataset['Age'] > 36.5) & (dataset['Age'] <= 45), 'Age'] = 6dataset.loc[ dataset['Age'] > 45, 'Age'] = 7
train_df.head()

移除AgeBand字段

# 移除AgeBand特征
train_df = train_df.drop('GroupAge',axis=1)
combine = [train_df,test_df]
train_df.head()

7.FamilySize （将兄弟姐妹或配偶总数以及父母或孩子总数合并成一个特征）

# 创建家庭规模FamilySize组合特征 +1是考虑本人
for dataset in combine:dataset["FamilySize"] = dataset["Parch"] + dataset["SibSp"] + 1
train_df[["FamilySize","Survived"]].groupby(["FamilySize"],as_index = True).mean().sort_values(by="FamilySize",ascending=True).plot()
plt.xticks(range(12)[::1])
plt.show()

绘制FamilySize与生存率变化折线图

8.IsAlone （是否为单独一人）

# 创建是否独自一人IsAlone特征
for dataset in combine:dataset["IsAlone"] = 0dataset.loc[dataset["FamilySize"] == 1,"IsAlone"] = 1
train_df[["IsAlone","Survived"]].groupby(["IsAlone"],as_index=True).mean().sort_values(by="IsAlone",ascending=True).plot(kind='bar')
plt.xticks(rotation=360)
plt.show()

查看是否单独一人与生存率柱状图

移除Parch,Sibsp 字段

train_df = train_df.drop(["Parch","SibSp"],axis=1)
test_df = test_df.drop(["Parch","SibSp"],axis=1)
combine = [train_df,test_df]
train_df.head()

9.Embarked （港口因素）

# 给Embarked补充空值
# 获取上船最多的港口
freq_port = train_df["Embarked"].dropna().mode()[0]
freq_port

处理缺失值（利用众数填充缺失值）

for dataset in combine:dataset["Embarked"] = dataset["Embarked"].fillna(freq_port)

创建列联表

Embarked_Survived = pd.crosstab(train_df['Embarked'],train_df['Survived'])
Embarked_Survived

绘制不同港口对应的幸存量条形图

Embarked_Survived.plot(kind='bar')plt.xticks(rotation=360)
plt.show()

绘制不同港口与生存量条形图

# 查看不同港口与幸存量的关系
train_df[["Embarked","Survived"]].groupby(["Embarked"],as_index=True).mean().sort_values(by="Embarked",ascending=True).plot(kind='bar')
plt.xticks(rotation=360)
plt.show()

把Embarked转换成数值

# 把Embarked数字化
for dataset in combine:dataset["Embarked"] = dataset["Embarked"].map({"S":0,"C":1,"Q":2}).astype(int)
train_df.head()

9.Fare （票价）

# 给测试集中的Fare填充空值，使用中位数
test_df["Fare"].fillna(test_df["Fare"].dropna().median(),inplace=True)
test_df.info()

设置票价不同票价区间

# 创建FareBand区间特征
train_df["FareBand"] = pd.qcut(train_df["Fare"],4)
train_df[["FareBand","Survived"]].groupby(["FareBand"],as_index=False).mean().sort_values(by="FareBand",ascending=True)

将不同票价所在区间数字化

# 根据FareBand将Fare特征转换为序数值
for dataset in combine:dataset.loc[ dataset['Fare'] <= 7.91, 'Fare'] = 0dataset.loc[(dataset['Fare'] > 7.91) & (dataset['Fare'] <= 14.454), 'Fare'] = 1dataset.loc[(dataset['Fare'] > 14.454) & (dataset['Fare'] <= 31), 'Fare']   = 2dataset.loc[ dataset['Fare'] > 31, 'Fare'] = 3dataset['Fare'] = dataset['Fare'].astype(int)# 移除FareBand
train_df = train_df.drop(['FareBand'], axis=1)
combine = [train_df, test_df]train_df.head(10)

test_df.head()

10.特征相关性可视化

# 用seaborn的heatmap对特征之间的相关性进行可视化
colormap = plt.cm.RdBu
plt.figure(figsize=(14,12))
plt.title('Pearson Correlation of Features', y=1.05, size=15)
sns.heatmap(train_df.astype(float).corr(),linewidths=0.1,vmax=1.0, square=True, cmap=colormap, linecolor='white', annot=True)
plt.show()

X_train = train_df.drop(['Survived','index'],axis=1)
Y_train = train_df["Survived"]
X_test = test_df.drop("PassengerId",axis=1).copy()
X_train

Y_train

X_test.head()

X_train.shape,Y_train.shape,X_test.shape

建模和优化

1.逻辑回归

# Logistic Regression 逻辑回归模型
logreg = LogisticRegression()
logreg.fit(X_train,Y_train)
Y_pred_logreg = logreg.predict(X_test)
acc_log = round(logreg.score(X_train,Y_train)*100,2)
# 预测结果
Y_pred_logreg

acc_log

计算相关性

# 计算相关性
coeff_df = pd.DataFrame(train_df.columns.delete(0))
coeff_df.columns = ['Feature']
coeff_df["Correlation"] = pd.Series(logreg.coef_[0])coeff_df.sort_values(by='Correlation', ascending=False)

2.SVC（支持向量机）

# Support Vector Machines 支持向量机模型svc = SVC()
svc.fit(X_train, Y_train)
Y_pred_svc = svc.predict(X_test)
acc_svc = round(svc.score(X_train, Y_train) * 100, 2)
Y_pred_svc

acc_svc

3.KNN（K近邻分类算法）

# KNN k近邻分类模型
knn = KNeighborsClassifier(n_neighbors = 3)
knn.fit(X_train, Y_train)
Y_pred_knn = knn.predict(X_test)
acc_knn = round(knn.score(X_train, Y_train) * 100, 2)
Y_pred_knn

acc_knn

4.GNB（贝叶斯分类算法）

# 贝叶斯分类
# Gaussian Naive Bayesgaussian = GaussianNB()
gaussian.fit(X_train, Y_train)
Y_pred_gaussian = gaussian.predict(X_test)
acc_gaussian = round(gaussian.score(X_train, Y_train) * 100, 2)
Y_pred_gaussian

acc_gaussian

5.Perceptron模型

# Perceptronperceptron = Perceptron()
perceptron.fit(X_train, Y_train)
Y_pred_perceptron = perceptron.predict(X_test)
acc_perceptron = round(perceptron.score(X_train, Y_train) * 100, 2)
acc_perceptron

acc_perceptron

6.Linear SVC

# Linear SVClinear_svc = LinearSVC()
linear_svc.fit(X_train, Y_train)
Y_pred_linear_svc= linear_svc.predict(X_test)
acc_linear_svc = round(linear_svc.score(X_train, Y_train) * 100, 2)
Y_pred_linear_svc

acc_linear_svc

7.SGD模型

# Stochastic Gradient Descentsgd = SGDClassifier()
sgd.fit(X_train, Y_train)
Y_pred_sgd = sgd.predict(X_test)
acc_sgd = round(sgd.score(X_train, Y_train) * 100, 2)
Y_pred_sgd

acc_sgd

8.决策树模型

# Decision Tree 决策树模型decision_tree = DecisionTreeClassifier()
decision_tree.fit(X_train, Y_train)
Y_pred_decision_tree = decision_tree.predict(X_test)
acc_decision_tree = round(decision_tree.score(X_train, Y_train) * 100, 2)
Y_pred_decision_tree

acc_decision_tree

9.随机森林算法

from sklearn.model_selection import train_test_splitX_all = train_df.drop(['Survived'], axis=1)
y_all = train_df['Survived']num_test = 0.20
X_train, X_test, y_train, y_test = train_test_split(X_all, y_all, test_size=num_test, random_state=23)

# Random Forest
from sklearn.metrics import make_scorer, accuracy_score
from sklearn.model_selection import GridSearchCV
random_forest = RandomForestClassifier()parameters = {'n_estimators': [4, 6, 9], 'max_features': ['log2', 'sqrt','auto'], 'criterion': ['entropy', 'gini'],'max_depth': [2, 3, 5, 10], 'min_samples_split': [2, 3, 5],'min_samples_leaf': [1,5,8]}
acc_scorer = make_scorer(accuracy_score)
grid_obj = GridSearchCV(random_forest, parameters, scoring=acc_scorer)
grid_obj = grid_obj.fit(X_train, y_train)
clf = grid_obj.best_estimator_
clf.fit(X_train, y_train)
pred = clf.predict(X_test)
acc_random_forest_split=accuracy_score(y_test, pred)
pred

acc_random_forest_split

10.kfold交叉验证模型

from sklearn.model_selection import KFolddef run_kfold(clf):kf = KFold(891,n_splits=10)outcomes = []fold = 0for train_index, test_index in kf.split(train_df):fold += 1X_train, X_test = X_all.values[train_index], X_all.values[test_index]y_train, y_test = y_all.values[train_index], y_all.values[test_index]clf.fit(X_train, y_train)predictions = clf.predict(X_test)accuracy = accuracy_score(y_test, predictions)outcomes.append(accuracy)mean_outcome = np.mean(outcomes)print("Mean Accuracy: {0}".format(mean_outcome)) run_kfold(clf)

test_df.head()

模型效果比较

Y_pred_random_forest_split = clf.predict(test_df.drop("PassengerId",axis=1))

models = pd.DataFrame({'Model': ['SVM', 'KNN', 'Logistic Regression', 'Random Forest', 'Naive Bayes', 'Perceptron', 'SGD', 'Linear SVC', 'Decision Tree'],'Score': [acc_svc, acc_knn, acc_log, acc_random_forest_split,#acc_random_forest,acc_gaussian, acc_perceptron, acc_sgd, acc_linear_svc, acc_decision_tree]})
M_s = models.sort_values(by='Score', ascending=False)
M_s

plt.figure(figsize=(20,8),dpi=80)
plt.bar(M_s['Model'],M_s['Score'])
plt.show()

保存结果

# 导入时间模块，利用时间戳作为文件名
import time
print(time.strftime('%Y%m%d%H%M',time.localtime(time.time())))

1.保存随机森林模型预测结果

# 取最后更新的随机森林模型的预测数据进行提交
submission = pd.DataFrame({"PassengerId": test_df["PassengerId"],"Survived": Y_pred_random_forest_split#"Survived": Y_pred_random_forest})
submission.to_csv('E:/PythonData/titanic/submission_random_forest_'+time.strftime('%Y%m%d%H%M',time.localtime(time.time()))+".csv", index=False)

2.保存决策树模型预测结果

submission = pd.DataFrame({"PassengerId": test_df["PassengerId"],"Survived": Y_pred_decision_tree})
submission.to_csv('E:/PythonData/titanic/submission_decision_tree'+time.strftime('%Y%m%d%H%M',time.localtime(time.time()))+".csv", index=False)

3.保存KNN模型预测结果

submission = pd.DataFrame({"PassengerId": test_df["PassengerId"],"Survived": Y_pred_knn})
submission.to_csv('E:/PythonData/titanic/submission_knn_'+time.strftime('%Y%m%d%H%M',time.localtime(time.time()))+".csv", index=False)

4.保存SVC（支持向量机模型）预测结果

submission = pd.DataFrame({"PassengerId": test_df["PassengerId"],"Survived": Y_pred_svc})
submission.to_csv('E:/PythonData/titanic/submission_svc_'+time.strftime('%Y%m%d%H%M',time.localtime(time.time()))+".csv", index=False)

5.保存SGD模型预测结果

# SGD
submission = pd.DataFrame({"PassengerId": test_df["PassengerId"],"Survived": Y_pred_sgd})
submission.to_csv('E:/PythonData/titanic/submission_sgd_'+time.strftime('%Y%m%d%H%M',time.localtime(time.time()))+".csv", index=False)

6.保存Linear SVC模型预测结果

# Linear SVC
submission = pd.DataFrame({"PassengerId": test_df["PassengerId"],"Survived": Y_pred_linear_svc})
submission.to_csv('E:/PythonData/titanic/submission_linear_svc_'+time.strftime('%Y%m%d%H%M',time.localtime(time.time()))+".csv", index=False)

7.保存逻辑回归模型预测结果

# 逻辑回归
submission = pd.DataFrame({"PassengerId": test_df["PassengerId"],"Survived": Y_pred_logreg})
submission.to_csv('E:/PythonData/titanic/submission_logreg_'+time.strftime('%Y%m%d%H%M',time.localtime(time.time()))+".csv", index=False)

结果文件