前言笔者在复习统计学回归和分类、学习python逻辑分类回归语言后做了这个入门项目，意在提高笔者运用python分析项目的实际能力。

本文共六节，阅读时间约为15分钟。

思路整理

1、项目理解

1.1了解背景

泰坦尼克号沉船是历史上最有名的沉船事件之一：1912年4月15日，在她的第一次航行中，泰坦尼克号与冰山相撞后沉没。船上乘客和机组人员2224名，其中1502人死亡。这场耸人听闻的悲剧震惊了国际社会，从而出台了更规范船舶安全规定。造成海难失事的原因之一是船上没有足够的救生艇。尽管幸存有部分运气因素，但总有些人比其他人更高概率生存，如妇女、儿童和上流社会者。

项目地址：(含项目介绍、数据下载、数据说明)

1.2明确问题

项目要求是预测一名乘客是否能够幸免于泰坦尼克号沉没。对于测试集中的每个PassengerId，要求为Survived变量预测0或1值。

1.3整理思路

2、理解数据

2.1数据导入

注意用pandas读取文件，文件名带中文会报错：Initializing from file failed。如

res = pd.read_csv('我的文件.csv')

解决方法

f = open('我的文件.csv')res = pd.read_csv(f)

2.2查看数据集信息

多出的一列为Survived，即本项目因变量，又称标签——本次模型的输出结果。再次明确项目目的：通过train数据提取特征、建立模型，从而预测test数据的survived结果。

由上可知有四列数据存在缺失，需要在后续针对它们进行处理。

2.3理解字段含义

3、数据清理

3.1数据预处理

3.1.1填充Fare船票价格(Fare)里面数据总数是1308条，缺失了1条数据

#查看缺失数据相关信息 full.iloc[1043,:]

3.1.2填充Age年龄(Age)里面数据总数是1046条，缺失了1309-1046=263，缺失率263/1309=20%

3.1.3删除Embarked空白行Embarked里数据总数是1307，只缺失了2条数据，缺失比较少

#查看缺失数据相关信息 full.iloc[61,:]

3.1.4删除Cabin列Cabin里数据总数是295，缺失了1309-295=1014，缺失率=1014/1309=77.5%。由于缺失率大，我们采取删除该列的方式。

3.2特征工程

我们需要尽可能多地抽取特征，只要觉得某特征与问题有关，它就可以成为一个特征。特征需要不断抽取、试验，所以是最需要动脑的一环，也是决定最终效果的一环。

3.2.1特征提取

3.2.1.1数据分类

需要处理的分类数据有：Sex，Embarked，Pclass，Name, Cabin，Parch，SibSp。Sex

Embarked

PclassName

统计汇总结果显示分类有很多。其中大部分分类下的数据量过少，不利于后续模型计算。为此，我们再对头衔进行汇总。

Parch、SibSp

此处，因为familsize和Parch、SibSp不重复，所以我们保留Parch、SibSp，不删除。

3.2.2特征选择

进一步学习资料：

4、构建模型

4.1分训练数据和测试数据

4.2机器学习算法

5、模型评估

将生成的csv文件上传至kaggle，可以看到自己的排名。

6、项目总结此次项目，我总上传了三次。每一次修改都是建立在前一次结果的基础上。

数据的填补方式差异会导致预测准确性概率的变动。如对fare的值填充，没有简单实用平均值代替。而是观察缺失项，定位与缺失项其它信息相符的数据。用相似数据的中位数代替。

对于存在大量缺失数据列Cabin的处理。我分别采用了补全和删除的方式。通过实际测试发现直接删除该列数据，模型预测的准确性更高。

特征选择是需要多次试验择优录取的。特别要注意的是过多的使用特征，反而可能会造成冗余，影响模型效果。

本文仅采用逻辑回归分类模型，但是实际建模会采用很多模型，通过最后预测效果比较选择出最优的模型。针对这块，接下来我还需要温故统计知识、掌握更多的python语言。