python 生存分析,利用python进行泰坦尼克生存预测——数据探索分析

2024-06-16 17:59:13

最近一直断断续续的做这个泰坦尼克生存预测模型的练习，这个kaggle的竞赛题，网上有很多人都分享过，而且都很成熟，也有些写的非常详细，我主要是在牛人们的基础上，按照数据挖掘流程梳理思路，然后通过练习每一步来熟悉应用python进行数据挖掘的方式。

数据挖掘的一般过程是：数据预览——>数据预处理(缺失值、离散值等)——>变量转换(构造新的衍生变量)——>数据探索(提取特征)——>训练——>调优——>验证

1数据预览

1.1 head()

预览数据集的前面几条数据可以大致看看每个字段的值究竟长什么样。

1.2 info()

可以看每个字段有多少非空值，字段的类型是什么样的

1.3 describe()

可以大致描述每个整数或者浮点型的数值分布，看最小值，最大值和四分位数，可以大致了解数据的偏移情况。

2.数据预处理

从前面数据预览中发现年龄(age)、船舱号(Cabin)、登岸口(Embarked)有数据的缺失。

登岸口通过后面的数据探索可以发现只有3个值，而且缺失的数量也不大，因此这里填充为众数。

船舱号只有204个有值，一般来说，缺失比例较大的特征可以考虑舍弃，而这里联想到缺失是否表示乘客的票本身就没有船舱号，就像我们买的无座票一样，本身就没有座位号，因此这里先填充为0

年龄字段也存在缺失，一般来说，老弱病残幼是要受到特殊照顾的，因此年龄应该会是一个比较重要的特征，并且因为它是连续值，这里采用算法预测的方式来进行填充。

最后我们来看一下填充后的数据情况

3.数据探索

3.1各个字段值的分布情况

先看代码：

以上是画布相关设置

subplots_adjust()是用来调整画布内子图的间隔大小的。

以上是在画布相应位置画各个子图的代码。图形如下：

3.2探索各字段与是否生存的关系，寻找对模型有用的特征

3.2.1 不同乘客等级与是否生存的关系

舱位越高级的，生存的比例越大。3等舱里面未获救的比例明显增大。说明舱位与是否生存有关系。

3.2.2 性别与是否生存的关系

从数据上看，获救的女性比例很高，电影里面也说了女士优先，因此性别与是否生存也有较大关系。

3.2.3 年龄与是否生存的关系

首先看一下年龄的分布情况和值的离散情况

从图中可以发现大部分都是集中在20-50岁之间的，从箱线图看平均年龄接近30岁。

因为年龄是连续值，因此我们考虑把年龄分段后，进行分段统计展示看年龄与是否生存的关系。

从数据上年纪小的生存的几率要大些。不同年龄段的生存率明显有差别，说明年龄与是否生存是有关系的。

3.2.4 有无兄弟姐妹与是否生存的关系

从数据上看兄弟姐妹在1-2个的生存率最高

3.2.5是否有父母子女与是否生存的关系

数据显示父母子女个数在1-3个的生存率最高，个数越多反倒生存率下降。

3.2.6 港口与是否生存的关系

数据显示有港口的生存率明显高很多。可能是船中间有停靠到一些港口，有部分乘客下船了。

本文参考：大树先生的博客

原文：https://www.cnblogs.com/gangandimami/p/9086022.html

python 生存分析,利用python进行泰坦尼克生存预测——数据探索分析相关推荐

Python项目实战-Tensorflow2.0实现泰坦尼克生存预测
目录一.数据集下载地址二.探索性因子分析(EDA) 三.特征工程四.构建Dataset与Model fit和自定义estimator使用预定义estimator的使用一.数据集下载地址 # ...
泰坦尼克号生存预测python_用Python预测泰坦尼克生存情况-附数据集
介绍:通过逻辑回归算法,解决kaggle网站上的泰坦尼克生存情况预测问题,准确率在80%左右. 一.提出问题什么样的人在泰坦尼克号中更容易存活? 二.理解数据 2.1 数据来源数据来自kaggle ...
excel根据一列内容查找排序另一列_利用泰坦尼克生存数据讲述Excel数据分析的基本操作...
一.使用Excel做数据处理方法(博主使用的是2007版本) 打开泰坦尼克生存数据文件,文件共有12列,891行. 每一列的含义是乘客ID,生存,船舱等级,名字,性别,年龄,兄弟姐妹,父母配偶,票号, ...
python mean dropna_小丸子踏入python之路：python_day05（用Pandas处理泰坦尼克船员获救数据titanic_train.csv）...
泰坦尼克船员获救数据: titanic_train.csv 用excel打开数据集.显示如下: 写在前边: 为了方便以后运用numpy和pandas的库,分别造它们的别名np和pd. import p ...
泰坦尼克数据集预测分析_探索性数据分析—以泰坦尼克号数据集为例（第1部分）
泰坦尼克数据集预测分析 Imagine your group of friends have decided to spend the vacations by travelling to an am ...
泰坦尼克数据集预测分析_探索性数据分析-泰坦尼克号数据集案例研究（第二部分）
泰坦尼克数据集预测分析 Data is simply useless until you don't know what it's trying to tell you. 除非您不知道数据在试图告诉您 ...
kaggle房价预测特征意思_机器学习-kaggle泰坦尼克生存预测（一）-数据清洗与特征构建...
1.背景: 1.1 关于kaggle: 谷歌旗下的 Kaggle 是一个数据建模和数据分析竞赛平台.该平台是当下最流行的数据科研赛事平台,其组织的赛事受到全球数据科学爱好者追捧. 如果学生能够在该平台 ...
【Python例】利用 python 进行用户画像词云图的生成 --- wordcloud
[Python例]利用 python 进行用户画像词云图的生成 - wordcloud 本文主要用于记录,并使用 python 脚本进行用户画像的词云图的生成. 前言对于词云图来说,是一个用户画像数 ...
python 认证机构_利用Python爬了SIG官网BQB认证公司清单，我有一些重大发现..
关注"无线技术联盟"提供有价值的物联网市场信息和最新的技术分析利用Python爬取了蓝牙联盟上近一年BQB认证公司的清单,把爬到的有价值的东西写出来分享给大家. 1 蓝牙认证产 ...
MOOC网深度学习应用开发1——Tensorflow基础、多元线性回归:波士顿房价预测问题Tensorflow实战、MNIST手写数字识别：分类应用入门、泰坦尼克生存预测
Tensorflow基础 tensor基础当数据类型不同时,程序做相加等运算会报错,可以通过隐式转换的方式避免此类报错. 单变量线性回归监督式机器学习的基本术语线性回归的Tensorflow实战 ...

最新文章

热门文章