博文配套视频课程：24小时实现从零到AI人工智能

数据获取、结构分析

如何获取seaborn提供数据源

在python中基本所有的核心库都提供了自己的数据源，例如：seaborn、sklearn、tensorflow… 而且这些数据源基本都托管在github中，如果想了解获取数据原理，单击load_dataset源码就可以看到数据的下载地址

def load_dataset(name, cache=True, data_home=None, **kws):"""Load a dataset from the online repository (requires internet).Parameters----------name : strName of the dataset (`name`.csv onhttps://github.com/mwaskom/seaborn-data).  You can obtain list ofavailable datasets using :func:`get_dataset_names`cache : boolean, optionalIf True, then cache data locally and use the cache on subsequent callsdata_home : string, optionalThe directory in which to cache data. By default, uses ~/seaborn-data/kws : dict, optionalPassed to pandas.read_csv"""path = ("https://raw.githubusercontent.com/""mwaskom/seaborn-data/master/{}.csv")full_path = path.format(name)

通过github下载数据如下, 如果数据量比较大可以保存到本地的csv格式

titanic = sns.load_dataset("titanic")
print(titanic.head())
titanic.to_csv("../data/titanic.csv")
titanic = pd.read_csv("../data/titanic.csv")
titanic.info()
# 检查是否有缺失值
print(titanic.isnull().sum())

特征列分析

在此套课程中我们仅仅讲解关于特征列的清洗、数据分析、列的缺失、异常值处理等… 后续在机器学习课程中还会讲解到特征工程、PCA主特征分析等重要概念。

Survived: 生存情况，0代表不幸遇难，1代表存活；
Pclass: 仓位等级，1为一等舱，2为二等舱，3为三等舱；
Name: 乘客姓名；
Sex: 性别；
Age: 年龄；
SibSp: 乘客在船上的兄妹姐妹数/配偶数（即同代直系亲属数）
Parch: 乘客在船上的父母数/子女数（即不同代直系亲属数）；
Ticket: 船票编号；
Fare: 船票价格；
Embarked: 登船港口 (S: Southampton; C: Cherbourg Q: Queenstown)
alive：活着
alone：单身

缺失值与数据清洗

年龄缺失值处理

sns.set_style("darkgrid")
print(titanic[titanic['age'].notnull()])
sns.distplot(a = titanic[titanic['age'].notnull()]['age'],hist=True,kde=True)
plt.show()
# 把年龄的缺失值填充为平均值
titanic['age'] = titanic['age'].fillna(titanic['age'].mean())
sns.distplot(titanic['age'])
plt.show()

填充embarked

print(titanic['embarked'].unique())
# 首先会对输入的列进行分组,然后对每一组进行统计(count)，最后进行可视化 Plot
# sns.countplot(x=titanic['embarked'],data=titanic)
sns.countplot(y=titanic['embarked'],hue='sex',data=titanic)
plt.show()
# inplace=True: 则会修改操作的数据集
titanic['embarked'].fillna(value = 'S',inplace=True)
print(titanic.isnull().sum())

删除不必要的列

一般我们会把不重要的列，缺失值比较多的列删除掉。

titanic.drop(labels=['survived','pclass','sibsp','parch','who','adult_male','deck','embark_town'],axis=1,inplace=True)
print(titanic.head(n=5))
titanic.to_csv("../data/titanic2.csv",index=False)

幸存者分析

分析性别对存活率的影响

虽然男士体力较好，但是在这次海难中体现了绅士风度，把生存的机会留给了女士，所以性别对存活率影响比较大

# 1: 分析性别对存活率的影响,结论: 在事故中,女士优先,存活率高于男士
titanic = pd.read_csv("../data/titanic2.csv")
print(titanic.head(n=3))
sns.set_style("darkgrid")
sns.countplot(x="alive",hue='sex',data=titanic)
plt.show()

分析年龄对存活率影响

由于年龄是连续型的数据, 连续型数据不方便分组，因此建议编写一个函数让连续型数据转化为离散型数据

# 2: 分析年龄对存活率影响,结论: 年龄对存活率的影响没有明显的相关性
def agelevel(age):if age <=16:return "child" # 青年elif age >=60:return 'aged' # 老年else:return "midlife" # 中年print(agelevel)
titanic['age_level'] = titanic['age'].map(agelevel)
print(titanic.head(n=10))
sns.countplot(x="alive",hue='age_level',data=titanic)
plt.show()

分析舱位等级与存活率影响

# 3：分析舱位等级与存活率影响, 结论: vip一等舱存活率比较高
sns.countplot(x="alive",hue='class',data=titanic)
plt.show()

02_泰坦尼克号幸存者分析(上)相关推荐

泰坦尼克号python数据分析统计服_数据分析可视化——泰坦尼克号幸存者分析(上)...
文章目录数据获取.结构分析如何获取seaborn提供数据源特征列分析缺失值与数据清洗年龄缺失值处理填充embarked 删除不必要的列幸存者分析分析性别对存活率的影响分析年龄对存活率影响分 ...
SPSS Modeler泰坦尼克号幸存者分析
数据来源:"Kaggle泰坦尼克号挑战杯"竞赛泰坦尼克号数据 PS:需要创建一个帐户才能访问数据. 下载的数据是.CSV格式 1. 数据介绍数据集中共有12个字段,Passeng ...
03_泰坦尼克号幸存者分析(下)
文章目录箱盒图公式推导箱盒图5个指标数据列为奇数推导偶数列推导箱盒图与琴形图数据分析箱盒图分析性别与年龄相关相关琴形图分析博文配套视频课程:24小时实现从零到AI人工智能箱盒图公式推 ...
Python数据挖掘项目：构建随机森林算法模型预测分析泰坦尼克号幸存者数据
作者CSDN:进击的西西弗斯本文链接:https://blog.csdn.net/qq_42216093/article/details/120196972 版权声明:本文为作者原创文章,未经作者同 ...
Kaggle入门项目，泰坦尼克号幸存者
泰坦尼克号幸存者项目是kaggle的入门项目,我先用python的matplotlib库对数据进行了可视化,初步探索后对数据进行了清洗,然后建立了逻辑回归模型对测试集进行了预测,kaggle得分是0. ...
【阅读笔记】使用决策树预测泰坦尼克号幸存者实例 - scikit-learn机器学习
文章目录使用决策树预测泰坦尼克号幸存者实例一.数据获取二.数据探索数据质量分析(缺失值.异常值.一致性) 三.数据预处理四.数据建模五.优化模型参数使用决策树预测泰坦尼克号幸存者实例代 ...
特征工程实践:泰坦尼克号幸存者预测
文章目录泰坦尼克号幸存者预测泰坦尼克号幸存者预测数据集下载地址:https://www.kaggle.com/c/titanic/data . 本案例主要展示特征工程对数据集的处理方法,模型只选 ...
极简sklearn-使用决策树预测泰坦尼克号幸存者
泰坦尼克号幸存者数据集是kaggle竞赛中入门级的数据集,今天我们就来用决策树来预测下哪些人会成为幸存者. 数据集下载地址: https://download.csdn.net/download/ti ...
1.决策树实例：泰坦尼克号幸存者的预测
决策树文章目录决策树 1.概述 1.1决策树是如何工作的 2 DecisionTreeClassififier与红酒数据集 2.1重要参数 2.1.1 criterion 2.1.2 random ...

02_泰坦尼克号幸存者分析(上)

文章目录

博文配套视频课程：24小时实现从零到AI人工智能

数据获取、结构分析

如何获取seaborn提供数据源

特征列分析

缺失值与数据清洗

年龄缺失值处理

填充embarked

删除不必要的列

幸存者分析

分析性别对存活率的影响

分析年龄对存活率影响

分析舱位等级与存活率影响

02_泰坦尼克号幸存者分析(上)相关推荐

最新文章

热门文章