Python数据分析：从0完成一个数据分析实战 —— 阿里云天池

一，学习内容概括
- 1，学习地址
- 2，主要学习内容
二，具体学习内容
- 1，数据集的下载
- 2，import 导入模块，并且读取数据
- 3，观察数据尺寸
- 4，确定是否有数据缺失
- 5，查看各代口袋妖怪的数量
- 6，生成相关性图
- 7，在实战中的角度来分析这组数据
- 8，先做一个特征类型转化，然后再计算种族值
- 9，过滤和排序
三，学习问题和解决方法
四，总结

一，学习内容概括

1，学习地址

https://tianchi.aliyun.com/notebook-ai/detail?postId=125735.

2，主要学习内容

1，数据集的下载
2，import 导入模块，并且读取数据
3，观察数据尺寸
4，确定是否有数据缺失
5，查看各代口袋妖怪的数量
6，生成相关性图
7，在实战中的角度来分析这组数据
8，先做一个特征类型转化，然后再计算种族值
9，过滤和排序

二，具体学习内容

1，数据集的下载

!wget -O pokemon_data.csv https://pai-public-data.oss-cn-beijing.aliyuncs.com/pokemon/pokemon.csv

2，import 导入模块，并且读取数据

Pandas, Seaborn, Matplotlib

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as pltdf = pd.read_csv("./pokemon_data.csv")

3，观察数据尺寸

df.shape 这个来实现观察数据尺寸
当然 df.info() 能够给我们更加详细的每个列的信息
df.head()

#更加简洁  直观
df.head()

df.info()

4，确定是否有数据缺失

观察每个特征的缺失情况
df.isnull()

# 计算出每个特征有多少百分比是缺失的
percent_missing = df.isnull().sum() * 100 / len(df)
missing_value_df = pd.DataFrame({'column_name': df.columns,'percent_missing': percent_missing
})
# 查看Top10缺失的
missing_value_df.sort_values(by='percent_missing', ascending=False).head(10)

5，查看各代口袋妖怪的数量

每代分别有几只？这里我们可以通过简单的 df[‘generation’].value_counts() 来得到

pandas自带的画图的功能来绘制一个柱状图

查看各代口袋妖怪的数量

# 查看各代口袋妖怪的数量
df['generation'].value_counts().plot.bar()

再看不同的主属性的分布

查看每个系口袋妖怪的数量

# 查看每个系口袋妖怪的数量
df['type1'].value_counts().sort_values(ascending=True).plot.barh()

df.sample(10)

6，生成相关性图

通过相关性分析heatmap分析五个基础属性
了解不同特征之间的关联

# 相关性热力图分析
plt.subplots(figsize=(20,15))
ax = plt.axes()
ax.set_title("Correlation Heatmap")
corr = df.corr()
sns.heatmap(corr, xticklabels=corr.columns.values,yticklabels=corr.columns.values)

通过观察 attack 这一个特征和 height_m 是正相关的，我们可以得出：越高的宝可梦，攻击力越高。
但是再看 height_m，我们会发现它和 base_happiness 是负相关的。这个时候我们可以作出另外一个结论：长得高的宝可梦可能都不太开心。

7，在实战中的角度来分析这组数据

这里我们只关注六个基础值：血量，攻击力，防御力，特攻，特防，速度。因为只有这六个基础值决定了一只宝可梦的战斗力在不考虑派系克制的情况下。

interested = ['hp','attack','defense','sp_attack','sp_defense','speed']
sns.pairplot(df[interested])

看到大部分都是成正比例的，一个值的提高往往会拉高另外一个值。这点我们通过相关性热力图也可以看到

# 通过相关性分析heatmap分析五个基础属性
plt.subplots(figsize=(10,8))
ax = plt.axes()
ax.set_title("Correlation Heatmap")
corr = df[interested].corr()
sns.heatmap(corr, xticklabels=corr.columns.values,yticklabels=corr.columns.values,annot=True, fmt="f",cmap="YlGnBu")

8，先做一个特征类型转化，然后再计算种族值

先做一个特征类型转化

for c in interested:df[c] = df[c].astype(float)
df = df.assign(total_stats = df[interested].sum(axis=1))

用 total_stats 这个字段来存储种族值这一特征

我们可以做个柱状图可视化来看看种族值的分布是什么样的：

# 种族值分布
total_stats = df.total_stats
plt.hist(total_stats,bins=35)
plt.xlabel('total_stats')
plt.ylabel('Frequency')

10%，50%，80%

df.total_stats.quantile([.1,.5,.8])

df[df.total_stats >= 525].shape

根据不同的属性

# 不同属性的种族值分布
plt.subplots(figsize=(20,12))
ax = sns.violinplot(x="type1", y="total_stats",data=df, palette="muted")

最弱的

df[df.name=='Sunkern']

9，过滤和排序

df[(df.total_stats >= 570) & (df.is_legendary == 0)]['name'].head(10)

三，学习问题和解决方法

回顾前面

四，总结

没有实例是真的不知道自己的掌握情况，通过实例更能很好的掌握了解
学过的也都忘得差不多了，多敲代码多练习

Python数据分析：数据分析实战 —— 阿里云天池相关推荐

Python基础入门：从0完成一个数据分析实战—阿里云天池 Task 4
精灵宝可梦数据集分析不知不觉已经学到最后一天了,今天的任务是进行一个新手数据分析.其实每个人对于学习都是有着自己的经验和方法的,10天的学习还是有提升的,最主要的还是隐约找到了消失了很久的方向感. ...
阿里云天池 Python训练营Task4: Python数据分析：从0完成一个数据分析实战学习笔记
本学习笔记为阿里云天池龙珠计划Python训练营的学习内容,学习链接为:https://tianchi.aliyun.com/specials/promotion/aicamppython?spm=5 ...
python数据分析-杭州市地铁站人流量【数据源---阿里云天池新人赛】
python数据分析-杭州市地铁站人流量[数据源-阿里云天池新人赛] 前言天池新人实战赛是针对数据新人开设的实战练习专场,以经典赛题作为学习场景,提供详尽入门教程,手把手教你学习数据挖掘.天池希望新 ...
阿里云天池学习赛-零基础入门数据分析-学术前沿趋势分析(task1)
阿里云天池学习赛零基础入门数据分析-学术前沿趋势分析前言一.赛题描述及数据说明 1:数据集的格式如下: 2:数据集格式举例: 二.task1论文数量统计(数据统计任务):统计2019年全年,计算机 ...
Datawhale学习笔记【阿里云天池金融风控-贷款违约预测】Task2 数据分析
阿里云天池学习赛[金融风控-贷款违约预测] 赛题数据及背景 python库的导入国内镜像源网址及使用方法镜像使用方法文件读取数据的总体了解查看数据集中特征缺失值,唯一值等检查缺失值缺失值 ...
阿里云天池Python训练营（day10打卡）
[ML&Py]×阿里云天池Python训练营(day10打卡)--Python数据分析:从0完成一个宝可梦数据分析实战一.学习内容概览 1.1 学习地址:[阿里云天池python训练营](h ...
阿里云天池Python训练营
阿里云天池Python训练营本节主要介绍python中的数据分析方法,结合之前的学习内容,对于宝可梦精灵中的各种精灵数据进行分析,找寻其中的最强精灵. 一.数据分析实战 1. 数据集下载 !wg ...
机器学习训练营Python 阿里云天池 task4学习笔记
一.学习知识点概要本次主要通过阿里云天池的赛题[Python入门系列]用Pandas揭秘美国选民的总统喜好进行学习,主要学习内容有: 数据集获取数据处理数据探索和清洗数据分析数据可视化二 ...
阿里云天池 Python训练营Task3: Python基础进阶：从函数到高级魔法方法学习笔记
本学习笔记为阿里云天池龙珠计划Python训练营的学习内容,学习链接为:https://tianchi.aliyun.com/specials/promotion/aicamppython?spm=5 ...

Python数据分析：数据分析实战 —— 阿里云天池