pandas清洗Kobe数据

清洗Kobe数据

import pandas as pd
import matplotlib.pyplot as plt
import matplotlib.cm as cm
import numpy as npraw = pd.read_csv('.\data\kobe_data.csv')
print(raw.shape)
kobe = raw[pd.notnull(raw['shot_made_flag'])]
print(kobe.shape)alpha = 0.01#透明度
plt.figure(figsize=(10,10))plt.subplot(121)
plt.scatter(kobe.loc_x,kobe.loc_y,c='blue',alpha=alpha)
plt.title('loc_x and loc_y')plt.subplot(122)
plt.scatter(kobe.lon,kobe.lat,c='green',alpha=alpha)
plt.title('lot and lat')#计算距离
raw['dist'] = np.sqrt(raw['loc_x']**2+raw['loc_y']**2)
#计算角度
loc_x_zero = raw['loc_x'] == 0
raw['angle'] = np.array([0]*len(raw))
raw['angle'][~loc_x_zero] = np.arctan(raw['loc_y'][~loc_x_zero] / raw['loc_x'][~loc_x_zero])
raw['angle'][loc_x_zero] = np.pi/2raw['remaining_time'] = raw['minutes_remaining']*60+raw['seconds_remaining']print(kobe.action_type.unique())
print(kobe.combined_shot_type.value_counts())
print(kobe.shot_type.unique())
print(kobe.season.unique())
#赛季格式转换
raw['season'] = raw['season'].apply(lambda x: int(x.split('-')[1]))
print(raw.season.unique())mat = pd.DataFrame({'matchup':kobe.matchup,'opponent':kobe.opponent})plt.figure(figsize=(5,5))
plt.scatter(raw.dist,raw.shot_distance,c='b')
plt.title('dis and shot_distance')gs = kobe.groupby('shot_zone_area')
print(kobe['shot_zone_area'].value_counts())
print(len(gs))plt.figure(figsize=(20,10))
def scatter_plot_by_category(feat):alpha = 0.02gs = kobe.groupby(feat)cs = cm.rainbow(np.linspace(0,1,len(gs)))for g,c in zip(gs,cs):plt.scatter(g[1].loc_x, g[1].loc_y, color=c,alpha=alpha)plt.subplot(131)
scatter_plot_by_category('shot_zone_basic')
plt.title('shot_zone_basic')plt.subplot(132)
scatter_plot_by_category('shot_zone_area')
plt.title('shot_zone_basic')plt.subplot(133)
scatter_plot_by_category('shot_zone_range')
plt.title('shot_zone_basic')drops = ['shot_id','team_id', 'team_name','shot_zone_area', 'shot_zone_basic', 'shot_zone_range', 'lat','lon','matchup','shot_distance', 'minutes_remaining','seconds_remaining', 'loc_x', 'loc_y','game_date','game_id', 'game_event_id']
for i in drops:raw = raw.drop(i,1)print(raw.combined_shot_type.value_counts())
print(pd.get_dummies(raw.combined_shot_type,prefix='combined_shot_type')[0:2])categorical = ['action_type','combined_shot_type','shot_type','opponent','period','season']
for var in categorical:raw = pd.concat([raw, pd.get_dummies(raw[var],prefix=var)],1)raw = raw.drop(var,1)train_kobe = raw[pd.notnull(raw['shot_made_flag'])]
train_label = train_kobe['shot_made_flag']
train_kobe = train_kobe.drop('shot_made_flag',1)
test_kobe = raw[pd.isnull(raw['shot_made_flag'])]
test_label = test_kobe.drop('shot_made_flag',1)

pandas清洗Kobe数据相关推荐

数据清洗- Pandas 清洗“脏”数据（一）
概要准备工作检查数据处理缺失数据添加默认值删除不完整的行删除不完整的列规范化数据类型必要的转换重命名列名保存结果更多资源 Pandas 是 Python 中很流行的类库,使用它可 ...
如何使用 Pandas 清洗二手房数据并存储文件
目录一.实战场景二.知识点 python 基础语法 python 文件读写 pandas 数据清洗三.菜鸟实战清洗前的文件读取源文件对二手房数据进行清洗清洗完成后保存到文件运行结果运 ...
juypter 不省略_常用pandas清洗数据命令
pandas清洗数据常用命令安装jupyter notebook 启动 jupyter 可以在里面编写python代码 1. 加载数据df = pd.DataFrame(pd.read_excel( ...
Pandas 常用函数数据整理与清洗
当有一定数据积累时,可以对数据进行较为详细的分析,数据处理一般分为三个阶段:数据整理与清洗.数据分析与建模.数据可视化与制表,其中Pandas 是处理数据最常用的工具. 文章目录 0.数据结构 1.读 ...
pandas 空字符串与na区别_python从安装到数据分析应用高手 Pandas处理文本数据（一）...
数据分析师的一天作为一名数据分析师,目前而言是以业务为中心,取数,清洗整理数据,取数与清洗数据会消耗大量的工作时间,毕竟代码需要跟着业务节奏变化. 其中文本数据相比数值数据更具复杂性,本文就pand ...
使用Python清洗文本数据
点击关注我哦一篇文章带你了解使用Python清洗文本数据数据格式并不总是表格格式.随着我们进入大数据时代,数据具有相当多样化的格式,包括图像,文本,图形等. 由于格式非常多样,从一种数据到另一种数 ...
【数据挖掘】3、NumPy与Pandas 清洗、爬虫、 SciKitLearn 变换、可视化
文章目录一.NumPy 1.1 创建数组 1.2 结构数组 1.3 连续数组 1.4 算数运算 1.5 统计函数 1.6 排序 1.7 实战 1.8 FAQ 1.8.1 axis 1.8.2 数据类 ...
Pandas处理时序数据（初学者必会）！
↑↑↑关注后"星标"Datawhale每日干货 & 每月组队学习,不错过Datawhale干货作者:耿远昊,Datawhale成员,华东师范大学时序数据是指时间序列数据 ...
学习用Pandas处理分类数据！
↑↑↑关注后"星标"Datawhale每日干货 & 每月组队学习,不错过Datawhale干货作者:耿远昊,Datawhale成员,华东师范大学分类数据(categor ...

pandas清洗Kobe数据

pandas清洗Kobe数据相关推荐

最新文章

热门文章