基于pandas的数据清洗：

处理空值操作：

isnull ：df.isnull()--检测出原始数据中哪些行中存在空值

notnull：

any：可以帮助我们检测df中哪些行列中存在空值，必须配合isnull使用：isnull->any(axis=1)

all：也可以帮助我们检测元数据中哪些行列中存在空···值，必须配合notnull使用：notnull->all(axis=1)

dropna：删除元数据中存在空值的行数据：df.dropna(axis=0)：注意在drop函数中，0表示的是行，1表示的是列，与原生行列相反

fillna：覆盖元数据中存在的空数据，必须配合axis使用。

df.fillna(method='bfill',axis=0) #使用紧邻值填充空值

df.fillna(method='ffill',axis=1) #使用紧邻值填充空值

处理重复操作：drop_duplicates

df.drop_duplicates(keep='first')：保留第一个重复的数据

df.drop_duplicates(keep='last')：保留最后一个重复的数据

df.drop_duplicates(keep=False)：全部删除

处理异常数据：

df.drop(labels=xxxx):直接删除异常数据

级联操作：级联是对表格做拼接

匹配级联：

pd.concat((df1,df1,df1),axis=1)：三张表按照列进行级联

pd.concat与np.concatenate函数类似，只是多了一些参数：

objs

axis=0

keys

join='outer' / 'inner':表示的是级联的方式，outer会将所有的项进行级联(忽略匹配和不匹配)，而inner只会将匹配的项级联到一起，不匹配的不级联

ignore_index=False

pd.append：df1.append(df2)

不匹配级联：不匹配指的是级联的维度的索引不一致。例如纵向级联时列索引不一致，横向级联时行索引不一致

- 有2种连接方式：

- 外连接：补NaN(默认模式)

- 内连接：只连接匹配的项

合并操作：合并是对表格中的数据进行汇总

merge与concat的区别在于，merge需要依据某一共同列来进行合并

使用pd.merge()合并时，会自动根据两者相同column名称的那一列，作为key来进行合并。

注意每一列元素的顺序不要求一致

一对一合并：pd.merge(df1,df2)--合并两个表

一对多合并：pd.merge(df3,df4)--合并表中的相同的字段

多对多合并：pd.merge(df1,df5)--合并表中的全部字段

key的规范化

当列冲突时，即有多个列名称相同时，需要使用on=来指定哪一个列作为key，配合suffixes指定冲突列名

pd.merge(df1,df2,on='group')

当两张表没有可进行连接的列时，可使用left_on和right_on手动指定merge中左右两边的哪一列列作为连接的列：pd.merge(df1,df5,left_on='employee',right_on='name')

内合并和外合并：out取并集，inner取交集

pd.merge(df6,df7,how='right')：右合并，按照右边的表结构进行合并，左边表中的数据没有值的时候填充空的

how：‘outer/inner’

left_on='xxxx',左表的字段

right_on='xxxx'右表的字段

表中的数据

对象.info():查看表的数据

.unique： unique()是用来将Series中的元素进行去重操作

查询：query(条件)

排序：.sort_values(by='列名',ascending=False)

替换操作：

替换操作可以同步作用于Series和DataFrame中

单值替换：df.replace(to_replace=3,value='Three')/df.replace(to_replace={3:'aaa'})

普通替换： 替换所有符合要求的元素:to_replace=15,value='e'

按列指定单值替换： to_replace={列标签：替换值} value='value'

#替换指定列中的值

df.replace(to_replace={5:77},value='6666666')

多值替换

列表替换: to_replace=[] value=[]

字典替换(推荐) to_replace={to_replace:value,to_replace:value}

映射操作：

概念：创建一个映射关系列表，把values元素和一个特定的标签或者字符串绑定(给一个元素值提供不同的表现形式)

dic = {

'jay':'张三',

'tom':'李四'

}

df['c_name'] = df['name'].map(dic) #映射关系

映射索引

使用rename()函数替换行列索引

参数介绍：

index 替换行索引

columns 替换列索引

new_index = {0:'first',1:'two',2:'three',3:'four',4:'five'}

new_col={'color':'cc','value':'vv'}

df4.rename(new_index,columns=new_col)

排序实现的随机抽样

take() ：可以更换原数据的行列位置，标注清楚axis就行

np.random.permutation()

np.random.permutation(3) #返回随机序列

分类处理

数据分类处理的核心：

groupby()函数

groups属性查看分组情况

#根据水果的种类进行分组，使用by方法

df.groupby(by='item')

#调用groups查看分组情况

df.groupby(by='item').groups

如果要取其中的某个值或者计算某个数值推荐使用以下方法

df.groupby(by='item')['price'].mean() #推荐

高级数据聚合

使用groupby分组后，也可以使用transform和apply提供自定义函数实现更多的运算

df.groupby('item')'price'.sum() <==> df.groupby('item')'price'.apply(sum)

transform和apply都会进行运算，在transform或者apply中传入函数即可

transform和apply也可以传入一个lambda表达式

def myMean(s):

sum = 0

for i in s:

sum += i

return sum/len(s)

df.groupby(by='item')['price'].apply(myMean) #apply充当聚合的运算工具

/

f.groupby(by='item')['price'].transform(myMean) #transform充当聚合的运算工具

数据加载

读取type.txt文件数据

example：data_1 = pd.read_csv('./data/type-.txt',sep='-',header=None)

读取数据库中的数据：

#连接数据库，获取连接对象

import sqlite3 as sqlite3

conn=sqlite3.connect('./data/weather_2012.sqlite(文件路径)')

#读取数据库中的数据：

sql_df=pd.read_sql('select * from weather_2012',conn)

sql_df

#将数据写入数据库中

data_1.to_sql('sql_data123',conn)

透视表：

透视表是一种可以对数据动态排布并且分类汇总的表格格式，我们在pandas中把它称为pivot_table。

优点：

灵活性高，可以随意定制分析需求

脉络清晰抑郁理解数据

操作性强。

pivot_table有四个最重要的参数index、values、columns、aggfunc

index：分类汇总的分类条件，每个pivot_table必须拥有一个index：df.pivot_table(index='列名')/df.pivot_table(index=['列名1','列2'])

values参数：需要对计算的数据进行筛选：df.pivot_table(index=['列1','列2'],values=['列1','列2','列3'])

Aggfunc参数：设置我们对数据聚合时进行的函数操作，如果我们不设置这个参数，默认是计算数据的均值(aggfunc='means')，也可以设置不同的addfunc参数：#还想获得james harden在主客场和不同胜负情况下的总得分、平均篮板、最大助攻时

df.pivot_table(index=['主客场','胜负'],aggfunc={'得分':'sum','篮板':'mean','助攻':'max'})

Columns:可以设置列层次字段：对values字段进行分类df.pivot_table(index='主客场',values='得分',aggfunc='sum',columns='对手')

交叉表：

是一种用于计算分组的特殊透视图，对数据进行汇总

pd.crosstab(index,colums)。

index:分组数据，交叉表的行索引

columns:交叉表的列索引

例子：求出各个性别抽烟的人数

pd.crosstab(df.smoke,df.sex)

matplotlib绘图

import matplotlib.pyplot as plt

%matplotlib inline #保证绘制的图像可以被正常的显示加载出来