Python-Pandas基础

第三章 Pandas基础

3.1 Pandas基础

Pandas的名称来自于面板数据（panel data）和python数据分析（data analysis）

Pandas 最初由AQR Capital Management于2008年4月开发，并于2009年底开源出来,
主要提供高性能易用数据类型和分析工具

Pandas的优点有哪些 ?

可以轻易的处理浮点及非浮点数据类型的缺失值(NaN)
基于智能标签的切片，花式索引，轻易从大数据集中取出子集
可以灵活处理时间数据
灵活强大的分组功能，可对数据集进行拆分组合操作
方便的将其他Python和Pandas数据结构中不同类索引的数据转换为DataFrame对象
轴(axes)的分层标签（使每个元组有多个标签成为可能）

Pandas预备知识

Pandas一般默认简写：pd
Pandas有两种主要的数据类型：Series和DataFrame
- Series可以理解成一种具有索引的数组
- DateFrame是由共用相同索引的一组列组成的
Pandas同样适用广播机制

3.1.1 Series函数

Series函数同样适用ndarray的操作，但是输出结果仍是Series类型

pandas.Series(self, data=None, index=None, dtype=None, name=None, copy=False, fastpath=False)
- data：Series不改变数据的类型
- index：Series可以自定义的索引，索引关键词可以使用符号或汉字

创建Series的几种方法

Python列表
Python字典
标量值（必须有index）
ndarray
其他

3.1.2 DataFrame函数

pandas.DataFrame(data=None, index=None, columns=None, dtype=None, copy=False)
- index：index定义行索引
- columns：columns定义列索引

创建DataFrame的几种方法

二维ndarray
由一维ndarray、列表、字典、元组、或者Series构成的字典
Series类型
其他DataFrame

3.1.3 DataFrame查看功能

函数	描述
`DataFrame()`	创建一个DataFrame
`DataFrame.values`	返回ndarray类型的对象
`DataFrame.index`	获取行索引
`DataFrame.columns`	获取列索引
`DataFrame.axes`	获取行及列索引
`DataFrame.T`	行与列对调
`DataFrame. info()`	打印DataFrame对象的信息
`DataFrame.head(i)`	显示前 i 行数据
`DataFrame.tail(i)`	显示后 i 行数据
`DataFrame.describe()`	查看数据按列的统计信息

3.1.4 Series 和 DataFrame 索引操作

pandas数据结构的索引与ndarray的索引类似，但是pandas数据的索引不仅仅可以是数字，还可以是字符串。与数组不同的是，Sreies单个索引提取值、多个索引提取Series数据，且索引提取左闭右闭。
pandas的索引可以支持更多的功能，每个索引都是一个不可变的集合，它让数据的传递更加的安全，索引支持一些集合的方法和属性，可以辅助解决常见问题。

方法	描述
`in`	判断索引是否存在
`append`	将额外的对象粘贴到原索引后，产生一个新索引
`difference\union\intersection`	计算两个索引的差集\并集\交集
`isin`	计算表示每一个值是否在传值容器的布尔数组
`delete`	将位置i的元素删除，并产生新的索引
`drop`	根据传入参数删除指定索引，并产生新的索引
`insert`	将位置i插入元素，并产生新的索引
`unique`	计算索引的唯一值序列

3.1.5 Series 和 DataFrame 基础操作

Pandas需要通过改变索引进行增加和删除内部数据

添加列数据可以直接进行insert函数进行添加

Dataframe.insert(loc, column, value, allow_duplicates=False)
- loc：使用整数定义_列数据_插入的位置，必须是0到columns列标签的长度
- column：可选字符串、数字或者object；列标签名

添加行数据需要使用reindex函数创建一个符合新索引的新对象

DataFrame.reindex(labels=None, index=None, columns=None, axis=None, method=None, copy=True, level=None, fill_value=nan, limit=None, tolerance=None)
- index,columns：新的行列自定义索引
- fill_value：重新索引中用于填充缺失位置的值
- method：填充方法，ffill当前值向前填充，bfill向后填充

对于已经建立了的Series和DataFrame数据可以通过drop函数删除指定行列数据

DataFrame.drop (labels=None, axis=0, index=None, columns=None, level=None, inplace=False, errors='raise’ )
- labels：就是要删除的行列的名字，用列表给定
- axis：默认为0，指删除行，因此删除columns时要指定axis=1
- index：直接指定要删除的行
- columns：直接指定要删除的列
- inplace=False：默认该删除操作不改变原数据，而是返回一个执行删除操作后的新dataframe
- inplace=True：则会直接在原数据上进行删除操作，删除后无法返回

Series和DataFrame数据直接进行计算时，数据会根据索引进行计算，对于不匹配的数据直接填充NAN

Series和DataFrame数据也支持根据条件判断进行数据选择

索引排序

Series.sort_index(axis=0, ascending=True, inplace=False,···)
- axis：轴直接排序。对于系列，只能为0
- ascending：升序与降序排序
- inplace：如果为True，则就地执行操作

值排序

DataFrame.sort_values(by='##',axis=0,ascending=True, inplace=False, ···)
- by：指定列名(axis=0或’index’)或索引值(axis=1或’columns’)

返回名次

Series.rank(axis=0,method='average',na_option='keep',ascending=True)
- method：{‘average’,‘min’,‘max’,‘first’,‘dense’}指定排名时用于破坏平级关系的method选项

3.1.6 Series 和 DataFrame切片

Pandas的两种数据类型都可以使用numpy一样的数据格式进行索引，也可以使用loc和iloc进行更高级的索引与切片

df.loc[]：获取具有特定标签的行(和/或列)，接受两个参数：行标和列标，当列标省略时，默认获取整行数据。两个参数都可以以字符，切片以及列表的形式传入
df.iloc[]：用法和df.loc[]类似，最大的区别在于，loc是基于行列的标签进行检索，而iloc是基于位置进行检索
get_loc[]：是一个索引方法，意思是“获取标签在这个索引中的位置”。注意，因为用iloc切片不包含它的端点，必须在这个值上加上1

3.1.7 数据读取

文本文件和CSV数据读取

pandas.read_csv(filepath_or_buffer , sep= ' ' , header='infer' , names=None , index _col=None , usecols=None , dtype=None , skiprows=None , skipfooter=None , nrows=None , na_values=None , skip_blank_lines=True , parse_dates=False , comment=None , encoding=None)
- filepath_or_buffer：文件路径
- sep：指定分隔符。如果不指定参数，则会尝试使用逗号分隔
- header：指定行数用来作为列名，数据开始行数。如果文件中没有列名，则默认为0，否则设置为None
- encoding：指定字符集类型，通常指定为’utf-8’
- csv换成table即可读取txt文本文件

Excel文件读取

pandas.read_excel(io，sheet_name = 0，header = 0，names = None，index_col = None，usecols = None，squeeze = False,dtype = None, encoding=None ...)
- sheet_name：字符串用于工作表名称,整数用于零索引工作表位置,字符串列表或整数列表用于请求多个工作表，为None时获取所有工作表。

文本文件和CSV数据写入

DataFrame.to_csv(path_or_buf=None, sep=’,’, na_rep=”, columns=None, header=True, index=True, index_label=None,mode=’w’,encoding=None)
- sep：接收string。代表分隔符。默认为,
- index_labels：接收sequence。表示索引名。默认为None
- na_rep：接收string。代表缺失值。默认为
- columns：接收list。代表写出的列名
- encoding：接收特定string，代表存储文件的编码格式
- header：接收boolean，代表是否将列名写出。默认：Ture或者None

Excel文件写入

DataFrame.to_excel(excel_writer, sheet_name='Sheet1', na_rep='', float_format=None, columns=None,header=True, index=True, index_label=None,···)

3.1.8 Pandas 统计功能

Pandas基于NumPy，同样可以使用NumPy的函数对数据框进行描述性统计
pandas还提供了更加便利的方法来计算均值，如detail['amounts'].mean()
pandas还提供了一个方法叫作describe，能够一次性得出数据框所有数值型特征的非空值数目、均值、四分位数、标准差。

方法名称	说明	方法名称	说明
`min`	最小值	`max`	最大值
`mean`	均值	`ptp`	极差
`median`	中位数	`std`	标准差
`var`	方差	`cov`	协方差
`sem`	标准误差	`mode`	众数
`skew`	样本偏差	`kurt`	样本峰度
`quantile`	四分位数	`count`	非空值数目
`describe`	描述统计	`mad`	平均绝对离差

3.2 数据处理

3.2.1 处理缺失值

pandas支持多种方法处理缺失值，可以直接调用函数进行处理

方法	描述
`droppna`	根据每个标签的值是否缺失数据来筛选标签，并根据允许缺失的数据来确定阈值
`fillna`	用某些值填充缺失的数据或使用插值方法
`isnull`	返回表明哪些值是缺失值的布尔值
`notnull`	isnull的反函数

DataFrame.dropna(self, axis=0, how='any', thresh=None, subset=None, inplace=False)
- how：选择方式是全为空还是部分为空
DataFrame.fillna(value=None, method=None, axis=None, inplace=False, limit=None, **kwargs)
- value：它是一个用于填充空值的值
- method：一种用于填充重新索引的Series中的空值的方法

3.2.2 处理重复值

DataFrame.drop_duplicates(subset=['A','B'],keep='first',inplace=True)
- subset：列名，表示只考虑这两列，将这两列对应值相同的行进行去重。默认为subset=None表示考虑所有列
- keep='first'：保留第一次出现的重复行，是默认值。keep另外两个取值为“last”和False，分别表示保留最后一次出现的重复行和去除所有重复行
- inplace=True：表示直接在原来的DataFrame上删除重复项，而默认值False表示生成一个副本

3.2.3 数据离散分箱

连续数值经常需要离散化，或者分离成箱子进行分析。如果相对数据进行分组，需要借用cut函数和qcut函数

pandas.cut(x, bins, right=True, labels=None, retbins=False, precision=3, duplicates='raise’)
pandas.qcut(x, bins, labels=None, retbins=False, precision=3, duplicates='raise’)
- x：被切分的类数组数据，必须是一维的（不能用DataFrame）
- bins：bins是被切割后的区间，有3中形式：一个int型的标量、标量序列（数组）或pandas.IntervalIndex
- right： bool型参数，默认为True，表示是否包含区间右部。比如如果bins=[1,2,3]，right=True，则区间为(1,2],(2,3]；right=False，则区间为(1,2),(2,3)
- labels：给分割后的bins打标签，比如把年龄x分割成年龄段bins后，可以给年龄段打上诸如青年、中年的标签
- retbins：是否返回bins
- precision：数据精度
- duplicates：是否允许重复区间。有两种选择：raise：不允许，drop：允许

3.2.4 哑变量处理

将分类变量转换成‘虚拟’或‘指标’矩阵式是另一种用于统计建模或机器学习的转换操作。pandas有一个函数get_dummies函数用于实现该功能。

pandas.get_dummies(data, prefix=None, prefix_sep='_', dummy_na=False, columns=None, sparse=False, drop_first=False)
- data：输入的数据
- prefix：转换后，列名的前缀
- columns：指定需要实现类别转换的列名
- dummy_na：增加一列表示空缺值，如果False就忽略空缺值
- drop_first：获得k中的k-1个类别值，去除第一个，默认False

3.3 数据规整

3.3.1 Pandas 按键合并数据

pandas.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False, keys=None, levels=None, names=None, verify_integrity=False, sort=None, copy=True)
- objs：Series，DataFrame或Panel对象的序列或映射
- axis：{0,1，…}，默认为0。沿着连接的轴
- join：{‘inner’，‘outer’}，默认为“outer” 处理其他轴上的索引。outer为并集，inner为交集
DataFrame.append(other, ignore_index=False, verify_integrity=False, sort=False)
- other：DataFrame、Series、dict、list这样的数据结构
- ignore_index：默认值为False，如果为True则不使用index标签
- verify_integrity：默认值为False，如果为True当创建相同的index时会抛出ValueError的异常

3.3.2 Pandas 值合并

DataFrame.join(other, on=None, how='left', lsuffix='', rsuffix='', sort=False)
- other：DataFrame，或者带有名字的Series，或者DataFrame的list如果传递的是Series，那么其name属性应当是一个集合，并且该集合将会作为结果DataFrame的列名
- on：列名称，或者列名称的list/tuple，或者类似形状的数组连接的列，默认使用索引连接
- how：{‘left’, ‘right’ ‘outer’, ‘inner’}, default:‘left’ ，默认为左连接
- lsuffix：string左DataFrame中重复列的后缀
- rsuffix：string右DataFrame中重复列的后缀
- sort：boolean, default False按照字典顺序对结果在连接键上排序。如果为False，连接键的顺序取决于连接类型（关键字）

3.3.3 Pandas 合并重叠数据

在处理数据的过程中，当一个DataFrame对象中出现了缺失数据，而对于这些缺失数据，我们希望可以使用其他DataFrame对象中的数据填充，这时可以通过combine_first()方法填充缺失数据

DataFrame.combine_first(other)
- other：接收填充缺失值的DataFrame对象

3.4 分组聚合

3.4.1 groupby 技术

groupby就是按xx分组, 比如, 将一个数据集按A进行分组

DataFrame.groupby(by=None, axis=0, level=None, as_index=True, sort=True, group_keys=True, squeeze=False, **kwargs)
- by：用来指定作用于index的函数、字典、Series对象或指定列名作为分组依据

3.4.2 groupby常见分组示例

根据不同的键进行分组

单键分组：DataFrame.groupby('key').method()
多键分组：DataFrame.groupby(['key1',···，'keyn']).method()

分组后对指定列的值进行计算

DataFrame.groupby(['key1',···'keyn'])['val1',···，'valn'].method()

groupby支持的方法

方法	描述	方法	描述
`count`	分组中的非NA值	`sum`	非NA值得累和
`mean`	非NA值得均值	`median`	非NA值的算数中位数
`std、var`	无偏标准差和方差	`min、max`	非NA的最小值和最大值
`prod`	非NA值的乘积	`first、last`	非NA的第一个值和最后一个值
`guantile(n)`	计算Series或DataFrame列的样本分位数	`n ∈ (0,1)`

3.4.3 groupby逐列多函数应用

如果已经存在分好组的数据，可以借助agg函数对一列数据应用多个函数，或者对不同列应用不同函数
对一列数据应用多个函数

已分组数据：grouped=DataFrame.groupby(‘key1’)[‘col1’]
对分组后数据应用多个函数：grouped.agg([‘fun1’,’fun2’，···,’funn’])
这里直接输入函数名的字符串即可，函数可以是自定义函数。
已分组数据：grouped=DataFrame.groupby(‘key1’)[‘col1’，‘col2’]
对分组后数据应用多个函数：grouped.agg({‘col1’:[‘fun1’,’fun2’，···,’funn’], ‘col2’:[‘fun1’,’fun2’，···,’funm’]})

3.4.4 apply 函数

apply函数也可以对groupby的结果进行操作，函数具体的使用参数如下

DataFrame.apply(func, axis=0, broadcast=False, raw=False, reduce=None, args=(), **kwds)
- func：apply应用的函数
- axis：函数应用的轴向，0是纵向，1是横向

apply 函数和agg 函数辨析(不同点)

apply 函数
- 对整个分组下的整体数据应用，可以返回多个值
- 一次只能应用一个方法
- 可选方向
agg 函数
- 单独对分组的某列数据进行计算，只能返回一个结果
- 一次能使用多个方法
- 只能对列计算

3.4.5 数据透视表

透视表根据一个或者多个键聚合一张表的数据，将数据在矩形格式中排列，其中一部分分组键沿着行，另一部分沿着列。实现该功能可以借助pivot_table函数实现

pandas.pivot_table(data, values=None, index=None, columns=None, aggfunc='mean', fill_value=None, margins=False, dropna=True, margins_name='All’)
- data：要处理的数据
- index/columns：在结果透视表行/列上进行分组的列名或者其他分组键
- values：需要聚合的列名，默认聚合所有列
- aggfunc：值的聚合方式(默认的是求平均)
- margins：总计
- fill_value：当出现nan值时，用什么填充
- dropna：是否去掉nan值

3.4.6 交叉表

交叉表是透视表的一个特殊情况，计算的是分组中的频率。主要使用crosstable函数实现

pandas.crosstab(index, columns, values=None, rownames=None, colnames=None, aggfunc=None,margins=False, dropna=True, normalize=False)
- index：在结果交叉表行上进行分组的列名或者其他分组键
- columns：在结果交叉表列上进行分组的列名或者其他分组键
- values：需要聚合的列名
- aggfuunc：值的聚合方式(默认的是求平均)
- margins：总计
- fill_value：当出现nan值时，用什么填充
- dropna：是否去掉nan值

3.5 时间序列

3.5.1 时间数据

时间序列在很多领域都是常用的一种数据结构形式，例如金融、经济、物理等。在不用的时间点观测的数据形成了时间序列。

时间戳：具体时刻
时间区间：固定的时间间隔
时间间隔：由开始和结束时间戳表示，时间区间被认为是时间间隔的特殊情况

3.5.2 时间戳

许多文件中时间数据会被存储成字符串的格式，可以借助函数讲字符串转换成时间数据格式。
时间戳函数

pandas.Timestamp(ts_input,freq=None, tz=None, unit=None, year=None, month=None, day=None, hour=None, minute=None, second=None, microsecond=None, nanosecond=None, tzinfo=None, *, fold=None)
- ts_input：要转换为Timestamp的值
- unit：可以为[‘D’, ‘h’ ,‘m’, ‘ms’ ,‘s’, ‘ns’]

整列转换成时间

pandas.to_datetime(arg, errors=‘raise’, dayfirst=False, yearfirst=False, utc=None, format=None, exact=True, unit=None, infer_datetime_format=False, origin=‘unix’, cache=True）
- dayfirst/yearfirst：表示传入数据的前两位数为天/年
- format：自定义输出格式，如“%Y-%m-%d”、

3.5.3 时间序列

除了将字符串转化成时间格式，Pands还支持生成时间序列。生成时间序列需要调用date_range函数

pandas.date_range(start=None, end=None, periods=None, freq='D', tz=None, normalize=False, name=None, closed=None, **kwargs)
- periods：固定时期，取值为整数或None
- freq：日期偏移量，取值为string或DateOffset，默认为’D’
- normalize：若参数为True表示将start、end参数值正则化到午夜时间戳
- name：生成时间索引对象的名称，取值为string或None
- closed：可以理解成在closed=None情况下返回的结果中，若closed=‘left’表示在返回的结果基础上，再取左开右闭的结果，若closed='right’表示在返回的结果基础上，再取做闭右开的结果

3.5.4 时间索引

Pandas支持将时间序列数据设置为索引，常见的索引有DatetimeIndex和PeriodIndex两种。二者区别在日常使用的过程中相对较小，其中DatetimeIndex是用来指代一系列时间点的一种数据结构，而PeriodIndex则是用来指代一系列时间段的数据结构

pandas.DatetimeIndex(data=None, freq=<no_default>, tz=None, normalize=False, closed=None, ambiguous='raise', dayfirst=False, yearfirst=False, dtype=None, copy=False, name=None)
- data：接收array。表示DatetimeIndex的值。无默认
- freq：接收string。表示时间的间隔频率。无默认
- start：接收string。表示生成规则时间数据的起始点。无默认
- periods：表示需要生成的周期数目。无默认
- end：接收string。表示生成规则时间数据的终结点。无默认
- ts：接收timezone。表示数据的时区。默认为None
- name：接收int，string。默认为空。指定DatetimeIndex的名字

3.5.5 时间索引操作

将时间序列设置为索引，可以执行多种数据处理的简便操作

功能	函数示例
取指定一段时间的数据	`df[data1:data2]`
取指定年、月、日的数据	`df[df.index.mouth==3]`
取指定时间段的数据	`df[(df.index.hour > 8) & (df.index.hour <12)]`或者`df.between_time('08:00','12:00')`

面对大量的时间数据时可以借用resample函数对时间序列进行采样

DataFrame.resample(rule)
- rule：表示目标转换的偏移字符串或对象，一般是时间参数，比如“M”，“A”，“Q”，“BM”，“BA”， “ BQ”和“W”
- 采样后的数据是一个resample.DatetimeIndexResampler的数据，无法直接查看