作者 | 俊欣

来源 | 关于数据分析与可视化

今天小编打算来讲一讲数据分析方面的内容,整理和总结一下Pandas在数据预处理和数据分析方面的硬核干货,我们大致会说

  • Pandas计算交叉列表

  • Pandas将字符串与数值转化成时间类型

  • Pandas将字符串转化成数值类型

Pandas当中的交叉列表

首先我们来讲一下Pandas模块当中的crosstab()函数,它的作用主要是进行分组之后的信息统计,里面会用到聚合函数,默认的是统计行列组合出现的次数,参数如下

pandas.crosstab(index, columns,values=None,rownames=None,colnames=None,aggfunc=None,margins=False,margins_name='All',dropna=True,normalize=False)

下面小编来解释一下里面几个常用的函数

  • index: 指定了要分组的类目,作为行

  • columns: 指定了要分组的类目,作为列

  • rownames/colnames: 行/列的名称

  • aggfunc: 指定聚合函数

  • values: 最终在聚合函数之下,行与列一同计算出来的值

  • normalize: 标准化统计各行各列的百分比

我们通过几个例子来进一步理解corss_tab()函数的作用,我们先导入要用到的模块并且读取数据集

import pandas as pddf = pd.read_excel(io="supermarkt_sales.xlsx",engine="openpyxl",sheet_name="Sales",skiprows=3,usecols="B:R",nrows=1000,
)

output

我们先简单来看几个corsstab()函数的例子,代码如下

pd.crosstab(df['城市'], df['顾客类型'])

output

顾客类型   会员   普通
省份
上海    124  115
北京    116  127
四川     26   35
安徽     28   12
广东     30   36
.......

这里我们将省份指定为行索引,将会员类型指定为列,其中顾客类型有“会员”、“普通”两种,举例来说,四川省的会员顾客有26名,普通顾客有35名。

当然我们这里只是指定了一个列,也可以指定多个,代码如下

pd.crosstab(df['省份'], [df['顾客类型'], df["性别"]])

output

顾客类型  会员      普通
性别    女性  男性  女性  男性
省份
上海    67  57  53  62
北京    53  63  59  68
四川    17   9  16  19
安徽    17  11   9   3
广东    18  12  15  21
.....

这里我们将顾客类型进行了细分,有女性会员、男性会员等等,那么同理,对于行索引我们也可以指定多个,这里也就不过多进行演示。

有时候我们想要改变行索引的名称或者是列方向的名称,我们则可以这么做

pd.crosstab(df['省份'], df['顾客类型'],colnames = ['顾客的类型'],rownames = ['各省份名称'])

output

顾客的类型  会员   普通
各省份名称
上海    124  115
北京    116  127
四川     26   35
安徽     28   12
广东     30   36

要是我们想在行方向以及列方向上加一个汇总的列,就需要用到crosstab()方法当中的margin参数,如下

pd.crosstab(df['省份'], df['顾客类型'], margins = True)

output

顾客类型   会员   普通   All
省份
上海    124  115   239
北京    116  127   243
.....
江苏     18   15    33
浙江    119  111   230
黑龙江    14   17    31
All   501  499  1000

你也可以给汇总的那一列重命名,用到的是margins_name参数,如下

pd.crosstab(df['省份'], df['顾客类型'],margins = True, margins_name="汇总")

output

顾客类型   会员   普通   汇总
省份
上海    124  115   239
北京    116  127   243
.....
江苏     18   15    33
浙江    119  111   230
黑龙江    14   17    31
汇总   501  499  1000

而如果我们需要的数值是百分比的形式,那么就需要用到normalize参数,如下

pd.crosstab(df['省份'], df['顾客类型'],normalize=True)

output

顾客类型     会员     普通
省份
上海    0.124  0.115
北京    0.116  0.127
四川    0.026  0.035
安徽    0.028  0.012
广东    0.030  0.036
.......

要是我们更加倾向于是百分比,并且保留两位小数,则可以这么来做

pd.crosstab(df['省份'], df['顾客类型'],normalize=True).style.format('{:.2%}')

output

顾客类型  会员   普通
省份
上海     12.4%   11.5%
北京     11.6%   12.7%
四川     26%     35%
安徽     28%     12%
广东     30%     36%
.......

下面我们指定聚合函数,并且作用在我们指定的列上面,用到的参数是aggfunc参数以及values参数,代码如下

pd.crosstab(df['省份'], df['顾客类型'],values = df["总收入"],aggfunc = "mean")

output

顾客类型         会员         普通
省份
上海    15.648738  15.253248
北京    14.771259  14.354390
四川    20.456135  14.019029
安徽    10.175893  11.559917
广东    14.757083  18.331903
.......

如上所示,我们所要计算的是地处“上海”并且是“会员”顾客的总收入的平均值,除了平均值之外,还有其他的聚合函数,如np.sum加总或者是np.median求取平均值。

我们还可以指定保留若干位的小数,使用round()函数

df_1 = pd.crosstab(df['省份'], df['顾客类型'],values=df["总收入"],aggfunc="mean").round(2)

output

顾客类型     会员     普通
省份
上海    15.65  15.25
北京    14.77  14.35
四川    20.46  14.02
安徽    10.18  11.56
广东    14.76  18.33
.......

时间类型数据的转化

对于很多数据分析师而言,在进行数据预处理的时候,需要将不同类型的数据转换成时间格式的数据,我们来看一下具体是怎么来进行

首先是将整形的时间戳数据转换成时间类型,看下面的例子

df = pd.DataFrame({'date': [1470195805, 1480195805, 1490195805],'value': [2, 3, 4]})
pd.to_datetime(df['date'], unit='s')

output

0   2016-08-03 03:43:25
1   2016-11-26 21:30:05
2   2017-03-22 15:16:45
Name: date, dtype: datetime64[ns]

上面的例子是精确到秒,我们也可以精确到天,代码如下

df = pd.DataFrame({'date': [1470, 1480, 1490],'value': [2, 3, 4]})
pd.to_datetime(df['date'], unit='D')

output

0   1974-01-10
1   1974-01-20
2   1974-01-30
Name: date, dtype: datetime64[ns]

下面则是将字符串转换成时间类型的数据,调用的也是pd.to_datetime()方法

pd.to_datetime('2022/01/20', format='%Y/%m/%d')

output

Timestamp('2022-01-20 00:00:00')

亦或是

pd.to_datetime('2022/01/12 11:20:10',format='%Y/%m/%d %H:%M:%S')

output

Timestamp('2022-01-12 11:20:10')

这里着重介绍一下Python当中的时间日期格式化符号

  • %y 两位数的年份表示(00-99)

  • %Y 四位数的年份表示(000-9999)

  • %m 表示的是月份(01-12)

  • %d 表示的是一个月当中的一天(0-31)

  • %H 表示的是24小时制的小时数

  • %I 表示的是12小时制的小时数

  • %M 表示的是分钟数 (00-59)

  • %S 表示的是秒数(00-59)

  • %w 表示的是星期数,一周当中的第几天,从星期天开始算

  • %W 表示的是一年中的星期数

当然我们进行数据类型转换遇到错误的时候,pd.to_datetime()方法当中的errors参数就可以派上用场,

df = pd.DataFrame({'date': ['3/10/2000', 'a/11/2000', '3/12/2000'],'value': [2, 3, 4]})
# 会报解析错误
df['date'] = pd.to_datetime(df['date'])

output

我们来看一下errors参数的作用,代码如下

df['date'] = pd.to_datetime(df['date'], errors='ignore')
df

output

date      value
0 3/10/2000   2
1 a/11/2000   3
2 3/12/2000   4

或者将不准确的值转换成NaT,代码如下

df['date'] = pd.to_datetime(df['date'], errors='coerce')
df

output

date       value
0 2000-03-10   2
1 NaT          3
2 2000-03-12   4

数值类型的转换

接下来我们来看一下其他数据类型往数值类型转换所需要经过的步骤,首先我们先创建一个DataFrame数据集,如下

df = pd.DataFrame({'string_col': ['1','2','3','4'],'int_col': [1,2,3,4],'float_col': [1.1,1.2,1.3,4.7],'mix_col': ['a', 2, 3, 4],'missing_col': [1.0, 2, 3, np.nan],'money_col': ['£1,000.00','£2,400.00','£2,400.00','£2,400.00'],'boolean_col': [True, False, True, True],'custom': ['Y', 'Y', 'N', 'N']})

output

我们先来查看一下每一列的数据类型

df.dtypes

output

string_col      object
int_col          int64
float_col      float64
mix_col         object
missing_col    float64
money_col       object
boolean_col       bool
custom          object
dtype: object

可以看到有各种类型的数据,包括了布尔值、字符串等等,或者我们可以调用df.info()方法来调用,如下

df.info()

output

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 4 entries, 0 to 3
Data columns (total 8 columns):#   Column       Non-Null Count  Dtype
---  ------       --------------  -----  0   string_col   4 non-null      object 1   int_col      4 non-null      int64  2   float_col    4 non-null      float643   mix_col      4 non-null      object 4   missing_col  3 non-null      float645   money_col    4 non-null      object 6   boolean_col  4 non-null      bool   7   custom       4 non-null      object
dtypes: bool(1), float64(2), int64(1), object(4)
memory usage: 356.0+ bytes

我们先来看一下从字符串到整型数据的转换,代码如下

df['string_col'] = df['string_col'].astype('int')
df.dtypes

output

string_col       int32
int_col          int64
float_col      float64
mix_col         object
missing_col    float64
money_col       object
boolean_col       bool
custom          object
dtype: object

看到数据是被转换成了int32类型,当然我们指定例如astype('int16')astype('int8')或者是astype('int64'),当我们碰到量级很大的数据集时,会特别的有帮助。

那么类似的,我们想要转换成浮点类型的数据,就可以这么来做

df['string_col'] = df['string_col'].astype('float')
df.dtypes

output

string_col     float64
int_col          int64
float_col      float64
mix_col         object
missing_col    float64
money_col       object
boolean_col       bool
custom          object
dtype: object

同理我们也可以指定转换成astype('float16')astype('float32')或者是astype('float128')

而如果数据类型的混合的,既有整型又有字符串的,正常来操作就会报错,如下

df['mix_col'] = df['mix_col'].astype('int')

output

当中有一个字符串的数据"a",这个时候我们可以调用pd.to_numeric()方法以及里面的errors参数,代码如下

df['mix_col'] = pd.to_numeric(df['mix_col'], errors='coerce')
df.head()

output

我们来看一下各列的数据类型

df.dtypes

output

string_col     float64
int_col          int64
float_col      float64
mix_col        float64
missing_col    float64
money_col       object
boolean_col       bool
custom          object
dtype: object

"mix_col"这一列的数据类型被转换成了float64类型,要是我们想指定转换成我们想要的类型,例如

df['mix_col'] = pd.to_numeric(df['mix_col'], errors='coerce').astype('Int64')
df['mix_col'].dtypes

output

Int64Dtype()

而对于"money_col"这一列,在字符串面前有一个货币符号,并且还有一系列的标签符号,我们先调用replace()方法将这些符号给替换掉,然后再进行数据类型的转换

df['money_replace'] = df['money_col'].str.replace('£', '').str.replace(',','')
df['money_replace'] = pd.to_numeric(df['money_replace'])
df['money_replace']

output

0    1000.0
1    2400.0
2    2400.0
3    2400.0
Name: money_replace, dtype: float64

要是你熟悉正则表达式的话,也可以通过正则表达式的方式来操作,通过调用regex=True的参数,代码如下

df['money_regex'] = df['money_col'].str.replace('[\£\,]', '', regex=True)
df['money_regex'] = pd.to_numeric(df['money_regex'])
df['money_regex']

另外我们也可以通过astype()方法,对多个列一步到位进行数据类型的转换,代码如下

df = df.astype({'string_col': 'float16','int_col': 'float16'
})

或者在第一步数据读取的时候就率先确定好数据类型,代码如下

df = pd.read_csv('dataset.csv', dtype={'string_col': 'float16','int_col': 'float16'}
)

资讯

冬奥会夺金背后的杀手锏,是他

资讯

首个深度强化学习AI,控制核聚变

技术

真香,邮件分类准确识别垃圾邮件

技术

程序员元宵节的正确打开方式

分享

点收藏

点点赞

点在看

22个案例详解Pandas数据分析/预处理时的实用技巧,超简单相关推荐

  1. 【原创干货】6000字、22个案例详解Pandas数据分析/预处理时的实用技巧,超简单...

    上两篇原创的文章,小编主要是讲了数据可视化方面的内容,但是好像看得人不是很多的样子(搞得小编心里拔凉拔凉的....) [硬核干货]4500字.10个案例分享几个Python可视化小技巧,助你绘制高质量 ...

  2. 【Python】6000字、22个案例详解Pandas数据分析/预处理时的实用技巧,超简单

    上两篇原创的文章,小编主要是讲了数据可视化方面的内容,但是好像看得人不是很多的样子(搞得小编心里拔凉拔凉的....) [硬核干货]4500字.10个案例分享几个Python可视化小技巧,助你绘制高质量 ...

  3. 22个案例详解 Pandas 数据分析/预处理时的实用技巧,超简单

    作者 | 俊欣 来源 | 关于数据分析与可视化 今天小编打算来讲一讲数据分析方面的内容,整理和总结一下Pandas在数据预处理和数据分析方面的硬核干货,我们大致会说 Pandas计算交叉列表 Pand ...

  4. 基于python的数据建模与分析案例_基于案例详解Python数据分析与机器学习

    课程概述: 使用数据领域最主流语言Python及其分析与建模库作为核心武器.对于机器学习经典算法给出完整的原理推导并基于实例进行讲解,基于案例演示如何应用机器学习算法解决实际问题. 课程特色: 通俗易 ...

  5. 20个案例详解 Pandas 当中的数据统计分析与排序

    作者 | 俊欣 来源 | 关于数据分析与可视化 今天小编来给大家讲一下Pandas模块当中的数据统计与排序,说到具体的就是value_counts()方法以及sort_values()方法. valu ...

  6. 【精华总结】全文4000字、20个案例详解Pandas当中的数据统计分析与排序

    今天小编来给大家讲一下Pandas模块当中的数据统计与排序,说到具体的就是value_counts()方法以及sort_values()方法. value_counts()方法,顾名思义,主要是用于计 ...

  7. pandas:案例详解 rename函数 修改列名和行名

    pandas:案例详解rename函数 修改列名和索引 rename函数简介 0 构建学习数据 1 修改索引两种方式 2 修改列名两种方式 3 是否替换原列表 3 pandas 字母转换大小写 3 使 ...

  8. python编程入门与案例详解-quot;Python小屋”免费资源汇总(截至2018年11月28日)...

    原标题:"Python小屋"免费资源汇总(截至2018年11月28日) 为方便广大Python爱好者查阅和学习,特整理汇总微信公众号"Python小屋"开通29 ...

  9. 一文详解Pandas

    一文详解Pandas 一.Pandas概述 二.Pandas数据结构 2.1 Series 2.2 DataFrame数据结构 二.数学与统计计算 三.DataFrame的文件操作 3.1 读取文件 ...

最新文章

  1. 如何在python开发的GUI界面程序中恰当地使用PyExecJS
  2. python递归函数特点_python中对递归函数的理解
  3. 工作日报模板_千份财会人通用工作模板:自动核算工资、财务分析报表等等
  4. redis集群搭建踩坑笔记
  5. 大数相加c语言思路,大数相加
  6. 在linux程序里面,知道一个函数地址,改函数是属于某个动态库的,怎么样得到这个动态库的全【转】...
  7. java写pdf_java写出PDF
  8. LeetCode(2)——两数相加(JavaScript)
  9. Ionic Cordova实现软键盘的监听 以及操作大全
  10. React Native随笔 2--重要函数
  11. [置顶]常用存储过程集锦
  12. Anaconda不同平台的安装方式
  13. 死磕Android_App 启动过程(含 Activity 启动过程)
  14. 汇编语言答案-王爽第三版
  15. python中的类及self详解_python中的self详解与对照与网站分享
  16. 关于欧几里德第五公设的感言
  17. java native方法_深入理解Java虚拟机
  18. Itext 中的文本信息绝对定位
  19. win7装linux系统安装,科学网—Win7 和Linux 双系统的安装 - 刘立兴的博文
  20. 用python实现房贷计算器

热门文章

  1. IIS8 添加配置 WCF服务
  2. 这就是我向您推荐使用Thunderbird邮件客户端的理由
  3. 浏览器前进后退对下拉框数据的丢失(省市联动实现和例子)
  4. 学习Spring中遇到关于BeanFactory及测试类的问题
  5. js字符串加密的几种方法
  6. 字符串还可以这样初始化--uboot篇
  7. 现实迷途 第七章 特殊客户
  8. OCS 2007 聊天记录查看工具 OCSMessage
  9. Jquery获取选中行的某个数据
  10. C#第一个程序Helloworld