Python之Pandas文本处理
一、str对象
1.str对象的设计意图
str对象是定义在Index或Series上的属性,专门用于处理每个元素的文本内容,其内部定义了大量方法,因此对一个序列进行文本处理,首先需要获取其str对象。在Python标准库中也有str模块,为了使用上的便利,有许多函数的用法pandas照搬了它的设计,例如字母转为大写的操作。
import numpy as np
import pandas as pdvar = 'abcd'
str.upper(var) # Python内置str模块
# result: 'ABCD's = pd.Series(['abcd', 'efg', 'hi'])
# result: <pandas.core.strings.accessor.StringMethods at 0x1488ea6db08>s.str.upper() # pandas中str对象上的upper方法
# result:
0 ABCD
1 EFG
2 HI
dtype: object
2.[]索引器
对于str对象而言,可理解为其对字符串进行了序列化的操作,例如在一般的字符串中,通过[]可以取出某个位置的元素。
var[0]
# result: 'a'# 切片
var[-1: 0: -2]
# result: 'db'
通过对str对象使用[]索引器,可以完成完全一致的功能,并且如果超出范围则返回缺失值。
s.str[0]
# result:
0 a
1 e
2 h
dtype: objects.str[-1: 0: -2]
# result:
0 db
1 g
2 i
dtype: objects.str[2]
# result:
0 c
1 g
2 NaN
dtype: object
3.string类型
在上一关提到,从pandas的1.0.0版本开始,引入了string类型,其引入的动机在于:原来所有的字符串类型都会以object类型的Series进行存储,但object类型只应当存储混合类型,例如同时存储浮点、字符串、字典、列表、自定义类型等,因此字符串有必要同数值型或category一样,具有自己的数据存储类型,从而引入了string类型。
总体上说,绝大多数对于object和string类型的序列使用str对象方法产生的结果是一致,但是在下面提到的两点上有较大差异:
首先,应当尽量保证每一个序列中的值都是字符串的情况下才使用str属性,但这并不是必须的,其必要条件是序列中至少有一个可迭代(Iterable)对象,包括但不限于字符串、字典、列表。对于一个可迭代对象,string类型的str对象和object类型的str对象返回结果可能是不同的。
s = pd.Series([{1: 'temp_1', 2: 'temp_2'}, ['a', 'b'], 0.5, 'my_string'])
s.str[1]
# result:
0 temp_1
1 b
2 NaN
3 y
dtype: objects.astype('string').str[1]
# result:
0 1
1 '
2 .
3 y
dtype: string
除了最后一个字符串元素,前三个元素返回的值都不同,其原因在于当序列类型为object时,是对于每一个元素进行[]索引,因此对于字典而言,返回temp_1字符串,对于列表则返回第二个值,而第三个为不可迭代对象,返回缺失值,第四个是对字符串进行[]索引。而string类型的str对象先把整个元素转为字面意义的字符串,例如对于列表而言,第一个元素即 "{",而对于最后一个字符串元素而言,恰好转化前后的表示方法一致,因此结果和object类型一致。
除了对于某些对象的str序列化方法不同之外,两者另外的一个差别在于,string类型是Nullable类型,但object不是。这意味着string类型的序列,如果调用的str方法返回值为整数Series和布尔Series时,其分别对应的dtype是Int和boolean的Nullable类型,而object类型则会分别返回int/float和bool/object,取决于缺失值的存在与否。同时,字符串的比较操作,也具有相似的特性,string返回Nullable类型,但object不会。
s = pd.Series(['a'])
s.str.len()
# result:
0 1
dtype: int64s.astype('string').str.len()
# result:
0 1
dtype: int64s == 'a'
# result:
0 True
dtype: bools.astype('string') == 'a'
# result:
0 True
dtype: bools = pd.Series(['a', np.nan]) # 带有缺失值
s.str.len()
# result:
0 1.0
1 NaN
dtype: float64s.astype('string').str.len()
# result:
0 1
1 <NA>
dtype: Int64s == 'a'
# result:
0 True
1 False
dtype: bools.astype('string') == 'a'
# result:
0 True
1 <NA>
dtype: boolean
需要注意的是,对于全体元素为数值类型的序列,即使其类型为object或者category也不允许直接使用str属性。如果需要把数字当成string类型处理,可以使用astype强制转换为string类型的Series。
s = pd.Series([12, 345, 6789])
s.astype('string').str[1]
# result:
0 2
1 4
2 7
dtype: string
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
二、正则表达式基础
1.一般字符的匹配
正则表达式是一种按照某种正则模式,从左到右匹配字符串中内容的一种工具。对于一般的字符而言,它可以找到其所在的位置,这里为了演示便利,使用了python中re模块的findall函数来匹配所有出现过但不重叠的模式,第一个参数是正则表达式,第二个参数是待匹配的字符串。例如,在下面的字符串中找出apple。
import re
re.findall(r'Apple', 'Apple! This Is an Apple!')
# result:
['Apple', 'Apple']
2.元字符基础
元字符 描述
. 匹配除换行符以外的任意字符
[ ] 字符类,匹配方括号中包含的任意字符
[^ ] 否定字符类,匹配方括号中不包含的任意字符
* 匹配前面的子表达式零次或多次
+ 匹配前面的子表达式一次或多次
? 匹配前面的子表达式零次或一次
{n,m} 花括号,匹配前面字符至少 n 次,但是不超过 m 次
(xyz) 字符组,按照确切的顺序匹配字符xyz
| 分支结构,匹配符号之前的字符或后面的字符
\ 转义符,它可以还原元字符原来的含义
^ 匹配行的开始
$ 匹配行的结束
re.findall(r'.', 'abc')
# result: ['a', 'b', 'c']re.findall(r'[ac]', 'abc')
# result: ['a', 'c']re.findall(r'[^ac]', 'abc')
# result: ['b']re.findall(r'[ab]{2}', 'aaaabbbb') # {n}指匹配n次
# result: ['aa', 'aa', 'bb', 'bb']re.findall(r'aaa|bbb', 'aaaabbbb')
# result: ['aaa', 'bbb']re.findall(r'a\\?|a\*', 'aa?a*a')
# result: ['a', 'a', 'a', 'a']re.findall(r'a?.', 'abaacadaae')
# result: ['ab', 'aa', 'c', 'ad', 'aa', 'e']
3.简写字符集
正则表达式中还有一类简写字符集,其等价于一组字符的集合。
简写 描述
\w 匹配所有字母、数字、下划线: [a-zA-Z0-9_]
\W 匹配非字母和数字的字符: [^\w]
\d 匹配数字: [0-9]
\D 匹配非数字: [^\d]
\s 匹配空格符: [\t\n\f\r\p{Z}]
\S 匹配非空格符: [^\s]
\B 匹配一组非空字符开头或结尾的位置,不代表具体字符
re.findall(r'.s', 'Apple! This Is an Apple!')
# result: ['is', 'Is']re.findall(r'\w{2}', '09 8? 7w c_ 9q p@')
# result: ['09', '7w', 'c_', '9q']re.findall(r'\w\W\B', '09 8? 7w c_ 9q p@')
# result: ['8?', 'p@']re.findall(r'.\s.', 'Constant dropping wears the stone.')
# result: ['t d', 'g w', 's t', 'e s']re.findall(r'上海市(.{2,3}区)(.{2,3}路)(\d+号)', '上海市黄浦区方浜中路249号 上海市宝山区密山路5号')
# result: [('黄浦区', '方浜中路', '249号'), ('宝山区', '密山路', '5号')]
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
三、文本处理的五类操作
1.拆分
str.split能够把字符串的列进行拆分,其中第一个参数为正则表达式,可选参数包括从左到右的最大拆分次数n,是否展开为多个列expand。
s = pd.Series(['上海市黄浦区方浜中路249号', '上海市宝山区密山路5号'])
s.str.split('[市区路]')
# result:
0 [上海, 黄浦, 方浜中, 249号]
1 [上海, 宝山, 密山, 5号]
dtype: objects.str.split('[市区路]', n=2, expand=True)
# result: 0 1 2
0 上海 黄浦 方浜中路249号
1 上海 宝山 密山路5号
2.合并
关于合并一共有两个函数,分别是str.join和str.cat。str.join表示用某个连接符把Series中的字符串列表连接起来,如果列表中出现了非字符串元素则返回缺失值。
s = pd.Series([['a','b'], [1, 'a'], [['a', 'b'], 'c']])
s.str.join('-')
# result:
0 a-b
1 NaN
2 NaN
dtype: object
str.cat用于合并两个序列,主要参数为连接符sep、连接形式join以及缺失值替代符号na_rep,其中连接形式默认为以索引为键的左连接。
s1 = pd.Series(['a','b'])
s2 = pd.Series(['cat','dog'])
s1.str.cat(s2,sep='-')
# result:
0 a-cat
1 b-dog
dtype: objects2.index = [1, 2]
s1.str.cat(s2, sep='-', na_rep='?', join='outer')
# result:
0 a-?
1 b-cat
2 ?-dog
dtype: object
3.匹配
str.contains返回了每个字符串是否包含正则模式的布尔序列
s = pd.Series(['my cat', 'he is fat', 'railway station'])
s.str.contains('\s\wat')
# result:
0 True
1 True
2 False
dtype: bool
str.startswith和str.endswith返回了每个字符串以给定模式为开始和结束的布尔序列,它们都不支持正则表达式。
s.str.startswith('my')
# result:
0 True
1 False
2 False
dtype: bools.str.endswith('t')
# result:
0 True
1 True
2 False
dtype: bool
如果需要用正则表达式来检测开始或结束字符串的模式,可以使用str.match,其返回了每个字符串起始处是否符合给定正则模式的布尔序列。
s.str.match('m|h')
# result:
0 True
1 True
2 False
dtype: bools.str[::-1].str.match('ta[f|g]|n') # 反转后匹配
# result:
0 False
1 True
2 True
dtype: bool
除了上述返回值为布尔的匹配之外,还有一种返回索引的匹配函数,即str.find与str.rfind,其分别返回从左到右和从右到左第一次匹配的位置的索引,未找到则返回-1。需要注意的是这两个函数不支持正则匹配,只能用于字符子串的匹配。
s = pd.Series(['This is an apple. That is not an apple.'])
s.str.find('apple')
# result:
0 11
dtype: int64s.str.rfind('apple')
# result:
0 33
dtype: int64
4.替换
str.replace和replace并不是一个函数,在使用字符串替换时应当使用前者。
s = pd.Series(['a_1_b','c_?'])
s.str.replace('\d|\?', 'new', regex=True)
# result:
0 a_new_b
1 c_new
dtype: object
当需要对不同部分进行有差别的替换时,可以利用子组的方法,并且此时可以通过传入自定义的替换函数来分别进行处理,注意group(k)代表匹配到的第k个子组(圆括号之间的内容)。
s = pd.Series(['上海市黄浦区方浜中路249号','上海市宝山区密山路5号','北京市昌平区北农路2号'])
pat = '(\w+市)(\w+区)(\w+路)(\d+号)'
city = {'上海市': 'Shanghai', '北京市': 'Beijing'}
district = {'昌平区': 'CP District','黄浦区': 'HP District','宝山区': 'BS District'}
road = {'方浜中路': 'Mid Fangbin Road','密山路': 'Mishan Road','北农路': 'Beinong Road'}
def my_func(m):str_city = city[m.group(1)]str_district = district[m.group(2)]str_road = road[m.group(3)]str_no = 'No. ' + m.group(4)[:-1]return ' '.join([str_city,str_district,str_road,str_no])
s.str.replace(pat, my_func, regex=True)
# result:
0 Shanghai HP District Mid Fangbin Road No. 249
1 Shanghai BS District Mishan Road No. 5
2 Beijing CP District Beinong Road No. 2
dtype: object
这里的数字标识并不直观,可以使用命名子组更加清晰地写出子组代表的含义。
pat = '(?P<市名>\w+市)(?P<区名>\w+区)(?P<路名>\w+路)(?P<编号>\d+号)'
def my_func(m):str_city = city[m.group('市名')]str_district = district[m.group('区名')]str_road = road[m.group('路名')]str_no = 'No. ' + m.group('编号')[:-1]return ' '.join([str_city,str_district,str_road,str_no])
s.str.replace(pat, my_func, regex=True)
# result:
0 Shanghai HP District Mid Fangbin Road No. 249
1 Shanghai BS District Mishan Road No. 5
2 Beijing CP District Beinong Road No. 2
dtype: object
5.提取
提取既可以认为是一种返回具体元素(而不是布尔值或元素对应的索引位置)的匹配操作,也可以认为是一种特殊的拆分操作。前面提到的str.split例子中会把分隔符去除,这并不是用户想要的效果,这时候就可以用str.extract进行提取。
pat = '(\w+市)(\w+区)(\w+路)(\d+号)'
s.str.extract(pat)
# result: 0 1 2 3
0 上海市 黄浦区 方浜中路 249号
1 上海市 宝山区 密山路 5号
2 北京市 昌平区 北农路 2号pat = '(?P<市名>\w+市)(?P<区名>\w+区)(?P<路名>\w+路)(?P<编号>\d+号)'
s.str.extract(pat)
# result: 市名 区名 路名 编号
0 上海市 黄浦区 方浜中路 249号
1 上海市 宝山区 密山路 5号
2 北京市 昌平区 北农路 2号
str.extractall不同于str.extract只匹配一次,它会把所有符合条件的模式全部匹配出来,如果存在多个结果,则以多级索引的方式存储。
s = pd.Series(['A135T15,A26S5','B674S2,B25T6'], index = ['my_A','my_B'])
pat = '[A|B](\d+)[T|S](\d+)'
s.str.extractall(pat)
# result: 0 1match
my_A 0 135 151 26 5
my_B 0 674 21 25 6pat_with_name = '[A|B](?P<name1>\d+)[T|S](?P<name2>\d+)'
s.str.extractall(pat_with_name)
# result: name1 name2
match
my_A 0 135 151 26 5
my_B 0 674 21 25 6
str.findall的功能类似于str.extractall,区别在于前者把结果存入列表中,而后者处理为多级索引,每个行只对应一组匹配,而不是把所有匹配组合构成列表。
s.str.findall(pat)
# result:
my_A [(135, 15), (26, 5)]
my_B [(674, 2), (25, 6)]
dtype: object
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
四、常用字符串函数
除了上述介绍的五类字符串操作有关的函数之外,str对象上还定义了一些实用的其他方法,下面一一介绍。
1.字母型函数
upper, lower, title, capitalize, swapcase这五个函数主要用于字母的大小写转化,从下面的例子中就容易领会其功能。
s = pd.Series(['lower', 'CAPITALS', 'this is a sentence', 'SwApCaSe'])
s.str.upper()
# result:
0 LOWER
1 CAPITALS
2 THIS IS A SENTENCE
3 SWAPCASE
dtype: objects.str.lower()
# result:
0 lower
1 capitals
2 this is a sentence
3 swapcase
dtype: objects.str.title()
# result:
0 Lower
1 Capitals
2 This Is A Sentence
3 Swapcase
dtype: objects.str.capitalize()
# result:
0 Lower
1 Capitals
2 This is a sentence
3 Swapcase
dtype: objects.str.swapcase()
# result:
0 LOWER
1 capitals
2 THIS IS A SENTENCE
3 sWaPcAsE
dtype: object
2.数值型函数
这里着重介绍的是pd.to_numeric方法,它虽然不是str对象上的方法,但是能够对字符格式的数值进行快速转换和筛选。其主要参数包括errors和downcast分别代表了非数值的处理模式和转换类型。其中,对于不能转换为数值的有三种errors选项,raise, coerce, ignore分别表示直接报错、设为缺失以及保持原来的字符串。
s = pd.Series(['1', '2.2', '2e', '??', '-2.1', '0'])
pd.to_numeric(s, errors='ignore')
# result:
0 1
1 2.2
2 2e
3 ??
4 -2.1
5 0
dtype: objectpd.to_numeric(s, errors='coerce')
# result:
0 1.0
1 2.2
2 NaN
3 NaN
4 -2.1
5 0.0
dtype: float64# 在数据清洗时,可以利用coerce的设定,快速查看非数值型的行
s[pd.to_numeric(s, errors='coerce').isna()]
# result:
2 2e
3 ??
dtype: object
3.统计型函数
count和len的作用分别是返回出现正则模式的次数和字符串的长度
s = pd.Series(['cat rat fat at', 'get feed sheet heat'])
s.str.count('[r|f]at|ee')
# result:
0 2
1 2
dtype: int64s.str.len()
# result:
0 14
1 19
dtype: int64
4.格式型函数
格式型函数主要分为两类,第一种是除空型,第二种是填充型。其中,第一类函数一共有三种,它们分别是strip, rstrip, lstrip,分别代表去除两侧空格、右侧空格和左侧空格。这些函数在数据清洗时是有用的,特别是列名含有非法空格的时候。
my_index = pd.Index([' col1', 'col2 ', ' col3 '])
my_index.str.strip().str.len()
# result: Int64Index([4, 4, 4], dtype='int64')my_index.str.rstrip().str.len()
# result: Int64Index([5, 4, 5], dtype='int64')my_index.str.lstrip().str.len()
# result: Int64Index([4, 5, 5], dtype='int64')
对于填充型函数而言,pad是最灵活的,它可以选定字符串长度、填充的方向和填充内容。
s = pd.Series(['a','b','c'])
s.str.pad(5,'left','*')
# result:
0 ****a
1 ****b
2 ****c
dtype: objects.str.pad(5,'right','*')
# result:
0 a****
1 b****
2 c****
dtype: objects.str.pad(5,'both','*')
# result:
0 **a**
1 **b**
2 **c**
dtype: object
上述的三种情况可以分别用rjust, ljust, center来等效完成,需要注意ljust是指右侧填充而不是左侧填充。
s.str.rjust(5, '*')
# result:
0 ****a
1 ****b
2 ****c
dtype: objects.str.ljust(5, '*')
# result:
0 a****
1 b****
2 c****
dtype: objects.str.center(5, '*')
# result:
0 **a**
1 **b**
2 **c**
dtype: object
在读取excel文件时,经常会出现数字前补0的需求,例如证券代码读入的时候会把"000007"作为数值7来处理,pandas中除了可以使用上面的左侧填充函数进行操作之外,还可用zfill来实现。
s = pd.Series([7, 155, 303000]).astype('string')
# 1
s.str.pad(6,'left','0')
# 2
s.str.rjust(6,'0')
# 3
s.str.zfill(6)
# same result:
0 000007
1 000155
2 303000
dtype: string
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Python之Pandas文本处理相关推荐
- Python之pandas数据加载、存储
Python之pandas数据加载.存储 0. 输入与输出大致可分为三类: 0.1 读取文本文件和其他更好效的磁盘存储格式 2.2 使用数据库中的数据 0.3 利用Web API操作网络资源 1. 读 ...
- python下载文件到本地-Python下载网络文本数据到本地内存的四种实现方法示例
本文实例讲述了Python下载网络文本数据到本地内存的四种实现方法.分享给大家供大家参考,具体如下: import urllib.request import requests from io imp ...
- Python之pandas:数据类型变换之object、category、bool、int32、int64、float64以及数据类型标准化之详细攻略
Python之pandas:数据类型变换之object.category.bool.int32.int64.float64以及数据类型标准化之详细攻略 目录 数据类型变换之object.categor ...
- 使用Python和Pandas的最简单的数据清理方法
在本文中,我们将学习如何使用Python包Pyjanitor简化数据预处理工作.具体来说,我们将学习如何: 向一个Pandasdataframe(数据帧)中添加一个列 删除缺失的值 删除一个空列 清洗 ...
- 【Python】Python中的文本处理
作者 | KahEm Chu 编译 | VK 来源 | Towards Data Science 互联网连接了世界,而Facebook.Twitter和Reddit等社交媒体为人们提供了表达自己对某个 ...
- python可视化添加文本_python Matplotlib基础--如何添加文本和标注
创建一个优秀的可视化图表的关键在于引导读者,让他们能理解图表所讲述的故事.在一些情况下,这个故事可以通过纯图像的方式表达,不需要额外添加文字,但是在另外一些情况中,图表需要文字的提示和标签才能将故事讲 ...
- python使用pandas模块介绍以及使用,dataframe结构,Series结构,基本数据操作,DataFrame运算,pandas画图,存储,缺失值处理,离散化,合并
目录 1 pandas介绍 1.1 Pandas介绍 1.2 为什么使用Pandas 1.3 案例:在numpy当中创建的股票涨跌幅数据形式 1.4 DataFrame 1.4.1 DataFrame ...
- python能以文本和二进制方式处理文件_Python文件处理之文件写入方式与写缓存(三)...
Python的open的写入方式有: write(str):将str写入文件 writelines(sequence of strings):写多行到文件,参数为可迭代对象 首先来看下writelin ...
- Python处理中文文本
Python处理中文文本 author:Ernest 使用Python处理文本是件十分有趣的任务,通过某些操作,你可以自由地获取到你所需要的内容,下面就来看看怎么做吧. 要求 1.选择一部长度合适的小 ...
- Python 网页爬虫 文本处理 科学计算 机器学习 数据挖掘兵器谱
Python 网页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器谱 2015-04-27 程序猿 程序猿 来自:我爱自然语言处理,www.52nlp. ...
最新文章
- python 常量_python学习丨变量与常量
- Java函数式编程知识分享!
- 发动机压缩比怎么计算公式_怎么判断发动机有积碳,发动机积碳多的症状有哪些...
- 用JAVA制作小游戏——推箱子(三)
- 如何搭建lamp(CentOS7+Apache+MySQL+PHP)环境
- http://www.cnblogs.com/ITtangtang/archive/2012/05/21/2511749.html
- 《机器学习实战》代码实现学习一 使用K-近邻算法改进约会网站的配对效果(数据准备)...
- python操作之更新数据库中某个字段的数据
- mysql5.5.9_centos下mysql5.5.9编译安装
- 几楼电路精灵——手机端 原理图 PCB
- python获取本机ip地址_python3 获取本机ip地址
- rf 433/868MHZ sub-1g 无线通信知识系列(5):SX1208数据传输时间 FSK 波特率等相关计算
- Android 移动开发——第十三章——个人理财通(Android Studio 版)
- 计算机故障四类,计算机内存出现问题的四大症状
- 2019年风险投资人 ( VCPE ) 汇总
- 自学MATLAB(四):特征值与特征向量
- 《数据结构课程实践》_01_学生成绩档案管理系统_实现
- motion_model总结
- 文献阅读 Learning Meta Face Recognition in Unseen Domains 2020 CVPR
- 童牧野中国十年股市十大名人 主要书籍著作及论宝塔线
热门文章
- openfeign配置代理服务器
- 思科Cisco vPC技术详解配置
- JS实现数组/对象扁平化
- 企业网站建设教程:自己怎么建网站,做网站的步骤有哪些
- 少年张三丰java版_长这么大才知道,《少年张三丰》有两个版本,更喜欢哪一个版本...
- html代码鼠的故事游戏,分享一个html+js实现打地鼠游戏的实例代码
- 我眼中的嵌入式是这样的!
- “萝卜快跑”,“快”不起来——百度Robotaxi试乘体验
- “只取一瓢饮”的读书
- python selenium ActionChains类与鼠标的模拟事件