第七章 文本数据-学习笔记+练习题
第七章 文本数据
# 导入需要的模块
import numpy as np
import pandas as pd
一、str对象
1. str对象的设计意图
str
对象是定义在Index
或Series
上的属性,专门用于逐元素处理文本内容,其内部定义了大量方法,因此对一个序列进行文本处理,首先需要获取其str
对象。在Python标准库中也有str
模块,为了使用上的便利,有许多函数的用法pandas
照搬了它的设计,例如字母转为大写的操作:
var = 'abcd'
str.upper(var)
# Python内置str模块
'ABCD'
s = pd.Series(['abcd', 'efg', 'hi'])
s.str
<pandas.core.strings.StringMethods at 0x1bc21c019e8>
# pandas中str对象上的upper方法,变成大写
s.str.upper()
0 ABCD
1 EFG
2 HI
dtype: object
根据文档API
材料,在pandas
的50个str
对象方法中,有31个是和标准库中的str
模块方法同名且功能一致,这为批量处理序列提供了有力的工具。
2. []索引器
对于str
对象而言,可理解为其对字符串进行了序列化的操作,例如在一般的字符串中,通过[]
可以取出某个位置的元素:
var[0]
'a'
同时也能通过切片得到子串:
var[-1: 0: -2]# 从右向左,步长为-2
'db'
通过对str
对象使用[]
索引器,可以完成完全一致的功能,并且如果超出范围则返回缺失值:
s.str[0]
0 a
1 e
2 h
dtype: object
s.str[-1: 0: -2]
0 db
1 g
2 i
dtype: object
s.str[2]
0 c
1 g
2 NaN
dtype: object
3. string类型
在上一章提到,从pandas
的1.0.0
版本开始,引入了string
类型,其引入的动机在于:原来所有的字符串类型都会以object
类型的Series
进行存储,但object
类型只应当存储混合类型,例如同时存储浮点、字符串、字典、列表、自定义类型等,因此字符串有必要同数值型或category
一样,具有自己的数据存放类型,从而引入了string
类型。
总体上说,绝大多数对于object
和string
类型的序列使用str
对象方法产生的结果是一致,但是在下面提到的两点上有较大差异:
首先,应当尽量保证每一个序列中的值都是字符串的情况下才使用str
属性,但这并不是必须的,其必要条件是序列中至少有一个可迭代(Iterable)对象,包括但不限于字符串、字典、列表。对于一个可迭代对象,string
类型的str
对象和object
类型的str
对象返回结果可能是不同的。
s = pd.Series([{1: 'temp_1', 2: 'temp_2'}, ['a', 'b'], 0.5, 'my_string'])
s
0 {1: 'temp_1', 2: 'temp_2'}
1 [a, b]
2 0.5
3 my_string
dtype: object
s.str[1]
# 根据列表对应的值,切片
0 temp_1
1 b
2 NaN
3 y
dtype: object
# 转化成字符串类型看数据样子
s.astype('string')
0 {1: 'temp_1', 2: 'temp_2'}
1 ['a', 'b']
2 0.5
3 my_string
dtype: string
#切片,括号也算进去了,{}、[]
s.astype('string').str[1]
0 1
1 '
2 .
3 y
dtype: string
除了最后一个字符串元素,前三个元素返回的值都不同,其原因在于当序列类型为object
时,是对于每一个元素进行[]
索引,因此对于字典而言,返回temp_1字符串,对于列表则返回第二个值,而第三个为不可迭代对象,返回缺失值,第四个是对字符串进行[]
索引。
而string
类型的str
对象先把整个元素转为字面意义的字符串,例如对于列表而言,第一个元素即 “{”,而对于最后一个字符串元素而言,恰好转化前后的表示方法一致,因此结果和object
类型一致。
除了对于某些对象的str
序列化方法不同之外,两者另外的一个差别在于,string
类型是Nullable
类型,但object
不是。
这意味着string
类型的序列,如果调用的str
方法返回值为整数Series
和布尔Series
时,其分别对应的dtype
是Int
和boolean
的Nullable
类型,而object
类型则会分别返回int/float
和bool/object
,取决于缺失值的存在与否。
同时,字符串的比较操作,也具有相似的特性,string
返回Nullable
类型,但object
不会。
s = pd.Series(['a'])
s.str.len()
0 1
dtype: int64
s.astype('string').str.len()
0 1
dtype: Int64
s == 'a'
0 True
dtype: bool
s.astype('string') == 'a'
0 True
dtype: boolean
# 构建带有缺失值的一维数组
s = pd.Series(['a', np.nan])
s
0 a
1 NaN
dtype: object
len()方法返回对象(字符、列表、元组等)长度或项目个数。
s 如果是字符串就是长度
s 如果是列表,就是列表个数
# object类型则会分别返回int/float和bool/object,取决于缺失值的存在与否
s.str.len()
0 1.0
1 NaN
dtype: float64
s.astype('string').str.len()
0 1
1 <NA>
dtype: Int64
s == 'a'
0 True
1 False
dtype: bool
s.astype('string') == 'a'
0 True
1 <NA>
dtype: boolean
最后需要注意的是,对于全体元素为数值类型的序列,即使其类型为object
或者category
也不允许直接使用str
属性。如果需要把数字当成string
类型处理,可以使用astype
强制转换为string
类型的Series
:
s = pd.Series([12, 345, 6789])
s.astype('string').str[1]
0 2
1 4
2 7
dtype: string
二、正则表达式基础
这一节的两个表格来自于learn-regex-zh这个关于正则表达式项目,其使用MIT
开源许可协议。这里只是介绍正则表达式的基本用法,需要系统学习的读者可参考正则表达式必知必会一书。
1. 一般字符的匹配
正则表达式是一种按照某种正则模式,从左到右匹配字符串中内容的一种工具。对于一般的字符而言,它可以找到其所在的位置,这里为了演示便利,使用了python
中re
模块的findall
函数来匹配所有出现过但不重叠的模式,第一个参数是正则表达式,第二个参数是待匹配的字符串。
# 例如,在下面的字符串中找出`apple`:
import re
re.findall('Apple', 'Apple! This Is an Apple!')
['Apple', 'Apple']
元字符 | 描述 |
---|---|
. | 匹配除换行符以外的任意字符 |
[ ] | 字符类,匹配方括号中包含的任意字符 |
[^ ] | 否定字符类,匹配方括号中不包含的任意字符 |
* | 匹配前面的子表达式零次或多次 |
+ | 匹配前面的子表达式一次或多次 |
? | 匹配前面的子表达式零次或一次 |
{n,m} | 花括号,匹配前面字符至少 n 次,但是不超过 m 次 |
(xyz) | 字符组,按照确切的顺序匹配字符xyz |
\ | 分支结构,匹配符号之前的字符或后面的字符 |
\ | 转义符,它可以还原元字符原来的含义 |
^ | 匹配行的开始 |
$ | 匹配行的结束 |
# “.”匹配除换行符以外的任意字符
re.findall('.', 'abc')
['a', 'b', 'c']
# [],字符类,匹配方括号中包含的任意字符
re.findall('[ac]', 'abc')
['a', 'c']
# [^] 否定字符类,匹配方括号中不包含的任意字符
re.findall('[^ac]', 'abc')
['b']
# {n,m}花括号,匹配前面字符至少 n 次,但是不超过 m 次
re.findall('[ab]{2}', 'aaaabbbb')
['aa', 'aa', 'bb', 'bb']
# “|”匹配aaa或者bbb
re.findall('aaa|bbb', 'aaaabbbb')
['aaa', 'bbb']
# "\"转义字符
re.findall('a\\?|a\*', 'aa?a*a')
['a?', 'a*']
# "?"匹配前面的子表达式零次或一次
re.findall('a?.', 'abaacadaae')
['ab', 'aa', 'c', 'ad', 'aa', 'e']
3. 简写字符集
此外,正则表达式中还有一类简写字符集,其等价于一组字符的集合:
简写 | 描述 |
---|---|
\w | 匹配所有字母、数字、下划线: [a-zA-Z0-9_] |
\W | 匹配非字母和数字的字符: [^\w] |
\d | 匹配数字: [0-9] |
\D | 匹配非数字: [^\d] |
\s | 匹配空格符: [\t\n\f\r\p{Z}] |
\S | 匹配非空格符: [^\s] |
\B | 匹配一组非空字符开头或结尾的位置,不代表具体字符 |
# “.”匹配任意字符,"s"匹配空格符
re.findall('.s', 'Apple! This Is an Apple!')
['is', 'Is']
# \w 匹配所有字母、数字、下划线,{2}个
re.findall('\w{2}', '09 8? 7w c_ 9q p@')
['09', '7w', 'c_', '9q']
# “\w\W\B”,非空字符开头/结尾,所有/非数字/字母/下划线
re.findall('\w\W\B', '09 8? 7w c_ 9q p@')
['8?', 'p@']
re.findall('.\s.', 'Constant dropping wears the stone.')
['t d', 'g w', 's t', 'e s']
re.findall('上海市(.{2,3}区)(.{2,3}路)(\d+号)', '上海市黄浦区方浜中路249号 上海市宝山区密山路5号')
[('黄浦区', '方浜中路', '249号'), ('宝山区', '密山路', '5号')]
三、文本处理的五类操作
1. 拆分
str.split
能够把字符串的列进行拆分,其中第一个参数为正则表达式,可选参数包括从左到右的最大拆分次数n
,是否展开为多个列expand
。
s = pd.Series(['上海市黄浦区方浜中路249号', '上海市宝山区密山路5号'])
s.str.split('[市区路]')
0 [上海, 黄浦, 方浜中, 249号]
1 [上海, 宝山, 密山, 5号]
dtype: object
s.str.split('[市区路]', n=2, expand=True)
0 | 1 | 2 | |
---|---|---|---|
0 | 上海 | 黄浦 | 方浜中路249号 |
1 | 上海 | 宝山 | 密山路5号 |
与其类似的函数是str.rsplit
,其区别在于使用n
参数的时候是从右到左限制最大拆分次数。但是当前版本下rsplit
因为bug
而无法使用正则表达式进行分割:
s.str.rsplit('[市区路]', n=2, expand=True)
0 | |
---|---|
0 | 上海市黄浦区方浜中路249号 |
1 | 上海市宝山区密山路5号 |
2. 合并
关于合并一共有两个函数,分别是str.join
和str.cat
。
str.join
表示用某个连接符把Series
中的字符串列表连接起来,如果列表中出现了字符串元素则返回缺失值:
s = pd.Series([['a','b'], [1, 'a'], [['a', 'b'], 'c']])
s.str.join('-')
0 a-b
1 NaN
2 NaN
dtype: object
str.cat
用于合并两个序列,主要参数为连接符sep
、连接形式join
以及缺失值替代符号na_rep
,其中连接形式默认为以索引为键的左连接。
s1 = pd.Series(['a','b'])
s2 = pd.Series(['cat','dog'])
s1.str.cat(s2,sep='-')
0 a-cat
1 b-dog
dtype: object
s2.index = [1, 2]
s1.str.cat(s2, sep='-', na_rep='?', join='outer')
0 a-?
1 b-cat
2 ?-dog
dtype: object
3. 匹配
str.contains
返回了每个字符串是否包含正则模式的布尔序列:
s = pd.Series(['my cat', 'he is fat', 'railway station'])
s.str.contains('\s\wat')
0 True
1 True
2 False
dtype: bool
str.startswith
和str.endswith
返回了每个字符串以给定模式为开始和结束的布尔序列,它们都不支持正则表达式:
# 以'my'开始
s.str.startswith('my')
0 True
1 False
2 False
dtype: bool
# 以“t”结束
s.str.endswith('t')
0 True
1 True
2 False
dtype: bool
如果需要用正则表达式来检测开始或结束字符串的模式,可以使用str.match
,其返回了每个字符串起始处是否符合给定正则模式的布尔序列:
s.str.match('m|h')
0 True
1 True
2 False
dtype: bool
# 反转后匹配
s.str[::-1].str.match('ta[f|g]|n')
0 False
1 True
2 True
dtype: bool
当然,这些也能通过在str.contains
的正则中使用^
和$
来实现:
s.str.contains('^[m|h]')
0 True
1 True
2 False
dtype: bool
s.str.contains('[f|g]at|n$')
0 False
1 True
2 True
dtype: bool
除了上述返回值为布尔的匹配之外,还有一种返回索引的匹配函数,即str.find
与str.rfind
,其分别返回从左到右和从右到左第一次匹配的位置的索引,未找到则返回-1。需要注意的是这两个函数不支持正则匹配,只能用于字符子串的匹配:
s = pd.Series(['This is an apple. That is not an apple.'])
s.str.find('apple')
0 11
dtype: int64
s.str.rfind('apple')
0 33
dtype: int64
4. 替换
str.replace
和replace
并不是一个函数,在使用字符串替换时应当使用前者。
s = pd.Series(['a_1_b','c_?'])
s.str.replace('\d|\?', 'new')
0 a_new_b
1 c_new
dtype: object
当需要对不同部分进行有差别的替换时,可以利用子组
的方法,并且此时可以通过传入自定义的替换函数来分别进行处理,注意group(k)
代表匹配到的第k
个子组(圆括号之间的内容):
s = pd.Series(['上海市黄浦区方浜中路249号','上海市宝山区密山路5号','北京市昌平区北农路2号'])
pat = '(\w+市)(\w+区)(\w+路)(\d+号)'
city = {'上海市': 'Shanghai', '北京市': 'Beijing'}
district = {'昌平区': 'CP District','黄浦区': 'HP District','宝山区': 'BS District'}
road = {'方浜中路': 'Mid Fangbin Road','密山路': 'Mishan Road','北农路': 'Beinong Road'}
def my_func(m):str_city = city[m.group(1)]str_district = district[m.group(2)]str_road = road[m.group(3)]str_no = 'No. ' + m.group(4)[:-1]return ' '.join([str_city,str_district,str_road,str_no])
s.str.replace(pat, my_func)
0 Shanghai HP District Mid Fangbin Road No. 249
1 Shanghai BS District Mishan Road No. 5
2 Beijing CP District Beinong Road No. 2
dtype: object
这里的数字标识并不直观,可以使用命名子组
更加清晰地写出子组代表的含义:
pat = '(?P<市名>\w+市)(?P<区名>\w+区)(?P<路名>\w+路)(?P<编号>\d+号)'
def my_func(m):str_city = city[m.group('市名')]str_district = district[m.group('区名')]str_road = road[m.group('路名')]str_no = 'No. ' + m.group('编号')[:-1]return ' '.join([str_city,str_district,str_road,str_no])
s.str.replace(pat, my_func)
0 Shanghai HP District Mid Fangbin Road No. 249
1 Shanghai BS District Mishan Road No. 5
2 Beijing CP District Beinong Road No. 2
dtype: object
这里虽然看起来有些繁杂,但是实际数据处理中对应的替换,一般都会通过代码来获取数据从而构造字典映射,在具体写法上会简洁的多。
5. 提取
提取既可以认为是一种返回具体元素(而不是布尔值或元素对应的索引位置)的匹配操作,也可以认为是一种特殊的拆分操作。
前面提到的str.split
例子中会把分隔符去除,这并不是用户想要的效果,这时候就可以用str.extract
进行提取:
pat = '(\w+市)(\w+区)(\w+路)(\d+号)'
s.str.extract(pat)
0 | 1 | 2 | 3 | |
---|---|---|---|---|
0 | 上海市 | 黄浦区 | 方浜中路 | 249号 |
1 | 上海市 | 宝山区 | 密山路 | 5号 |
2 | 北京市 | 昌平区 | 北农路 | 2号 |
通过子组的命名,可以直接对新生成DataFrame
的列命名:
pat = '(?P<市名>\w+市)(?P<区名>\w+区)(?P<路名>\w+路)(?P<编号>\d+号)'
s.str.extract(pat)
市名 | 区名 | 路名 | 编号 | |
---|---|---|---|---|
0 | 上海市 | 黄浦区 | 方浜中路 | 249号 |
1 | 上海市 | 宝山区 | 密山路 | 5号 |
2 | 北京市 | 昌平区 | 北农路 | 2号 |
str.extractall
不同于str.extract
只匹配一次,它会把所有符合条件的模式全部匹配出来,如果存在多个结果,则以多级索引的方式存储:
s = pd.Series(['A135T15,A26S5','B674S2,B25T6'], index = ['my_A','my_B'])
pat = '[A|B](\d+)[T|S](\d+)'
s.str.extractall(pat)
0 | 1 | ||
---|---|---|---|
match | |||
my_A | 0 | 135 | 15 |
1 | 26 | 5 | |
my_B | 0 | 674 | 2 |
1 | 25 | 6 |
pat_with_name = '[A|B](?P<name1>\d+)[T|S](?P<name2>\d+)'
s.str.extractall(pat_with_name)
name1 | name2 | ||
---|---|---|---|
match | |||
my_A | 0 | 135 | 15 |
1 | 26 | 5 | |
my_B | 0 | 674 | 2 |
1 | 25 | 6 |
str.findall
的功能类似于str.extractall
,区别在于前者把结果存入列表中,而后者处理为多级索引,每个行只对应一组匹配,而不是把所有匹配组合构成列表。
s.str.findall(pat)
my_A [(135, 15), (26, 5)]
my_B [(674, 2), (25, 6)]
dtype: object
四、常用字符串函数
除了上述介绍的五类字符串操作有关的函数之外,str
对象上还定义了一些实用的其他方法,在此进行介绍:
1. 字母型函数
upper, lower, title, capitalize, swapcase
这五个函数主要用于字母的大小写转化,从下面的例子中就容易领会其功能:
s = pd.Series(['lower', 'CAPITALS', 'this is a sentence', 'SwApCaSe'])
s.str.upper()# 大写
0 LOWER
1 CAPITALS
2 THIS IS A SENTENCE
3 SWAPCASE
dtype: object
s.str.lower()# 小写
0 lower
1 capitals
2 this is a sentence
3 swapcase
dtype: object
s.str.title()# 首字母大写
0 Lower
1 Capitals
2 This Is A Sentence
3 Swapcase
dtype: object
# 第一个字母变成大写,其他字母变小写
s.str.capitalize()
0 Lower
1 Capitals
2 This is a sentence
3 Swapcase
dtype: object
# 对字符串的大小写字母进行转换
s.str.swapcase()
0 LOWER
1 capitals
2 THIS IS A SENTENCE
3 sWaPcAsE
dtype: object
2. 数值型函数
这里着重需要介绍的是pd.to_numeric
方法,它虽然不是str
对象上的方法,但是能够对字符格式的数值进行快速转换和筛选。
其主要参数包括errors
和downcast
分别代表了非数值的处理模式和转换类型。
其中,对于不能转换为数值的有三种errors
选项,raise, coerce, ignore
分别表示直接报错、设为缺失以及保持原来的字符串。
s = pd.Series(['1', '2.2', '2e', '??', '-2.1', '0'])
pd.to_numeric(s, errors='ignore')
0 1
1 2.2
2 2e
3 ??
4 -2.1
5 0
dtype: object
pd.to_numeric(s, errors='coerce')
0 1.0
1 2.2
2 NaN
3 NaN
4 -2.1
5 0.0
dtype: float64
在数据清洗时,可以利用coerce
的设定,快速查看非数值型的行:
s[pd.to_numeric(s, errors='coerce').isna()]
2 2e
3 ??
dtype: object
3. 统计型函数
count
和len
的作用分别是返回出现正则模式的次数和字符串的长度:
s = pd.Series(['cat rat fat at', 'get feed sheet heat'])
s.str.count('[r|f]at|ee')
0 2
1 2
dtype: int64
s.str.len()
0 14
1 19
dtype: int64
4. 格式型函数
格式型函数主要分为两类,第一种是除空型,第二种时填充型。其中,第一类函数一共有三种,它们分别是strip, rstrip, lstrip
,分别代表去除两侧空格、右侧空格和左侧空格。
这些函数在数据清洗时是有用的,特别是列名含有非法空格的时候。
my_index = pd.Index([' col1', 'col2 ', ' col3 '])
my_index.str.strip().str.len()
Int64Index([4, 4, 4], dtype='int64')
my_index.str.rstrip().str.len()
Int64Index([5, 4, 5], dtype='int64')
my_index.str.lstrip().str.len()
Int64Index([4, 5, 5], dtype='int64')
对于填充型函数而言,pad
是最灵活的,它可以选定字符串长度、填充的方向和填充内容:
s = pd.Series(['a','b','c'])
s.str.pad(5,'left','*')
0 ****a
1 ****b
2 ****c
dtype: object
s.str.pad(5,'right','*')
0 a****
1 b****
2 c****
dtype: object
s.str.pad(5,'both','*')
0 **a**
1 **b**
2 **c**
dtype: object
上述的三种情况可以分别用rjust, ljust, center
来等效完成,需要注意ljust
是指右侧填充而不是左侧填充:
s.str.rjust(5, '*')
0 ****a
1 ****b
2 ****c
dtype: object
s.str.ljust(5, '*')
0 a****
1 b****
2 c****
dtype: object
s.str.center(5, '*')
0 **a**
1 **b**
2 **c**
dtype: object
在读取excel
文件时,经常会出现数字前补0的需求,例如证券代码读入的时候会把"000007"作为数值7来处理,pandas
中除了可以使用上面的左侧填充函数进行操作之外,还可用zfill
来实现。
s = pd.Series([7, 155, 303000]).astype('string')
s.str.pad(6,'left','0')
0 000007
1 000155
2 303000
dtype: string
s.str.rjust(6,'0')
0 000007
1 000155
2 303000
dtype: string
s.str.zfill(6)
0 000007
1 000155
2 303000
dtype: string
五、练习
Ex1:房屋信息数据集
现有一份房屋信息数据集如下:
df = pd.read_excel('data/house_info.xls', usecols=['floor','year','area','price'])
df.head()
floor | year | area | price | |
---|---|---|---|---|
0 | 高层(共6层) | 1986年建 | 58.23㎡ | 155万 |
1 | 中层(共20层) | 2020年建 | 88㎡ | 155万 |
2 | 低层(共28层) | 2010年建 | 89.33㎡ | 365万 |
3 | 低层(共20层) | 2014年建 | 82㎡ | 308万 |
4 | 高层(共1层) | 2015年建 | 98㎡ | 117万 |
- 将
year
列改为整数年份存储。 - 将
floor
列替换为Level, Highest
两列,其中的元素分别为string
类型的层类别(高层、中层、低层)与整数类型的最高层数。 - 计算房屋每平米的均价
avg_price
,以***元/平米
的格式存储到表中,其中***
为整数。
1、
df.year = pd.to_numeric(df.year.str[:-2]).astype('Int64')
df.head()
floor | year | area | price | |
---|---|---|---|---|
0 | 高层(共6层) | 1986 | 58.23㎡ | 155万 |
1 | 中层(共20层) | 2020 | 88㎡ | 155万 |
2 | 低层(共28层) | 2010 | 89.33㎡ | 365万 |
3 | 低层(共20层) | 2014 | 82㎡ | 308万 |
4 | 高层(共1层) | 2015 | 98㎡ | 117万 |
2、
pat = '(\w层)(共(\d+)层)'
new_cols = df.floor.str.extract(pat).rename(columns={0:'Level', 1:'Highest'})
df = pd.concat([df.drop(columns=['floor']), new_cols], 1)
df.head()
year | area | price | Level | Highest | |
---|---|---|---|---|---|
0 | 1986 | 58.23㎡ | 155万 | 高层 | 6 |
1 | 2020 | 88㎡ | 155万 | 中层 | 20 |
2 | 2010 | 89.33㎡ | 365万 | 低层 | 28 |
3 | 2014 | 82㎡ | 308万 | 低层 | 20 |
4 | 2015 | 98㎡ | 117万 | 高层 | 1 |
3、
s_area = pd.to_numeric(df.area.str[:-1])
s_price = pd.to_numeric(df.price.str[:-1])
df['avg_price'] = ((s_price/s_area)*10000).astype('int').astype('string') + '元/平米'
df.head()
year | area | price | Level | Highest | avg_price | |
---|---|---|---|---|---|---|
0 | 1986 | 58.23㎡ | 155万 | 高层 | 6 | 26618元/平米 |
1 | 2020 | 88㎡ | 155万 | 中层 | 20 | 17613元/平米 |
2 | 2010 | 89.33㎡ | 365万 | 低层 | 28 | 40859元/平米 |
3 | 2014 | 82㎡ | 308万 | 低层 | 20 | 37560元/平米 |
4 | 2015 | 98㎡ | 117万 | 高层 | 1 | 11938元/平米 |
Ex2:《权力的游戏》剧本数据集
现有一份权力的游戏剧本数据集如下:
df = pd.read_csv('data/script.csv')
df.head()
Release Date | Season | Episode | Episode Title | Name | Sentence | |
---|---|---|---|---|---|---|
0 | 2011-04-17 | Season 1 | Episode 1 | Winter is Coming | waymar royce | What do you expect? They're savages. One lot s... |
1 | 2011-04-17 | Season 1 | Episode 1 | Winter is Coming | will | I've never seen wildlings do a thing like this... |
2 | 2011-04-17 | Season 1 | Episode 1 | Winter is Coming | waymar royce | How close did you get? |
3 | 2011-04-17 | Season 1 | Episode 1 | Winter is Coming | will | Close as any man would. |
4 | 2011-04-17 | Season 1 | Episode 1 | Winter is Coming | gared | We should head back to the wall. |
- 计算每一个
Episode
的台词条数。 - 以空格为单词的分割符号,请求出单句台词平均单词量最多的前五个人。
- 若某人的台词中含有问号,那么下一个说台词的人即为回答者。若上一人台词中含有nnn个问号,则认为回答者回答了nnn个问题,请求出回答最多问题的前五个人。
1、
df.columns = df.columns.str.strip()
df.groupby(['Season', 'Episode'])['Sentence'].count().head()
Season Episode
Season 1 Episode 1 327Episode 10 266Episode 2 283Episode 3 353Episode 4 404
Name: Sentence, dtype: int64
2、
df.set_index('Name').Sentence.str.split().str.len().groupby('Name').mean().sort_values(ascending=False).head()
Name
male singer 109.000000
slave owner 77.000000
manderly 62.000000
lollys stokeworth 62.000000
dothraki matron 56.666667
Name: Sentence, dtype: float64
3、
s = pd.Series(df.Sentence.values, index=df.Name.shift(-1))
s.str.count('\?').groupby('Name').sum().sort_values(ascending=False).head()
Name
tyrion lannister 527
jon snow 374
jaime lannister 283
arya stark 265
cersei lannister 246
dtype: int64
第七章 文本数据-学习笔记+练习题相关推荐
- 第九章 时序数据-学习笔记+练习题
第九章 时序数据 # 导入需要的模块 import numpy as np import pandas as pd import matplotlib.pyplot as plt %matplotli ...
- 大数据学习笔记:Hadoop生态系统
文章目录 一.Hadoop是什么 二.Hadoop生态系统图 三.Hadoop生态圈常用组件 (一)Hadoop (二)HDFS (三)MapReduce (四)Hive (五)Hbase (六)Zo ...
- 第七章 深度强化学习-深度Q网络系列1(Deep Q-Networks,DQN)
获取更多资讯,赶快关注上面的公众号吧! 文章目录 第七章 深度强化学习-深度Q网络 7.1 学习目标 7.2 深度学习和强化学习的区别 7.3 DQN原理 7.4 DQN算法 7.4.1 预处理 7. ...
- 大数据学习笔记(一)
大数据学习笔记(一)大数据概论 大数据是什么 1大数据概念:(big data ) : 指无法在一定时间内用常规软件工具进行捕捉.管理和处理数据集合,是需要新处理模式才能具有更强的决策力.洞察发现力和 ...
- 大数据学习笔记第1课 Hadoop基础理论与集群搭建
大数据学习笔记第1课 Hadoop基础理论与集群搭建 一.环境准备 二.下载JDK 三.安装JDK 四.下载hadoop 五.安装hadoop集群 六.打通3台服务器的免密登录 七.hadoop集群配 ...
- 第三章:zigbee学习笔记之物理层和mac层帧格式分析
本文原地址:https://blog.csdn.net/tainjau/article/details/81634681 IEEE802.15.4工作组致力于无线个人区域网络(wireless per ...
- Asp.Net 中Report Service (RDLC)动态绑定数据-学习笔记
Asp.Net 中Report Service (RDLC)动态绑定数据-学习笔记 1)托拽ReportViewer控件到aspx页面,此时,系统会自动添加相关引用,修改Web.config设置: 2 ...
- 使用Excel分析数据学习笔记之 二分类与混淆矩阵
使用Excel分析数据学习笔记之 二分类与混淆矩阵 混淆矩阵的构成: e.g.1:Bombers and seagulls 案例背景 混淆矩阵 如何根据混淆矩阵得到ROC曲线? 如何设定最佳阈值(op ...
- 富文本编辑器 —— 学习笔记
富文本编辑器 -- 学习笔记 文章目录 富文本编辑器 -- 学习笔记 一.wangEditor 1.内容处理--获取/设置 JSON 一.wangEditor 1.内容处理--获取/设置 JSON 使 ...
- Hadoop 大数据学习笔记
Hadoop 大数据学习笔记1 大数据部门组织架构 Hadoop Hadoop是什么 Hadoop的优势 Hadoop的组成 HDFS架构 YARN架构 MapReduce 大数据技术生态体系![在这 ...
最新文章
- 朴素、Select、Poll和Epoll网络编程模型实现和分析——Poll模型
- c#操作oracle的通用类
- linux 打造man中文帮助手册图解(man-pages-zh帮助页)
- 亚信安全中标民生银行防病毒项目 为“互联网+金融”革新防护能力
- (转)新ITC提交APP常见问题与解决方法(Icon Alpha,Build version,AppIcon120x120)(2014-11-17)...
- 【飞秋怎么用】高速文件传输
- Watir API介绍
- leetcode - 300. 最长上升子序列
- Python文本处理2个小案例(文本嗅探与关键词占比统计)
- 黑客攻防技术系列高清视频教程+必备工具包下载
- 腾讯内部几乎满分的项目管理PPT
- C语言知识点总结 (一 )
- SQLserver中勒索病毒或严重损坏后的恢复数据方法
- 使用canvas制作在线涂鸦画板
- html5吹气球游戏,吹气球的游戏作文
- Python绘制地理图--Cartopy基础
- CSS3 Web工程师工作场景动画
- .net framework 3.5 dotNetFx35setup 能不需要网络支持吗?
- Xmind8 (update8)破解教程
- 由里至外解析System Center