爬虫——正则表达式re模块
为什么要学习正则表达式
实际上爬虫一共就四个主要步骤:
- 明确目标:需清楚目标网站
- 爬:将所有的目标网站的内容全部爬下来
- 取:在爬下来的网站内容中去掉对我们没有用处的数据,只留取我们需要的数据
- 处理数据:按照我们想要的方式存储和使用留取的数据
我们在前面的案例里实际上都省略了第3步,也就是“取”的步骤。因为我们down下了的数据是全部的网页,这些数据很庞大并且很混乱,其中大部分的东西是我们不关心的,因此我们需要将之按我们的需要过滤和匹配出来。
那么对于文本的过滤和者规则的匹配,最强大的就是正则表达式了。
那么什么是正则表达式:
- 正则表达式,又称规则表达式,通常被用来检索、替换那些符合某个规则的文本。
- 正则表达式是对字符串操作的一种逻辑公式,就是用事先定义好的一些特定字符及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑。
给定一个正则表达式和另一个字符串,我们可以达到如下的目的:
- 给定的字符串是否符合正则表达式的过滤逻辑(“匹配”)
- 通过正则表达式,从文本字符串中获取我们想要的特定部分(“过滤”)
正则表达式规则
Python的re模块
在Python中,我们可以使用内置的re模块来使用正则表达式。
有一点需要特别注意的是,正则表达式使用对特殊字符进行黑底,所以如果我们要使用原始字符串,只需要加一个r前缀:r'i love\t\.\tpython'
re模块的一般使用步骤如下:
- 使用compile()函数将正则表达式的字符串形式编译为一个Pattern对象
- 通过Pattern对象提供的一系列方法对文本进行匹配查找,获得匹配结果,一个Match对象。
- 最后使用Match对象提供的属性和方法获得信息,根据需要进行其他操作。
compile函数
compile函数用于编译正则表达式,生成一个Pattern对象,它的一般使用形式如下:
#!/usr/bin/python3
# -*- coding:utf-8 -*-
__author__ = 'mayi'import re# 将正则表达式编译成Pattern对象
pattern = re.compile('\d+')
在上面,我们已将一个正则表达式编译成Pattern对象,接下来,我们就可以利用pattern的一系列方法对文本匹配查找了。
Pattern对象的一些常用方法主要有:
- match()方法:从起始位置开始查找,一次匹配
- search()方法:从任何位置开始查找,一次匹配
- findall()方法:全部匹配,返回列表
- finditer()方法:全部匹配,返回迭代器
- split()方法:分割字符串,返回列表
- sub()方法:替换
match()方法
match()方法用于查找字符串的头部(也可以指定起始位置),它是一次匹配,只要找到了一个匹配的结果就返回,而不是查找所有匹配的结果。它的一般使用形式如下:
match(string[, pos[, endpos]])
其中,string是待匹配的字符串,pos和endpos是可选参数,指定字符串的起始和终点位置,默认值分别是0和len(string)。因此,当你不指定pos和endpos时,match()方法默认匹配字符串的头部。
当匹配成功时,返回一个Match对象,如果没有匹配上,则返回None。
>>> import re
>>> pattern = re.compile(r'\d+') # 用于匹配至少一个数字>>> m = pattern.match('one12twothree34four') # 查找头部,没有匹配
>>> print m
None>>> m = pattern.match('one12twothree34four', 2, 10) # 从'e'的位置开始匹配,没有匹配
>>> print(m)
None>>> m = pattern.match('one12twothree34four', 3, 10) # 从'1'的位置开始匹配,正好匹配
>>> print(m) # 返回一个 Match 对象
<_sre.SRE_Match object; span=(3, 5), match='12'>>>> print(m.group(0)) # 可省略 0
12
>>> print(m.start(0)) # 可省略 0
3
>>> print(m.end(0)) # 可省略 0
5
>>> print(m.span(0)) # 可省略 0
(3, 5)
在上面,当匹配成功时返回一个Match对象,其中:
- group([group1,...])方法用于获得一个或多个分组匹配的字符串,当要获得整个匹配的子串时,可直接使用group()或group(0)
- start([group])方法用于获取分组匹配的子串在整个字符串中的起始位置(子串第一个字符的索引),参数默认值为0
- end([group])方法用于获取分组匹配的子串在整个字符串中的结束位置(子串最后一个字符的索引 + 1),参数默认值为0
- span([group])方法返回(start(group), end(group))
再看一个例子:
>>> import re
>>> pattern = re.compile(r'([a-z]+) ([a-z]+)', re.I) # re.I 表示忽略大小写
>>> m = pattern.match('Hello World Wide Web')>>> print(m) # 匹配成功,返回一个 Match 对象
<_sre.SRE_Match object; span=(0, 11), match='Hello World'>>>> print(m.group(0)) # 返回匹配成功的整个子串
Hello World>>> print(m.span(0)) # 返回匹配成功的整个子串的索引
(0, 11)>>> print(m.group(1)) # 返回第一个分组匹配成功的子串
Hello>>> print(m.span(1)) # 返回第一个分组匹配成功的子串的索引
(0, 5)>>> print(m.group(2)) # 返回第二个分组匹配成功的子串
World>>> print(m.span(2)) # 返回第二个分组匹配成功的子串
(6, 11)>>> print(m.groups()) # 等价于 (m.group(1), m.group(2), ...)
('Hello', 'World')>>> print(m.group(3)) # 不存在第三个分组
Traceback (most recent call last):File "<stdin>", line 1, in <module>
IndexError: no such group
search()方法
search()方法用于查找字符串的任何位置,它也是一次匹配,只要找到了一个匹配的结果就返回,而不是查找所有匹配的结果,它的一般使用形式如下:
search(string[, pos[, endpos]])
其中,string是待匹配的字符串,pos和endpos是可选参数,指定字符串的起始和终点位置,默认值分别是0和len(string)。
当匹配成功时,返回一个Match对象,如果没有匹配上,则返回None。
如下例子:
>>> import re
>>> pattern = re.compile('\d+')
>>> m = pattern.search('one12twothree34four')
>>> print(m)
<_sre.SRE_Match object; span=(3, 5), match='12'>
>>> print(m.group())
12
>>> m = pattern.search('one12twothree34four', 10, 30)
>>> print(m)
<_sre.SRE_Match object; span=(13, 15), match='34'>
>>> print(m.group())
34
>>> print(m.span())
(13, 15)
再看一个例子:
#!/usr/bin/python3
# -*- coding:utf-8 -*-
__author__ = 'mayi'import re# 将正则表达式编译成Pattern对象
pattern = re.compile(r'\d+')# 使用search() 查找匹配的子串,不存在匹配的子串时,返回None
m = pattern.search('hello 123 456 789') # 若这里使用match(),返回Noneif m:print("matching string:", m.group())print("position:", m.span())
执行结果:
matching string: 123
position: (6, 9)
findall()方法
上面的match()和search()方法都是一次匹配,只要找到了一个匹配的结果就返回。然而,在大多数时候,我们需要搜索整个字符串,获得所有匹配的结果。
findall()方法的使用形式如下:
findall(string[, pos[, endpos]])
其中,string是待匹配的字符串,pos和endpos是可选参数,指定字符串的起始和终点位置,默认值分别是0和len(string)。
findall()以列表形式返回全部能匹配的子串,如果没有匹配成功,则返回一个空列表。
如下:
>>> import re
>>> pattern = re.compile(r'\d+') # 匹配数字
>>> res1 = pattern.findall('hello 123 456 789')
>>> res2 = pattern.findall('one1two2three3four4', 0, 16)
>>> print(res1)
['123', '456', '789']
>>> print(res2)
['1', '2', '3']
再看一个例子:
>>> import re
>>> pattern = re.compile(r'\d+\.\d+') # 匹配小数
>>> res = pattern.findall("3.1415926, 'big', 110, 95.5")
>>> print(res)
['3.1415926', '95.5']
finditer()方法
finditer()方法的行为跟findall()的行为类似,也是搜索整个字符串,获得所有匹配的结果。但它返回一个顺序访问每一个匹配结果(Match对象)的迭代器。
如下:
#!/usr/bin/python3
# -*- coding:utf-8 -*-
__author__ = 'mayi'import repattern = re.compile(r'\d+')res_iter1 = pattern.finditer("hello 123 456 789")
res_iter2 = pattern.finditer("one1two2three3four4", 0, 16)print(res_iter1)
print(res_iter2)print("res_iter1......")
for m1 in res_iter1:print("matching string:{}, position:{}".format(m1.group(), m1.span()))print("res_iter2......")
for m2 in res_iter2:print("matching string:{}, position:{}".format(m2.group(), m2.span()))
执行结果:
<callable_iterator object at 0x00ADF7F0>
<callable_iterator object at 0x00ADF230>
res_iter1......
matching string:123, position:(6, 9)
matching string:456, position:(10, 13)
matching string:789, position:(14, 17)
res_iter2......
matching string:1, position:(3, 4)
matching string:2, position:(7, 8)
matching string:3, position:(13, 14)
split()方法
spilt()方法按照能够匹配的子串将字符串分割后返回列表,它的使用形式如下:
split(string[, maxsplit])
其中,maxsplit用于指定最大分割次数,不指定将全部分割。
如下:
>>> import re
>>> pattern = re.compile(r'[\s\,\;]+')
>>> print(pattern.split('a,b;; c d'))
['a', 'b', 'c', 'd']
sub()方法
sub()方法用于替换。它的使用形式如下:
sub(repl, string[, count])
其中,repl可以是字符串也可以是一个函数:
- 如果repl是字符串,则会使用repl去替换字符串每一个匹配的子串,并返回替换后的字符串,另外,repl还可以使用id的形式来引用分组,但不能使用编号0
- 如果repl是函数,这个方法应当只接受一个参数(Match对象),并返回一个字符串用于替换(返回的字符串中不能再引用分组)
- count用于指定最多替换次数,默认全部替换
如下:
#!/usr/bin/python3
# -*- coding:utf-8 -*-
__author__ = 'mayi'import repattern = re.compile(r'(\w+) (\w+)') # \w: [A-Za-z0-9]string = 'hello 123, hello 456'print(pattern.sub('hello world', string))
# 我是分割线
print("*" * 30)print(pattern.sub(r'\2 \1', string))# 我是分割线
print("*" * 30)def func(m):return 'hi ' + m.group(2)print(pattern.sub(func, string))# 我是分割线
print("*" * 30)# 最多替换一次
print(pattern.sub(func, string, 1))
执行结果:
hello world, hello world
******************************
123 hello, 456 hello
******************************
hi 123, hi 456
******************************
hi 123, hello 456
匹配中文
在某些情况下,我们想匹配文本中的汉字,中文的unicode编码范围主要在[u4e00-u9fa5],这里说主要是因为这个范围并不完整,比如没有包括全角(中文)标点,不过,在大部分情况下,应该是够用的。
例如:要想把字符串s = "您好,世界。hello world!"中的中文提取出来,可以这么做
#!/usr/bin/python3
# -*- coding:utf-8 -*-
__author__ = 'mayi'import restring = "你好,世界。hello world!"pattern = re.compile(r"[\u4e00-\u9fa5]+")res = pattern.findall(string)print(res)
执行结果
['你好', '世界']
转载于:https://www.cnblogs.com/mayi0312/p/7206343.html
爬虫——正则表达式re模块相关推荐
- python爬取音乐神器_Python爬虫提取神器,正则表达式(re模块),全程干货!
python正则表达式(re模块) 什么是正则表达式 正则表达式(Regular Expression)是一种文本模式,包括普通字符(例如,a到z之间的字母)和特殊字符(称为"元字符&quo ...
- Python爬虫提取神器,正则表达式(re模块),全程干货!
python正则表达式(re模块) 什么是正则表达式 正则表达式(Regular Expression)是一种文本模式,包括普通字符(例如,a到z之间的字母)和特殊字符(称为"元字符&quo ...
- Python中爬虫框架或模块的区别
Python中爬虫框架或模块的区别,我们在Python的学习过程中,需要不断的总结知识点,这样我们才能进步的更快一些. (1)爬虫框架或模块 Python自带爬虫模块:urllib.urllib2; ...
- python 正则表达式re 模块的使用
python 正则表达式re 模块的使用 文章目录: 一.re模块介绍 1.re模块说明 2.官方文档给出的文档 3.别人总结的成表格中的内容 二.re模块使用介绍 1.常用函数源码 1.常用的函数介 ...
- Python中爬虫框架或模块的区别!
Python中爬虫框架或模块的区别,我们在Python的学习过程中,需要不断的总结知识点,这样我们才能进步的更快一些. (1)爬虫框架或模块 Python自带爬虫模块:urllib.urllib2; ...
- Python正则表达式-re模块奇技淫巧
文章目录 正则表达式 概念 构成 re模块应用 常用正则表达式 数字 字符 其他 小结 正则表达式 概念 正则表达式作为计算机科学的一个概念,通常被用来检索.替换那些符合某个规则的文本.正则表达式是对 ...
- Python爬虫进阶——urllib模块使用案例【淘宝】
Python爬虫基础--HTML.CSS.JavaScript.JQuery网页前端技术 Python爬虫基础--正则表达式 Python爬虫基础--re模块的提取.匹配和替换 Python爬虫基础- ...
- 【笔记】5、初学python3网络爬虫——正则表达式的基本使用
python3网络爬虫--正则表达式的基本使用 学习指引:视频教程<python3网络爬虫实战> 为了避免学习后短时间内遗忘,让自己随时可以查阅前方自己学过的知识,特意注册csdn博客,方 ...
- 第三百二十五节,web爬虫,scrapy模块标签选择器下载图片,以及正则匹配标签...
第三百二十五节,web爬虫,scrapy模块标签选择器下载图片,以及正则匹配标签 标签选择器对象 HtmlXPathSelector()创建标签选择器对象,参数接收response回调的html对象 ...
最新文章
- python后端学什么框架_献给正在学习python的你, 10个最受欢迎的Python开源框架
- https://www.exploit-db.com/下载POC比较完善的代码
- SAP RETAIL物料组的分配规则
- 开发程序实现nginx代理节点状态检查及WEB界面展示
- 基础算法 —— 贪心算法
- 在FireFox IE 下Response 中文文件名乱码问题
- java decimal_java DecimalFormat常用方法详解
- php生成静态html分页实现方法
- 【译】数据结构中关于树的一切(java版)
- 修改eclipse皮肤
- 动态删除列表中的元素
- python数据预测案例_Python数据分析及可视化实例之疾病预测(分类)
- java B2B2C 源码多租户电子商城系统-Spring Cloud整合Netflix Archaius介绍
- Spark 自己实现分箱逻辑遇到的坑
- cc2530设计性实验代码四
- 自然资源部信息化建设总体方案摘要记录
- Android电子白板
- windows之打开文件夹、控制面板显示服务器运行失败
- 万物Linux皆可刷安卓,万物皆可Win,开发者成功在安卓手机刷入Win10系统
- BMS(Battery Management System)是什么?
热门文章
- mysql中合并函数_MYSQL分组合并函数
- 鸿蒙810 980,稳了!鸿蒙系统升级名单再曝:至少麒麟980机型都能升级
- php中文网面试题_2020年PHP面试题大汇总(收藏)
- unity 是厘米还是米_身高差45厘米! 这对重庆小情侣拍短视频晒幸福火了
- 结巴分词关键词相似度_gensim和jieba分词进行主题分析,文本相似度
- 背英语单词很困难,不妨学习一下词根词缀吧(每天10个词根、词缀)Part 1
- 洛谷P1217 回文质数
- C++ #define详解
- 64位Ubuntu 12.04下搭建嵌入式Qt(4.8.6)、QtCreator、qvfb过程全记录
- [机器学习] 面试常见问题+解析汇总