爬虫学习(03): 数据解析_re篇
- 一、re模块简介
- 1.1 re正则
- 1.2 re模块
- 1.2.1 findall()函数(返回列表)
- 1.2.2 search()函数
- 1.2.3 match()函数
- 1.2.4 finditer()函数
- 1.2.5 compile()函数
- 1.2.6 正则内容单独提取
- 1.2.7 字符串替换
- 二、re实操
- 2.1 贪婪非贪婪的区分
- 2.2 元字符的练习
- 2.3 re修正符练习
- 2.4 match_search_findall练习
- 三、关于re总结
一、re模块简介
1.1 re正则
Regular Expression
, 正则表达式, 一种使用表达式的方式对字符串进行匹配的语法规则.
我们在网页上抓取的页面源代码
,在本质上就是一个超长的字符串
,想要从里面提取内容,使用正则
再适合不过。
- 正则的优点:
-
速度快
,效率高
,准确性高
- 正则的语法:
-
使用元字符进行排列组合用来
匹配字符串
。- 在线测试正则表达式:https://tool.oschina.net/regex/
- 元字符:具有
固定含义
的特殊符号
常用元字符
. √匹配除换行符以外的任意字符, 未来在python的re模块中是一个坑. \w √匹配字母或数字或下划线.\s 匹配任意的空白符\d √匹配数字\n 匹配一个换行符\t 匹配一个制表符^ 匹配字符串的开始$ 匹配字符串的结尾\W 匹配非字母或数字或下划线\D 匹配非数字\S 匹配非空白符a|b 匹配字符a或字符b() √匹配括号内的表达式,也表示一个组[...] √匹配字符组中的字符[^...] 匹配除了字符组中字符的所有字符
量词: 控制前面的元字符出现的次数
* 重复零次或更多次+ 重复一次或更多次? 重复零次或一次{n} 重复n次 {n,} 重复n次或更多次 {n,m} 重复n到m次
贪婪匹配和惰性匹配(重点)
.* 贪婪匹配, 尽可能多的去匹配结果.*? 惰性匹配, 尽可能少的去匹配结果 -> 回溯
通用flags(修正符
值 | 说明 |
---|---|
re.I
|
是匹配对大小写不敏感 |
re.M
|
多行匹配,影响到^和$ |
re.S
|
使.匹配包括换行符在内的所有字符 |
1.2 re模块
re模块中我们只需要记住下面这几个功能就够我们使用了.
1.2.1 findall()函数(返回列表)
扫描整个字符串string,并返回所有匹配的pattern模式结果的字符串列表(findall 查找所有. 返回list
)
参数
参数 | 说明 |
---|---|
pattern
|
匹配的正则表达式(一种字符串的模式) |
string
|
要匹配的字符串 |
flags
|
标识位,用于控制正则表达式的匹配方式 |
import re
lst = re.findall("m", "mai le fo len, mai ni mei!")
print(lst) # ['m', 'm', 'm']
lst = re.findall(r"\d+", "5点之前. 你要给我5000万")
print(lst) # ['5', '5000']
1.2.2 search()函数
search
会进行匹配. 但是如果匹配到了第一个结果
. 就会返回这个结果. 如果匹配不上,search
返回的则是None
import re
ret = re.search(r'\d', '5点之前. 你要给我5000万').group()
print(ret) # 5
1.2.3 match()函数
match
只能从字符串的开头进行匹配
ret = re.match('a', 'abc').group()
print(ret) # a
1.2.4 finditer()函数
finditer
和findall
差不多. 只不过这返回的是迭代器
(重点)
it = re.finditer("m", "mai le fo len, mai ni mei!")
for el in it:print(el.group()) # 依然需要分组
运行结果
1.2.5 compile()函数
compile()
可以将一个长长的正则进行预加载
. 方便后面的使用
obj = re.compile(r'\d{3}') # 将正则表达式编译成为一个 正则表达式对象, 规则要匹配的是3个数字
ret = obj.search('abc123eeee') # 正则表达式对象调用search, 参数为待匹配的字符串
print(ret.group()) # 结果: 123
1.2.6 正则内容单独提取
单独获取到正则中的具体内容可以给分组起名字
(?P<name>xxx
)
s = """
<div class='西游记'><span id='10010'>中国联通</span></div>
"""
obj = re.compile(r"<span id='(?P<id>\d+)'>(?P<name>\w+)</span>", re.S)result = obj.search(s)
print(result.group()) # 结果: <span id='10010'>中国联通</span>
print(result.group("id")) # 结果: 10010 # 获取id组的内容
print(result.group("name")) # 结果: 中国联通 # 获取name组的内容
这里可以看到我们可以通过使用分组
. 来对正则匹配到的内容进一步的进行筛选
.
1.2.7 字符串替换
正则表达式本身是用来提取字符串中的内容
的. 也可以用作字符串的替换
import re
r = re.split(r"\d+", "我今年19岁了, 你知道么, 19岁就已经很大了. 周杰伦20岁就得奖了")
print(r) # ['我今年', '岁了, 你知道么, ', '岁就已经很大了. 周杰伦', '岁就得奖了']
# 替换
r = re.sub(r"\d+", "18", "我今年19岁了, 你知道么, 19岁就已经很大了. 周杰伦20岁就得奖了")
print(r) # 我今年18岁了, 你知道么, 18岁就已经很大了. 周杰伦18岁就得奖了
哦了. 正则. 这些东西够用了.
二、re实操
2.1 贪婪非贪婪的区分
我们能发现这样一个规律: .*?
表示尽可能少的匹配, .*
表示尽可能多的匹配, 暂时先记住这个规律. 后面写爬虫会用到
str: 玩儿吃鸡游戏, 晚上一起上游戏, 干嘛呢? 打游戏啊reg: 玩儿.*?游戏此时匹配的是: 玩儿吃鸡游戏reg: 玩儿.*游戏 此时匹配的是: 玩儿吃鸡游戏, 晚上一起上游戏, 干嘛呢? 打游戏 str: <div>胡辣汤</div>reg: <.*>结果: <div>胡辣汤</div>str: <div>胡辣汤</div>reg: <.*?>结果: <div></div>str: <div class="abc"><div>胡辣汤</div><div>饭团</div></div>reg: <div>.*?</div>结果:<div>胡辣汤</div><div>饭团</div>
2.2 元字符的练习
[] 原子表
[a] # 匹配a
[ab] # 匹配a或者b
[abc] # 匹配a或者b或者c
[123] # 匹配1或者2或者3
[0-9] # 匹配任意一位数字
[a-z] # 匹配任意一位小写字母
[A-Z] # 匹配任意一位大写字母
[a-zA-Z] # 匹配任意大小写字母[][]
[abc][0-9] 匹配a或者b或者c和任意一个数字->a1,b2,c3...匹配手机号码
1[3-9][0-9]{9} # {9} 代表前面的[0-9]9位 共11位^ 限制开头 $ 限制结尾 一般用于组合
^1[3-9][0-9]{9}$ # 完全匹配 匹配的字符串中,必须完全符合才算匹配成功
13134534681 # 符合
131345346812 # 不符合 因为多了一位{} 代表前面正则匹配的n词
[a-z]{2} # 匹配两位小写字母
[a-z][a-z] # 等同于上方{m,n} m-n之间的
[a-z]{2,5} # 匹配2-5个小写字母{m,} #至少匹配m个
[a-z]{2,} # 至少匹配2个小写字母?可有可无
-?[1-9] # 匹配正负1-9. 匹配换行符以外的任意字符(不单独使用)
a b c # 都能匹配* 代表前面的0次或多次(不单独使用).*?组合 非贪婪匹配 (重要!!!) #匹配换行符以外的任意字符任意次.*组合 贪婪匹配 #匹配换行符以外的任意字符任意次+ 匹配一次到多次{1,}.+? 非贪婪匹配 #匹配换行符以外的任意字符至少1次| 代表或
[a-z]|[0-9] # 匹配字母或数字、() #1. 作为一个单元 2. 作为子存储
2.3 re修正符练习
import re
# re.I 是匹配队大小写不敏感
# re.M 多行匹配,影响到^和$
# re.S 使.匹配包括换行符在内的所有字符
mystr = """
<a href="http://www.baidu.com">百度</a>
<A href="http://www.baidu.com">百度</A>
<a href='http://www.sogou.com'>搜狗</a>
<a href="http://www.tengxun.com">腾
讯</a>
"""# 首先匹配所有的正常a链接->小写
# print(re.findall("<a href=\"http://www.baidu.com\">百度</a>")) #内部用转义
print(re.findall('<a href="(.*?)">(.*?)</a>', mystr)) # 外部用单引号
# 可以发现,只能匹配出一个结果来
# >>>[('http://www.baidu.com', '百度')]# re.I 不区分大小写
print(re.findall('<a href="(.*?)">(.*?)</a>', mystr, re.I))
# 可以发现,匹配出两个结果来了
# >>>[('http://www.baidu.com', '百度'), ('http://www.baidu.com', '百度')]# 匹配大小写 多行匹配 可以匹配换行符 中间用|隔开
print(re.findall('<a href="(.*?)">(.*?)</a>', mystr, re.I | re.M | re.S))
# >>> [('http://www.baidu.com', '百度'), ('http://www.baidu.com', '百度'), ('http://www.tengxun.com', '腾\n讯')]
# 可以发现匹配出来了三个结果,但唯独少一个搜狗,因为搜狗是用单引号扩起来的# 在上面的案例基础上匹配单双引号 [] 表示或,表示双引号或者单引号
print(re.findall('<a href=[\'"](.*?)[\'"]>(.*?)</a>', mystr, re.I | re.M | re.S))
# >>> 匹配出来了全部结果
print('*'*20)
myStr = """asadasdd1\nbsadasdd2\ncsadasdd3"""
print(re.findall('^[a-z]',myStr)) # 匹配以字母开头
# >>> ['a']
print(re.findall('\A[a-z]',myStr)) # 匹配以字母开头 (整段)
# >>> ['a']
print(re.findall('\d$',myStr)) # 匹配以数字结尾
# >>> ['3']
print(re.findall('\d\Z',myStr)) # 匹配以数字结尾 (整段)
# >>> ['3']# re.M
print(re.findall('^[a-z]',myStr, flags=re.M))
# >>> ['a', 'b', 'c']
print(re.findall('\A[a-z]',myStr, flags=re.M))
# >>> ['a']
print(re.findall('\d$',myStr, flags=re.M))
# >>> ['1', '2', '3']
print(re.findall('\d\Z',myStr, flags=re.M))
# >>> ['3']
2.4 match_search_findall练习
import re# r"" 专业写正则,没有转义的烦恼# search re.search(正则,字符串) 会进行匹配. 但是如果匹配到了第一个结果. 就会返回这个结果. 如果匹配不上search返回的则是None
print('search')
print()
print(re.search(r'a', '123456')) # None
# group() 若匹配成功则返回匹配数值
print(re.search(r'[a-z]','123c423').group()) # c
print(re.search(r'[a-z][a-z]', '12321a21')) # None
print(re.search(r'1[3-9][0-9]{9}','1345643256543').group()) # 13456432565
print(re.search(r'1[3-9][0-9]{9}','b1345643256543b').group()) # 13456432565
print(re.search(r'^1[3-9][0-9]{9}','x1345643256543')) # Noneprint('-'*30)
print('match')
print()
# match 只匹配一次,必须从第一位开始,类似于search('^')
print(re.match(r'a','a213131').group()) # a
print(re.match(r'a','213131')) # None
print(re.match(r'[a-z]','123x456')) # None
print(re.match(r'1[1-3][0-9]{9}','b1345643256543b')) # None
print(re.match(r'1[1-3][0-9]{9}','1345643256543b').group()) # 1345643256543print('-'*30)
print('findall')
# 查找所有 结果返回列表
print(re.findall(r"\d+","我有1000万,不给你话,给你1块钱拿去")) # ['1000', '1']
三、关于re总结
.*?
-> 惰性匹配 /*
-> 贪婪匹配searce()
函数:扫描整个字符串string,并返回第一个
pattern模式成功的匹配,匹配失败 返回None
findall()函数
扫描整个字符串string,并返回所有匹配的pattern模式结果的字符串列表match()函数
匹配成功返回 匹配的对象
匹配失败 返回None
re
最常用
的地方 -> 在html中获取到js的一部分代码
(字符串中)
爬虫学习(03): 数据解析_re篇相关推荐
- java爬取网页数据_Python网络爬虫实战(二)数据解析
Python网络爬虫实战 (二)数据解析 本系列从零开始阐述如何编写Python网络爬虫,以及网络爬虫中容易遇到的问题,比如具有反爬,加密的网站,还有爬虫拿不到数据,以及登录验证等问题,会伴随大量网站 ...
- Python爬虫学习之数据提取(Beautiful Soup)
Python爬虫学习之数据提取Beautiful Soup 前期回顾 概述 解析器 准备工作 实例 节点选择器 方法选择器 find_all find 总结 前期回顾 Python爬虫学习之reque ...
- 深度学习经典网络解析图像分类篇(二):AlexNet
深度学习经典网络解析图像分类篇(二):AlexNet 1.背景介绍 2.ImageNet 3.AlexNet 3.1AlexNet简介 3.2AlexNet网络架构 3.2.1第一层(CONV1) 3 ...
- Python爬虫学习之数据提取(XPath)
Python爬虫学习之数据提取XPath 概述 常用规则 运算符及介绍 准备工作 实例 文本获取 属性获取 属性值匹配 属性多值匹配 多属性匹配 按序选择 概述 XPath的全称是XML Path L ...
- 爬虫之常用数据解析方法
爬虫之常用数据解析方法
- python爬虫解析数据包_Python网络爬虫之三种数据解析方式
引入 回顾requests实现数据爬取的流程 指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 其实,在上述流程中还需要较为重要的一步,就是在持久化存储之前需要进行指 ...
- python爬虫程序详解_Python网络爬虫之三种数据解析方式
指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 其实,在上述流程中还需要较为重要的一步,就是在持久化存储之前需要进行指定数据解析.因为大多数情况下的需求,我们都会指 ...
- 爬虫 第三讲 数据解析
文章目录 爬虫 第三讲 数据解析 一.正则表达式 1.match()函数.search()函数.findall()函数 2.正则表达式中的元字符 3.正则表达式模式 4.正则表达式重复匹配 5.正则表 ...
- 爬虫之网络数据解析的三种方式---正则表达式、XPath数据解析库、BeautifulSoup数据解析库
1.正则表达式 爬虫的四个主要步骤: 明确目标(要知道你准备取哪个范围或者网站上取搜索) 爬(将所有网站的内容全部爬下来) 取(取掉对我们没用的数据) 处理数据(按照我们想要的方式存储和使用) 什么是 ...
最新文章
- Java 的 JSP 已经被淘汰了吗?
- Linux如何禁用rc4加密算法,使用arc4算法的linux内核加密子系统
- 聊一聊Android的消息机制
- 设置span的宽度,让span象button那样显示
- Scala方法定义,方法和函数的区别,将方法转换成函数
- (转)MVC模式参数传递的探究
- 马踏棋盘算法(骑士周游问题)
- 今日头条面试题:生成随机数(根据rand5()生成rand7())
- MySQLBackup 8.0.26 备份与恢复
- wrodpress登录mysql_登陆wordpress后台MySQL错误
- git.exe 启动 慢_户外慢生活节来了!南京固城湖水慢城开启春日度假模式
- Python之数据分析(numpy线性模型、线性预测、线性拟合)
- win10 nas搭建_零成本搭建一个私人影视库,没有NAS一样可以把观影姿势做到完美...
- 电力软件系统测试报告,电力巡检系统测试报告-软件工程
- 计算机出现蓝屏怎么恢复,重启电脑后出现蓝屏怎么办
- 暑假计算机教育培训总结,暑假信息技术培训心得
- 【3分钟速读】那些你苦苦搜索的模板,是这么被捣腾出来的
- 一元线性模型用R语言进行拟合
- matlab从excel第二行写,matlab从某行读excel
- 链表的快速排序及冒泡排序
热门文章
- 计算机的利与弊英语作文带翻译,科技的利弊英语作文带翻译
- 假期怕剧荒?五一假期追剧人正确打开方式
- 机器学习中怎样的特征才是好特征
- Python实现GIF的读取、处理和生成
- 索尼录音笔怎么导出录音内容_年轻人的第一台专业录音设备——索尼A10线性录音笔...
- 任意输入n个整数,分别统计奇数的和、奇数的个数、偶数的和、偶数的个数。
- IOS_QQ表情聊天
- PhotoFilter for Insta Like Support Of Technology
- 计算机组成原理 | 第三章《运算方法和运算部件》学习笔记
- First Solar推出两大新型光伏组件系列