python爬虫正则表达式实例-python爬虫正则表达式解析

这篇文章主要介绍了python爬虫正则表达式解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

- re.I # 忽略大小写

- re.M # 多行匹配，将正则作用到源数据的每一行

- re.S # 单行匹配，将正则作用到整个源数据，输出一个整体字符串（包括换行符也打印）

string = '''fall in love with you

i love you very much

i love she

i love her'''

# 去除以i开头的每一行数据

re.findall('^i.*',string,re.M)

['i love you very much', 'i love she', 'i love her']

#匹配全部行

string1 = """细思极恐

你的队友在看书

你的敌人在磨刀

你的闺蜜在减肥

隔壁老王在练腰

"""

re.findall('.*',string1,re.S)

['细思极恐你的队友在看书你的敌人在磨刀你的闺蜜在减肥隔壁老王在练腰 ', '']

爬取糗事百科中所有的图片进行保存

import requests

import re

import urllib

import os

url = 'https://www.qiushibaike.com/pic/page/%d/?s=5170552'

# 自定义请求头信息

headers = {

'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36'

}

# 判断是否存在名为qiutu的文件夹，如果不存在则创建文件夹

if not os.path.exists('./qiutu'):

os.mkdir('./qiutu')

# 手动输入开始页，结束页

start_page = int(input('start>>>'))

end_page = int(input('end>>>'))

for page in range(start_page,end_page+1):

# 按照每页url形式拼接指定url

new_url = format(url%page)

# 发起请求

page_text = requests.get(url=new_url,headers=headers).text

# 使用正则找出page_text页面中所有图片url

img_url_list = re.findall('

.*?

',page_text,re.S)

# 给每一个图片url添加https协议头

for img_url in img_url_list:

img_url = 'https:' + img_url

# 将图片url切割去除图片名称，作为存储时图片的名称

img_name = img_url.split('/')[-1]

img_path = 'qiutu/' + img_name、

# 对图片做持久化存储

urllib.request.urlretrieve(url=img_url,filename=img_path)

print(img_path,'下载成功')

print('over')

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。

python爬虫正则表达式实例-python爬虫正则表达式解析相关推荐

python爬虫正则表达式实例-python爬虫学习三：python正则表达式
python爬虫学习三:python正则表达式 1.正则表达式基础 a.正则表达式的大致匹配过程: 1.依次拿出表达式和文本中的字符比较 2.如果每一个字符都能匹配,则匹配成功:一旦有匹配不成功的字符 ...
python爬虫正则表达式实例-Python爬虫(十一)_案例：使用正则表达式的爬虫
本章将结合先前所学的爬虫和正则表达式知识,做一个简单的爬虫案例,更多内容请参考:Python学习指南现在拥有了正则表达式这把神兵利器,我们就可以进行对爬取到的全部网页源代码进行筛选了. 打开之后,不 ...
python正则表达式实例教程_Python正则表达式经典入门教程
本文实例总结了Python正则表达式基本用法.分享给大家供大家参考,具体如下: 正则表达式在平时做文本处理(爬虫程序去解析html中的字段,在分析log文件的时候需要抓取一些关键数据)的时候经常会用到 ...
python爬虫五大实例，爬虫初始与PyCharm安装
一:腾讯动漫爬虫代码 import requests from fake_useragent import UserAgent import re import threadingdef replac ...
python爬虫图片实例-Python爬虫爬取煎蛋网图片代码实例
这篇文章主要介绍了Python爬虫爬取煎蛋网图片代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下今天,试着爬取了煎蛋网的图片. 用到的包: ...
python scrapy教程实例_爬虫框架Scrapy的第一个爬虫示例入门教程
原标题:爬虫框架Scrapy的第一个爬虫示例入门教程我们使用dmoz.org这个网站来作为小抓抓一展身手的对象. 首先先要回答一个问题. 问:把网站装进爬虫里,总共分几步? 答案很简单,四步: 新建 ...
python爬虫入门实例-Python爬虫天气预报实例详解（小白入门）
本文研究的主要是Python爬虫天气预报的相关内容,具体介绍如下. 要求是把你所在城市过去一年的历史数据爬出来. 分析网站我们可以看到,我们需要的天气数据都是放在图表上的,在切换月份的时候,发现只有 ...
python实例代码爬虫_Python实例教程爬虫从网络上下载文档的实例代码
Python实例教程爬虫从网络上下载文档的实例代码来源:中文源码网浏览: 次日期:2018年8月30日 [下载文档: Python实例教程爬虫从网络上下载文档的实例代码.txt ] ...
python数据分析可视化实例-Python数据分析与可视化从入门到精通
(1)没有高深理论,每章都以实例为主,读者参考书中源码运行,就能得到与书中一样的结果.(2)专注于Python数据分析与可视化操作中实际用到的技术.相比大而全的书籍资料,本书能让读者尽快上手,开始项目 ...

python爬虫正则表达式实例-python爬虫正则表达式解析

python爬虫正则表达式实例-python爬虫正则表达式解析相关推荐

最新文章

热门文章

python爬虫正则表达式实例-python爬虫 正则表达式解析

python爬虫正则表达式实例-python爬虫 正则表达式解析相关推荐

最新文章

热门文章

python爬虫正则表达式实例-python爬虫正则表达式解析

python爬虫正则表达式实例-python爬虫正则表达式解析相关推荐