一. 前言

现在拥有了正则表达式这把神兵利器，我们就可以进行对爬取到的全部网页源代码进行筛选了。

下面我们一起尝试一下爬取内涵段子网站： http://www.neihan8.com/article/list_5_1.html

打开之后，不难看到里面一个一个灰常有内涵的段子，当你进行翻页的时候，注意url地址的变化：

第一页url: http: //www.neihan8.com/article/list_5_1 .html

第二页url: http: //www.neihan8.com/article/list_5_2 .html

第三页url: http: //www.neihan8.com/article/list_5_3 .html

第四页url: http: //www.neihan8.com/article/list_5_4 .html

这样我们的url规律找到了，要想爬取所有的段子，只需要修改一个参数即可。下面我们就开始一步一步将所有的段子爬取下来吧。

二. 第一步：获取数据

按照我们之前的用法，我们需要写一个加载页面的方法。

这里我们统一定义一个类，将url请求作为一个成员方法处理。

我们创建一个文件，叫duanzi_spider.py

然后定义一个Spider类，并且添加一个加载页面的成员方法

class Duanzi_spider():def __init__(self):self.url = "http://www.neihan8.com/article/list_5_%s.html"self.headers = {"User_Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleW\ebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36","Accept-Encoding":None,"Accept-Language": "zh-CN,zh;q=0.8"}def load_page(self,url):'''可以复用的页面请求方法'''response = requests.get(url,timeout=10,headers=self.headers)if response.status_code==200:print(response.request.headers)return response.content.decode("gbk")else:raise ValueError("status_code is:",response.status_code)

程序正常执行的话，我们会在屏幕上打印了内涵段子第一页的全部html代码。但是我们发现，html中的中文部分显示的可能是乱码。
注意：对于每个网站对中文的编码各自不同，所以html.decode(‘gbk’)的写法并不是通用写法，根据网站的编码而异

三. 第二步：筛选数据

接下来我们已经得到了整个页面的数据。但是，很多内容我们并不关心，所以下一步我们需要进行筛选。如何筛选，就用到了上一节讲述的正则表达式。首先：

import re

然后, 在我们得到的response中进行筛选匹配。

我们需要一个匹配规则:

我们可以打开内涵段子的网页，鼠标点击右键 " 查看源代码 " 你会发现每条段子的内容大致如下

<a href="/article/44959.html"><b>回家奔丧</b></a></h4><div class="f18 mb20">一老太太跋山涉水来到部队，看望她的孙子，<br />警卫问：“她找谁？”老太说：“找xx，”警卫打完电话说：<br />“xx三天前说她他奶奶过世，回家奔丧去了，奔丧去了，去了。。”</div>

def get_content(self,html):'''  根据网页内容，同时匹配标题和段子内容'''pattern = re.compile(r'<a\shref="/article/\d+\.html">(.*?)</a>.*?<div\sclass="f18 mb20">(.*?)</div>', re.S)t = pattern.findall(html)result = []for i in t:temp = []for j in i:j = re.sub(r"[<b>|</b>|<br />|<br>|<p>|</p>|\\u3000|\\r\\n|\s]","",j)j = j.replace("&ldqo;",'"').replace("&helli;","...").replace("&dqo;",'"').strip()# j = re.sub(r"[&ldqo;|&dqo;]","\"",j)?# j = re.sub(r"…","...",j)temp.append(j)print(temp)result.append(temp)return result

这里需要注意一个是re.S是正则表达式中匹配的一个参数。

如果没有re.S 则是只匹配一行有没有符合规则的字符串，如果没有则下一行重新匹配。

如果加上re.S 则是将所有的字符串将一个整体进行匹配，findall 将所有匹配到的结果封装到一个list中。

ok程序写到这，我们再一次执行一下。

Power@PowerMac ~$ python duanzi_spider.py

我们第一页的全部段子，不包含其他信息全部的打印了出来。
你会发现段子中有很多 , 很是不舒服，实际上这个是html的一种段落的标签。
在浏览器上看不出来，但是如果按照文本打印会有

出现，那么我们只需要把我们不希望的内容去掉即可了。

我们可以如下简单修改一下 get_content().

j = re.sub(r"[|| | |||\u3000|\r\n|\s]","",j)
j = j.replace("&ldqo;",’"’).replace("&helli;","…").replace("&dqo;",’"’).strip()

四. 第三步：保存数据

我们可以将所有的段子存放在文件中。比如，我们可以将得到的每个item不是打印出来，而是存放在一个叫 duanzi.txt 的文件中也可以。

def save_content(self,content):myFile = open("./duanzi.txt", 'a')for temp in content:myFile.write("\n"+temp[0]+"\n"+temp[1]+"\n")myFile.write("-----------------------------------------------------")myFile.close()

然后我们实现保存的方法，当前页面的所有段子就存在了本地的duanzi.txt文件中。

五. 第四步：实现循环抓取

接下来我们就通过参数的传递对page进行叠加来遍历内涵段子吧的全部段子内容。

同时也通过这个run方法实现整个程序的主要逻辑

def run(self):i = 1while True:html = self.load_page(self.url%i)result = self.get_content(html)print ("按回车继续...")print ("输入 quit 退出")command = input()if (command == "quit"):breaki+=1

最后，我们执行我们的代码，完成后查看当前路径下的duanzi.txt文件，里面已经有了我们要的内涵段子。

以上便是一个非常精简使用的小爬虫程序，使用起来很是方便，如果想要爬取其他网站的信息，只需要修改其中某些参数和一些细节就行了。

网络爬虫--10.使用正则表达式的爬虫相关推荐

python爬虫10万信息mysql_python爬虫：爬取易迅网价格信息，并写入Mysql数据库
#!/usr/bin/python # -*- encoding:utf-8 -*- '''思路:1.从易迅网爬取冰箱的数据,包括品牌,型号,价格,容积,能效等级,制冷方式,门款式,显示方式,定频/变 ...
iOS开发——网络使用技术OC篇网络爬虫－使用正则表达式抓取网络数据
网络爬虫-使用正则表达式抓取网络数据关于网络数据抓取不仅仅在iOS开发中有,其他开发中也有,也叫网络爬虫,大致分为两种方式实现 1:正则表达 2:利用其他语言的工具包:java/Python 先来看 ...
Python 网络爬虫笔记6 -- 正则表达式
Python 网络爬虫笔记6 – 正则表达式 Python 网络爬虫系列笔记是笔者在学习嵩天老师的<Python网络爬虫与信息提取>课程及笔者实践网络爬虫的笔记. 课程链接:Python网 ...
Python网络爬虫：利用正则表达式方法爬取‘’豆瓣读书‘’中‘’新书速递‘’条目
1.简述:正则表达式是爬虫的方法之一,这里利用Requests库进行爬取,尽管Urllib也能进行爬取,但过程过于繁琐,在了解Urllib的爬取过程后,没有进行实战演练,但在学习了Requests的爬 ...
解析python网络爬虫pdf 黑马程序员_正版解析Python网络爬虫核心技术 Scrapy框架分布式爬虫黑马程序员 Python应用编程丛书中国铁道出版社...
商品参数书名:Python应用编程丛书:解析Python网络爬虫:核心技术.Scrapy框架.分布式爬虫定价:52.00元作者:[中国]黑马程序员出版社:中国铁道出版社出版日期:2018-0 ...
python网络爬虫的基本步骤-python爬虫入门需要哪些基础/python 网络爬虫教程
如何入门 Python 爬虫入门个吊,放弃 python爬虫入门需要哪些基础现在之所以有多的小伙伴热衷于爬虫技术,无外乎是因为爬我们做很多事情,比如搜索引擎.采集数据.广告过滤等,以Python为 ...
python爬虫入门必备正则_python 爬虫入门之正则表达式一
python 正则表达式知识点正则常用符号 . : 匹配任意字符,换行符除外 * : 匹配前一个字符 0 次或者无限次 ? : 匹配前一个字符 0次或者1次 .* : 贪心算法 .*? :非贪心 ...
Python网络爬虫（一）：爬虫基础
Python网络爬虫(一)爬虫基础一.爬虫基础 1.HTTP基本原理 1.1URI和URL URI,全称:Uniform Resource Identifier,即统一资源标志符:URL,全称:Un ...
python南开大学王恺mooc_Python爬虫示例（正则表达式、靓汤、selenium）,程序,BeautifulSoupselenium...
1. 基于百度新闻爬取对应关键字的新闻标题代码: import re # re模块主要是通过正则表达式的匹配,从网页中提取想要的信息 import requests # 从指定的网页上爬取数据 fr ...

网络爬虫--10.使用正则表达式的爬虫

文章目录