python爬虫之爬取捧腹网段子

原文链接：http://www.nicemxp.com/articles/12

背景：抓取捧腹网首页的段子和搞笑图片链接

如图：

地址：https://www.pengfu.com/

首页中有很多子页面：

这里抓取前10页的段子和图片链接。

首先写一个获取页面的接口，捧腹网页面可以直接获取，不需要做特殊处理，代码如下：

# -*- coding:utf-8 -*-#Python抓取网页必备的库
import urllib
import urllib2
#正则表达式
import re
#user-agent
user_agent = "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"#抓取页面接口,参数为地址和referer
def getHtml(url, referer = None):try:#构建页面请求的头部headers = {'User-Agent':user_agent, "Referer":referer}#构建页面请求request = urllib2.Request(url, headers=headers)#请求目的页面，设置超时时间为45秒response =  urllib2.urlopen(request, timeout = 45)#读取数据html = response.read()return html#如果请求异常except urllib2.URLError, e:if hasattr(e, "code"):print e.codeelif hasattr(e, "reason"):print e.reasonreturn None

获取页面之后对页面进行提取处理，捧腹网的每一个段子是一个整体，在一个块级结构里，所以先对一个页面提取出所有的段子，然后在提取每个段子的文字描述和图片链接。

首先提取所有的段子，代码：

#捧腹网地址
PENGFU_URL = "https://www.pengfu.com/index_{0}.html"
#获取页面
html = getHtml(PENGFU_URL.format(1))
#提取段子的正则表达式
pattern = re.compile('<dl class="clearfix dl-con">(.*?)</dl>', re.S)
#获得所有的段子
articleRes = re.findall(pattern, html)

获取的所有的段子后，提取内容，捧腹网的段子要么是搞笑文字描述，要么是图片，其中图片有动图gif和静图，所以接下来循环遍历所有的段子，提取搞笑内容。代码：

#遍历段子
for article in articleRes:#取图片或内容，有图片则提取图片，没有图片则提取文字描述#静图链接正则表达式pattern = re.compile('<div class="content-img.*?<img.*?jpgsrc="(.*?)".*?>.*?</div>', re.S)#提取静图链接jpg = re.search(pattern, article)#动图链接正则表达式pattern = re.compile('<div class="content-img.*?<img.*?gifsrc="(.*?)".*?>.*?</div>', re.S)#提取动图链接gif = re.search(pattern, article)#判断是否有图片if (jpg != None) or (gif != None):#取链接link = (gif != None) and gif.group(1) or jpg.group(1)#存入结果Res.append(link)else: #没有图片，提取文字描述#文字描述正则表达式pattern = re.compile('<div class="content-img.*?>(.*?)</div>', re.S)#提取文字描述content = re.search(pattern, article)if content == None:continueelse:#存入结果Res.append(content.group(1))

这样获取了一个页面的所有的段子，获取前10页的段子同理，只需写一个遍历生成10个地址，逐一获取这10个地址的段子就好了。

接下来打印出提取的内容，代码：

#打印结果
for v in Res:print(v.decode('utf8'))

结果如下：

python爬虫之爬取捧腹网段子相关推荐

java爬取捧腹网段子（多线程版）
前文链接 : java爬取捧腹网段子上一篇文章讲述了如何使用Java爬取内容并写入文件,但是速度堪忧,今天将代码搞成了多线程版本, 具体方式如下: 新建一个splider类,继承callable接口 ...
java爬取捧腹网段子
先上效果图: 准备工作: /*** 建立http连接*/ public static String Connect(String address) {HttpURLConnection conn = ...
java 段子_java爬取捧腹网段子
先上效果图: 准备工作: /** * 建立http连接 */ public static String Connect(String address) { HttpURLConnection conn ...
java的段子_java爬取捧腹网段子（多线程版）
上一篇文章讲述了如何使用Java爬取内容并写入文件,但是速度堪忧,今天将代码搞成了多线程版本, 具体方式如下: 新建一个splider类,继承callable接口,用于存放我们需要多线程执行的逻辑: ...
python爬取捧腹网gif图片
#_*_coding:utf-8_*_ #爬取捧腹网GIF图片 import urllib,re import urllib.request import chardet #需要导入这个模块,检测编码 ...
python扇贝单词书,学习猿地-python 爬虫，爬取扇贝单词网单词
对于python爬虫并不是很熟悉,遇到下面的问题,希望知道的朋友可以给个解决问题的方向! 需要爬出扇贝单词网里面单词书的单词,现在对于没有目录的单词书可以爬出来,如果有一层目录就没办法了需要手动到这 ...
【python爬虫】爬取淘宝网商品信息
相信学了python爬虫,很多人都想爬取一些数据量比较大的网站,淘宝网就是一个很好的目标,其数据量大,而且种类繁多,而且难度不是很大,很适合初级学者进行爬取.下面是整个爬取过程: 第一步:构建访问的u ...
Python爬虫之爬取“天气后报网”的天气历史信息
老规矩,先上代码: import re import requestsdef go_this_time(city,time):url = "http://www.tianqihoubao.c ...
python爬虫经典段子_玩转python爬虫之爬取糗事百科段子
大家好,前面入门已经说了那么多基础知识了,下面我们做几个实战项目来挑战一下吧.那么这次为大家带来,Python爬取糗事百科的小段子的例子. 首先,糗事百科大家都听说过吧?糗友们发的搞笑的段子一抓一大把 ...

python爬虫之爬取捧腹网段子

python爬虫之爬取捧腹网段子相关推荐

最新文章

热门文章