学习资料整理

Python网络爬虫
糗百爬虫
糗百
工具httpfox

分析糗百HTML

为了能够得到我们需要的信息,我们需要按下F12.去看看糗百的HTML的结构,从中提取我们想要的信息.

这里面我们只是把糗百文字提取出来显示,所以这里面我们就看看包裹糗百内容的HTML结构就可以了.

第一条糗百内容:

<div class="content">上海消保委针对手机预装软件过多，严重影响消费者的使用，手机内存严重缩水等原因，对三星，oppo等很多手机厂商提起公益诉讼，中国消保委对此做法表示大力支持。为中国的进步点个赞吧！这条必须过！
<!--2015-07-05 13:09:40-->
</div>

第二条糗百内容:

<div class="content">哥哥二十九了还没结婚，回家来，爸妈看他各种不顺眼，就连他逗狗玩一下，爸爸都会说：我在你这个年纪已经在逗你玩了，而你现在只能逗狗！
<!--2015-07-05 15:10:28--></div>

从中我们可以发现,所有糗百内容结构都是一样的.都是有一个html <div class="content">...</div> .

正则表达式

上面HTML的结构中,我们需要提取div中的内容,很容易就想到了用正则表示.

pattern = re.compile('<div class="content">(.*?)</div>', re.S)

上面的正则表达式就是提取div里面的内容,(.*?)代表一个分组,re.S标志代表在匹配时为点任意匹配模式，点 . 也可以代表换行符.

Python爬虫

python爬虫一般需要用到两个模块.

import urllib
import urllib2

那么怎样才能打开一个网址呢?

response = urllib2.urlopen(request)
#response = urllib2.urlopen('www.baidu.com') 返回的就是百度首页的HTML

但是有些网站(糗百)不喜欢被程序访问,或者发送不同版本的内容到不同的浏览.所有这个时候我们就要伪装成浏览器,浏览器确认自己身份是通过User-Agent头,下面为我们的请求加上一个伪装(没有异常处理,后面会给出完整的).

page = 1
url = 'http://www.qiushibaike.com/hot/page/' + str(page)
user_agent = 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:38.0) Gecko/20100101 Firefox/38.0'  #伪装成ubuntu下的火狐浏览器
headers = {'User-Agent': user_agent}
request = urllib2.Request(url, headers=headers)                                              #为request添加User-Agent头
response = urllib2.urlopen(request)                                                          #打开网址

下面开始读取网页里面的内容了,

content = response.read()

读取的内容就是我们在糗百网页下按F12的结果一样,然后就是通过正则表达式将我需要的内容全部提取出来了.

完整Python糗百爬虫精简版代码

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import urllib
import urllib2
import re
pattern = re.compile('<div class="content">(.*?)</div>', re.S)                                  #正则表达式
page = 1
url = 'http://www.qiushibaike.com/hot/page/' + str(page)
user_agent = 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:38.0) Gecko/20100101 Firefox/38.0'     #伪装成ubuntu下的火狐浏览器
headers = {'User-Agent': user_agent}
try:request = urllib2.Request(url, headers=headers)                                             #Requestresponse = urllib2.urlopen(request)                                                         #打开网址content = response.read()                                                                   #读取网址内容items = re.findall(pattern, content)                                                        #正则表达式提取内容for item in items:print item                                                                              #打印出糗百内容
except urllib2.URLError, e:                                                                     #异常处理if hasattr(e, 'code'):print e.codeif hasattr(e, 'reason'):print e.reason

Python糗百爬虫(精简版)相关推荐

python 字符集utf-8|精简版（三分钟了解）
字符集计算机只能处理数字(其实就是数字0和数字1), 如果要处理文本,就必须先把文本转换为数字才能处理. 最早的计算机在设计时采用8个比特(bit)作为一个字节(byte), 所以,一个字节能表示的 ...
python网络爬虫权威指南百度云-分析《Python网络爬虫权威指南第2版》PDF及代码...
对那些没有学过编程的人来说,计算机编程看着就像变魔术.如果编程是魔术(magic),那么网页抓取(Web scraping)就是巫术(wizardry),也就是运用"魔术"来实现精 ...
python3爬虫有道翻译_一篇文章教会你利用Python网络爬虫获取有道翻译手机版的翻译接口...
[一.项目背景] 有道翻译作为国内最大的翻译软件之一,用户量巨大.在学习时遇到不会的英语词汇,会第一时间找翻译,有道翻译就是首选.今天教大家如何去获取有道翻译手机版的翻译接口. ![image](ht ...
【读书笔记】Python网络爬虫从入门到实践（第2版）-唐松，爬虫基础体系巩固和常见场景练习
[概述] 书名:Python网络爬虫从入门到实践(第2版) 作者:唐松日期:2021年08月01日读书用时:1568页,100小时,59个笔记 [读书笔记] ◆ 1.2 网络爬虫是否合法爬虫协议 ...
python如何爬有道翻译_如何利用Python网络爬虫来获取有道翻译翻译接口--手机版的哦！...
[一.项目背景] 有道翻译作为国内最大的翻译软件之一,用户量巨大.在学习时遇到不会的英语词汇,会第一时间找翻译,有道翻译就是首选.今天教大家如何去获取有道翻译手机版的翻译接口. image [二. ...
IT宅男利用Python网络爬虫获取有道翻译手机版翻译接口
[一.项目背景] 有道翻译作为国内最大的翻译软件之一,用户量巨大.在学习时遇到不会的英语词汇,会第一时间找翻译,有道翻译就是首选.今天教大家如何去获取有道翻译手机版的翻译接口. [二.项目目标] 多国 ...
[day4]python网络爬虫实战：爬取美女写真图片(Scrapy版)
l> 我的新书<Android App开发入门与实战>已于2020年8月由人民邮电出版社出版,欢迎购买.点击进入详情文章目录 1.开发环境 2.第三方库 3.Scrapy简介 4. ...
[day2]python网络爬虫实战：爬取美女写真图片(增强版)
l> 我的新书<Android App开发入门与实战>已于2020年8月由人民邮电出版社出版,欢迎购买.点击进入详情文章目录 1.开发环境 2.第三方库 3.实现 1.分析url格 ...
Python新手爬虫训练小项目《爬取彼岸图网》（超详细讲解版）
Python新手爬虫训练小项目<爬取彼岸图网>(超详细讲解版) 这是我的第一篇文章,作为一名新手爬虫,这个算是我这几天来的努力成果,虽然代码寥寥几行但花费了大半天,新手上路还是不能只看视频 ...
笨办法学Python（第四版）最新版+Python爬虫开发与项目实战+Python网络数据采集+精通Scrapy网络爬虫
笨办法学Python(第四版)最新版+Python爬虫开发与项目实战+Python网络数据采集+精通Scrapy网络爬虫本资料为最新整理高清带目录pdf,百度网盘下载~~~ 本资料为最新整理高清带目 ...

Python糗百爬虫(精简版)