python爬取网页内容requests_[转][实战演练]python3使用requests模块爬取页面内容
本文摘要:
1.安装pip
2.安装requests模块
3.安装beautifulsoup4
4.requests模块浅析
+ 发送请求 + 传递URL参数
+ 响应内容
+ 获取网页编码
+ 获取响应状态码
5.案例演示
后记
1.安装pip
我的个人桌面系统用的linuxmint,系统默认没有安装pip,考虑到后面安装requests模块使用pip,所以我这里第一步先安装pip。
$ sudo apt install python-pip
安装成功,查看PIP版本:
$ pip -V
2.安装requests模块
这里我是通过pip方式进行安装:
$ pip install requests
安装requests
运行import requests,如果没提示错误,那说明已经安装成功了!
检验是否安装成功
3.安装beautifulsoup4
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航,查找、修改文档的方式。Beautiful Soup会帮你节省数小时甚至数天的工作时间。
$ sudo apt-get install python3-bs4
注:这里我使用的是python3的安装方式,如果你用的是python2,可以使用下面命令安装。
$ sudo pip install beautifulsoup4
4.requests模块浅析
1)发送请求
首先当然是要导入 Requests 模块:
>>> import requests
然后,获取目标抓取网页。这里我以简书为例:
>>> r = requests.get('http://www.cnblogs.com/chanzhi/p/7542447.html')
这里返回一个名为 r 的响应对象。我们可以从这个对象中获取所有我们想要的信息。这里的get是http的响应方法,所以举一反三你也可以将其替换为put、delete、post、head。
2)传递URL参数
有时我们想为 URL 的查询字符串传递某种数据。如果你是手工构建 URL,那么数据会以键/值对的形式置于 URL 中,跟在一个问号的后面。例如, cnblogs.com/get?key=val。 Requests 允许你使用 params 关键字参数,以一个字符串字典来提供这些参数。
举例来说,当我们google搜索“python爬虫”关键词时,newwindow(新窗口打开)、q及oq(搜索关键词)等参数可以手工组成URL ,那么你可以使用如下代码:
>>> payload = {'newwindow': '1', 'q': 'python爬虫', 'oq': 'python爬虫'}
>>> r = requests.get("https://www.google.com/search", params=payload)
3)响应内容
通过r.text或r.content来获取页面响应内容。
>>> import requests
>>> r = requests.get('https://github.com/timeline.json')
>>> r.text
Requests 会自动解码来自服务器的内容。大多数 unicode 字符集都能被无缝地解码。这里补充一点r.text和r.content二者的区别,简单说:
resp.text返回的是Unicode型的数据;
resp.content返回的是bytes型也就是二进制的数据;
所以如果你想取文本,可以通过r.text,如果想取图片,文件,则可以通过r.content。
4)获取网页编码
>>> r = requests.get('http://www.cnblogs.com/')
>>> r.encoding
'utf-8'
5)获取响应状态码
我们可以检测响应状态码:
>>> r = requests.get('http://www.cnblogs.com/')
>>> r.status_code
200
5.案例演示
最近公司刚引入了一款OA系统,这里我以其官方说明文档页面为例,并且只抓取页面中文章标题和内容等有用信息。
演示环境
操作系统:linuxmint
python版本:python 3.5.2
使用模块:requests、beautifulsoup4
代码如下:
1 #!/usr/bin/env python
2 # -*- coding: utf-8 -*-
3 _author_ = 'GavinHsueh'
4
5 import requests
6 import bs4
7
8 #要抓取的目标页码地址
9 url = 'http://www.ranzhi.org/book/ranzhi/about-ranzhi-4.html'
10
11 #抓取页码内容,返回响应对象
12 response = requests.get(url)
13
14 #查看响应状态码
15 status_code = response.status_code
16
17 #使用BeautifulSoup解析代码,并锁定页码指定标签内容
18 content = bs4.BeautifulSoup(response.content.decode("utf-8"), "lxml")
19 element = content.find_all(id='book')
20
21 print(status_code)
22 print(element)
程序运行返回爬去结果:
抓取成功
关于爬去结果乱码问题
其实起初我是直接用的系统默认自带的python2操作的,但在抓取返回内容的编码乱码问题上折腾了老半天,google了多种解决方案都无效。在被python2“整疯“之后,只好老老实实用python3了。对于python2的爬取页面内容乱码问题,欢迎各位前辈们分享经验,以帮助我等后生少走弯路。
后记
python的爬虫相关模块有很多,除了requests模块,再如urllib和pycurl以及tornado等。相比而言,我个人觉得requests模块是相对简单易上手的了。通过文本,大家可以迅速学会使用python的requests模块爬取页码内容。本人能力有限,如果文章有任何错误欢迎不吝赐教,其次如果大家有任何关于python爬去页面内容的疑难杂问,也欢迎和大家一起交流讨论。
我们共同学习,共同交流,共同进步!
参考:
https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html#
http://cn.python-requests.org/zh_CN/latest/
python爬取网页内容requests_[转][实战演练]python3使用requests模块爬取页面内容相关推荐
- python怎么爬取Linux作业,Python爬虫之使用Fiddler+Postman+Python的requests模块爬取各国国旗...
介绍 本篇博客将会介绍一个Python爬虫,用来爬取各个国家的国旗,主要的目标是为了展示如何在Python的requests模块中使用POST方法来爬取网页内容. 为了知道POST方法所需要传递的HT ...
- Python爬虫之使用Fiddler+Postman+Python的requests模块爬取各国国旗
介绍 本篇博客将会介绍一个Python爬虫,用来爬取各个国家的国旗,主要的目标是为了展示如何在Python的requests模块中使用POST方法来爬取网页内容. 为了知道POST方法所需要传 ...
- Python3运用requests包爬取QQ音乐指定歌手歌曲
Python3应用requests包开发定向爬虫 最近学院给我们开设了Python+爬虫课程,请来了外面的公司的老师来给我们进行了为期10天的爬虫课程,实训的日子最近结束,我也有时间把我们平常写的拿来 ...
- 爬虫 使用python+requests模块爬取12306网站的车次信息
用requests模块,爬取12306的车次信息 先看代码 import re import requests import json a=requests.get('https://kyfw.123 ...
- python求excel平均数_#python抓取excel表格数据#使用python3读取处理excel表的数据内容如何对内容求平均值...
使用python3读取处理excel表的数据内容如何对内容求平均值 先说下概述: 值就是集合平均数. (a1 a2 --an)/n为a1,a2,--,an术平均值. 简单算均数.有这么一组数字10.2 ...
- Python使用lxml模块和Requests模块抓取HTML页面的教程
Web抓取 Web站点使用HTML描述,这意味着每个web页面是一个结构化的文档.有时从中 获取数据同时保持它的结构是有用的.web站点不总是以容易处理的格式, 如 csv 或者 json 提供它们的 ...
- python3使用requests模块完成get/post/代理/自定义header/自定义Cookie
一.背景说明 http请求的难易对一门语言来说是很重要的而且是越来越重要,但对于python一是urllib一些写法不太符合人的思维习惯文档也相当难看,二是在python2.x和python3.x中写 ...
- Python3之requests模块
Python标准库中提供了:urllib等模块以供Http请求,但是,它的 API 太渣了.它是为另一个时代.另一个互联网所创建的.它需要巨量的工作,甚至包括各种方法覆盖,来完成最简单的任务. 发送G ...
- python爬取今日头条专栏_[python3]今日头条图片爬取
前言 代码设计流程,先模拟ajax发送搜索"街拍美女",提取返回json里面的article_url,再访问article_url,提取article_url响应的图片url,访问 ...
最新文章
- 进行三万多次地震训练后,他们发现了快速预测震动强度的新方法
- IntentService使用
- 【PhotoScan精品教程】任务二:刺像控点,平差,质量报告精度检查,像控点POS权重调配
- 【WC2014】紫荆花之恋【替罪羊思想】【动态点分树】【替罪羊树】
- mongodb适用于_适用于MongoDB和Mongometer的SpiderMonkey至V8
- Python chr 函数 - Python零基础入门教程
- django-新的django项目
- Linux 命令 - curl: transfer a URL
- Java SE之正则表达式二:匹配
- VueX模块化使用(超级实用)
- 郑州计算机安全协会安全员考试成绩,安全员C证考试结果查询
- IE7 - 千呼万唤始出来
- 多人配音怎么做的?这两个多人配音方法分享给你
- 2.5 Moblin项目提供的开发工具
- 朋友们求助一个相关实际操作中的设计的问题
- unixODBC中 column .... does not exist 的解决过程
- xlsx发现不可读取的内容,是否恢复此工作簿的内容?
- Python实现可视化大屏数据
- 北京邮电大学计算机学院考研夏令营,北京邮电大学理学院2021年保研夏令营活动通知...
- docker容器使用docker-squash压缩体积