本文目录：

O、requests库介绍

一、requests的安装

二、requests库的七个主要方法

三、response对象的属性

四、理解response的编码

五、理解requests库的异常

六、爬取网页的通用代码框架

七、HTTP的理解

O、requests库介绍

Requests is the only Non-GMO HTTP library for Python, safe for human consumption.

上面是官方介绍，简而言之，requests库是一个非常好用的HTTP请求库，可用于网络请求和网络爬虫等。

一、requests库的安装

Windows平台：

以管理员身份运行cmd,

执行 pip install requests

检测是否安装完成：

import requests
r = requests.get(“http:www.baidu.com”)

r = requests.get(“http://www.baidu.com”)
print(r.status_code)
200

二、requests库的七个主要方法

1.requests.request(methon, url, **kwargs)

构造一个请求，是支撑以下各方法的基础方法。

methon：请求方式

r = requests.request(‘get’, url, **kwargs)

r = requests.request(‘head’, url, **kwargs)

r = requests.request(‘post’, url, **kwargs)

r = requests.request(‘put’, url, **kwargs)

r = requests.request(‘patch’, url, **kwargs)

r = requests.request(‘delete’, url, **kwargs)

r = requests.request(options’, url, **kwargs)

requests.get()

获取HTML网页的主要方法，对应HTTP的GET

requests.head()

获取HTML网页头信息的方法，对应HTTP的HEAD

4.requests.post()

向HTML网页提交POST请求的，对应HTTP的POST

5.requests.put()

向HTML网页提交局部修改请求，对应HTTP的PUT

6.requests.patch()

向HTML网页提交局部修改请求，对应HTTP的PATCH

7.requests.delete()

向HTML网页提交删除请求，对应HTTP的DELETE

方法使用举例

url = ‘http://httpbin.org/post’

GET方法 requests 的get方法

r = requests.get(url)

r.text

405 Method Not Allowed

Method Not Allowed

The method is not allowed for the requested URL.

requests.get(url) : 构造一个向服务器请求资源的Requests对象

r ：返回一个包含服务器资源的Response对象

requests.get(url, params=None, **kwargs)

url : 拟获取页面url连接

params : 字典或字节序列，作为参数增加到url中

**kwargs : 12个控制访问的参数（可选项）

参数介绍:

json：JSON格式的数据，作为Request的内容

data：字典、字节序列或文件对象，作为Request的内容

headers：字典，HTTP定制头

cookies：字典或CookieJar，Request中的cookie

auth：元组，支持HTTP认证功能

files：字典类型，传输文件

timeout：设定超时时间，以秒为单位

proxies：字典类型，设定访问代理服务器，可以增加登录认证

allow_redirects：True/False,默认为True，重定向开关

stream：True/False,默认为True，获取内容立刻下载开关

varify：True/False,默认为True，认证SSL证书开关

cert：本地SSL证书路径

POST方法 requests 的post方法

data = {‘key1’:‘value1’, ‘key2’:‘value2’}
r = requests.post(url, data=data)
print(r.text)

{…

“form”: {
“key1”: “value1”,
“key2”: “value2”
}, …

}

三、response对象的属性

Response 对象包含服务器返回的所有信息，也包含请求的Request信息

r.status_code：HTTP请求的返回状态，200表示连接成功，其余返回码表示连接失败。

r.text：HTTP响应内容的字符串形式，既url对应页面的源码

r.encoding：从HTTP header 中猜测的响应内容编码方式

r.apparent_encoding：从内容中分析出的响应内容编码方式（备选编码方式）

r.content：HTTP响应内容的二进制形式

四、理解response的编码

r.encoding：

如果header中不存在charset，

则认为编码为ISO-8859-1

r.text根据r.encoding显示网页内容

r.apparent_encoding：

根据网页内容分析出编码方式，可以看做是r.encoding的备选

五、理解requests库的异常

“网络连接有风险，异常处理很重要。”

requests库中常用异常介绍：

requests.ConnectionError：网络连接错误异常，如DNS查询失败、拒绝连接等。

requests.HTTPError：HTTP错失异常

requests.URLRequired：URL缺失异常

requests.TooManyRedirects：超过最大重定向次数，产生重定向异常

requests.ConnectTimeout：连接远程服务器超时异常

requests.Timeout：请求URL超时，产生超时异常

异常处理中常用方法:

r.raise_for_status()：

如果不是200，产生异常requests.HTTPError

在方法内部判断r.status_code是否等于200,

不需要增加额外的if语句，

该语句便于利用try-except进行异常处理。

六、爬取网页的通用代码框架

import requests

def getHTMLText(url):
try:
r = requests.get(url, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return “产生异常”

if name == “main”:
url = “http://www.baidu.com”
print(getHTMLText(url))

七、HTTP的理解

HTTP (Hypertext Transfer Protocol) 超文本传输协议

HTTP是一个基于"请求与响应"模式的、无状态的应用程序协议。

HTTP协议采用URL作为定位网络资源的标识，URL格式如下：

                        http://host[:port][path]

host：合法的Internet主机域名或IP地址

port：端口号，缺省端口为80

path：请求资源的路径

HTTP URL的理解：

URL（Uniform Resource Locator）统一资源定位符

URL是通过HTTP协议存取资源Internert路径，一个URL对应

一个数据资源。

HTTP协议对资源的操作

GET：请求获取URL位置的资源

HEAD：请求获取URL位置资源的响应消息报告，即获得该资源的头部信息

POST：请求向URL位置的资源后附加新的数据

PUT：请求向URL位置存储一个资源，覆盖原URL位置的资源

PATCH：请求局部更新URL位置的资源，即改变该处资源的部分内容

DELETE：请求删除URL位置存储的资源

理解 PATCH 和 PUT 的区别

假设URL位置有一组数据UserInfo，包括UserID、UserName等20个字段

需求：用户修改了UserName，其他不变

1.采用PATCH，仅向URL提交UserName局部更新请求

2.采用PUT，必须将所有20个字段一并提交到URL，未提交字段被删除

PATCH的最主要好处：节省网络带宽

欢迎关注公众号：全栈黑科技
一起交流学习。

requests的介绍（python的第三方HTTP请求库）相关推荐

Python的第三方库pillow
一.pillow的介绍 Python的第三方库pillow在Pypi上的地址:https://pypi.org/project/Pillow/ Pillow是Python的第三方图像处理库,但是由 ...
python中好用的库（一）
python中好用的库(一) 时间库-arrow 使用背景日期时间处理在实际应用场景中无处不在,所以这也成了编程语言中必不可少的模块,Python 也不例外.但是,你知道在Python中有多少个相关 ...
Python中第三方库Requests库的高级用法详解
Python中第三方库Requests库的高级用法详解虽然Python的标准库中urllib2模块已经包含了平常我们使用的大多数功能,但是它的API使用起来让人实在感觉不好.它已经不适合现在的时代, ...
python网络爬虫教程(四)：强大便捷的请求库requests详解与编程实战
上一章中,我们了解了urllib的基本用法,详情可浏览如下链接python网络爬虫教程(三):详解urllib库,但其中确实有不方便的地方,为此,我们可以使用更方便更简洁的HTTP请求库request ...
Python 常用第三方库及介绍
环境管理管理 Python 版本和环境的工具 p:非常简单的交互式 python 版本管理工具.官网 pyenv:简单的 Python 版本管理工具.官网 Vex:可以在虚拟环境中执行命令.官网 v ...
Python网络请求库Requests，妈妈再也不会担心我的网络请求了(二)
本文同步发表于我的微信公众号,扫一扫文章底部的二维码或在微信搜索极客导航即可关注,每个工作日都有文章更新. 一.概况接着上篇说,如果你真以为Requests网络请求库只有Get请求和Post请求 ...
python http get 请求_Python-Http请求库-Requests and AIOHTTP的使用
首先对库进行安装: pip install aiohttp[speedups] pip install requests 一.Requests库 Requests 简便的 API 意味着所有 HTTP ...
python调用第三方接口获取数据_python调用接口,python接收post请求接口(附完整代码)...
与Scala语言相比,Python有其独特的优势和广泛的应用,python调用接口,因此Spark也推出了PySpark,它在框架上提供了一个使用Python语言的接口,python接收post请求接 ...
Python的第三方库requests
Python的标准库是随着Python安装的时候默认自带的库:Python的第三方库,需要下载后安装到Python的安装目录下.不同的第三方库安装及使用方法不同,Python第三方库的查询地址为:ht ...

requests的介绍（python的第三方HTTP请求库）

Method Not Allowed

requests的介绍（python的第三方HTTP请求库）相关推荐

最新文章

热门文章