Python之Requests

对于的新的环境可能没有安装requests库，可以子cmd窗口下进行requests库的安装，pip提供了在线安装的功能。

完成安装之后，通过一个简单的示例进入到下文中：

import requestsr = requests.get("http://www.baidu.com")
print r.status_code
r.encoding = 'utf-8'
print r.text

1、get()

而get的使用语法为：

requests.get(url,params=None,**kwargs)
url:拟获取的网页的url链接
params:url中的额外参数，字节或者字节流格式，可选
*kwargs:12个控制访问参数

打开get的源代码，发现实际上使用了request进行封装

对于上述示例中，如果状态码status_code 是 200，表示访问成功，而Response 对象的其它属性，如类型和头部，通过以下方式：

print type(r)
print r.headers

表示访问的是一个类。此外Response 还有以下诸多重要的属性

因此访问的流程如下：

print "the encoding way is :",r.encoding
print "the parent encoding is:",r.apparent_encoding
r.encoding = 'utf-8'
输出结果：
the encoding way is : ISO-8859-1
the parent encoding is: utf-8

爬取网页的通用代码框架：
由于网络连接有风险，因此异常处理就显得很重要了

对于response对象很重要的一点在于会判断返回码是否是200

现在来看看通用的代码框架是什么样的：

import requestsdef getHTMLText(url):try:r = requests.get(url,timeout = 30)r.raise_for_status()#if the status is not 2000,HTTPError exception is thrownr.encoding = r.apparent_encodingreturn r.textexcept:return #HTTPError exceptionif __name__ == '__main__':url = "http://www.baidu.com"print getHTMLText(url)

http和request的对应的方法

Python之Requests相关推荐

Java 爬虫--类似Python的requests库--HttpClient， HttpAsyncClient--Maven
今天在找Java的爬虫的库,发现Java的爬虫框架挺多的,常见的有nutch,Heritrix,crawler4j等. 但我想要的是类似Python的requests库的Java库. 看到一个库叫Un ...
Python之Requests库的异常
Python之Requests库的异常参考文章: (1)Python之Requests库的异常 (2)https://www.cnblogs.com/BASE64/p/10285466.html 备 ...
关于python中requests模块导入问题-Python中requests模块的核心使用（1）
简介: requests模块的底层实现其实还是urllib,但是urllib并不常用 requests库简单易用快速上手 http://docs.python-requests.org/zh_CN/ ...
python中requests库的用途-数据爬虫（三）：python中requests库使用方法详解
有些网站访问时必须带有浏览器等信息,如果不传入headers就会报错,如下使用 Requests 模块,上传文件也是如此简单的,文件的类型会自动进行处理: 因为12306有一个错误证书,我们那它的网 ...
关于python中requests模块导入问题-python中requests模块的使用方法
本文实例讲述了python中requests模块的使用方法.分享给大家供大家参考.具体分析如下: 在HTTP相关处理中使用python是不必要的麻烦,这包括urllib2模块以巨大的复杂性代价获取综合 ...
python中requests库的用途-python中requests库session对象的妙用详解
在进行接口测试的时候,我们会调用多个接口发出多个请求,在这些请求中有时候需要保持一些共用的数据,例如cookies信息. 妙用1 requests库的session对象能够帮我们跨请求保持某些参数,也 ...
Py之requests：python的requests包的简介、安装、使用方法详细攻略
Py之requests:python的requests包的简介.安装.使用方法详细攻略目录 requests包的简介 requests包的安装 requests包的使用方法 requests包的简介 ...
python的requests模块功能_《Python数据可视化编程实战》—— 1.7　安装requests模块-阿里云开发者社区...
本节书摘来异步社区<Python数据可视化编程实战>一书中的第1章,第1.7节,作者:[爱尔兰]Igor Milovanović,更多章节内容可以访问云栖社区"异步社区" ...
在python中requests模块怎么安装_Python requests模块在Windows下安装
发现一个爬虫库太方便了,而且支持python3! 安装方法在http://docs.python-requests.org/en/latest/user/install/#install很详细只不过 ...
pythonunittest接口测试_基于python+unittest +requests接口测试
2019独角兽企业重金招聘Python工程师标准>>> 谈到接口测试,大家都不会感到陌生.接口测试的工具和实现方式也有很多,比如ant+jmeter+jemkins.postman. ...

Python之Requests

1、get()

Python之Requests相关推荐

最新文章

热门文章