urllib 库的代替品 requests 的用法

Requuests 官方的介绍时多么的霸气，之所以那么霸气，是因为 Requestts 相比于 urllib 在使用方面上会让开发者感到更加的人性化、更加简洁、更加舒适，并且国外的一些公司也在使用requests库。

看看他又那些特性：

　　。Keep-Alive & 连接池

　　。国际化域名和 URI

　　。带持久 Cookie 的会话

　　。浏览器式的 SSL认证

　　。自动内容解码

　　。基本/摘要式的身份认证

　　。优雅的key/value Cookie

　　。自动解压

　　。Unicode 响应体

　　。HTTP(S)代理支持

　　。文件分块上传

　　。流下载

　　。连接超时

·　　。分块请求

　　。支持.netrc

1、简单的专抓取页面

import requests# 使用 get 请求方式
response = requests.get("https://tieba.baidu.com/")
print(response.text)

# 使用 post 方式请求response = requests.post("https://tieba.baidu.com/")print(response.text)

2、使用代理

　　有些网站做了浏览器频率限制。如果我们请求该网站频率过高，该网站会封掉我们的 IP，禁止我们的访问，所以我们需要使用代理来突破这“枷锁”。这里需要用到 proxies参数，proxies 也是一个字典类型。具体用法如下

importsurl = "http://tieba.baidu.com/"
proxies = {"http":"web-proxy.oa.com:8080","https":"web-proxy.oa.com:8080"# 若你的代理需要使用 HTTP Basic Auth，可以使用 http：//password@host/语法
}response = requests.get(url, proxies = proxies)
print(response.text)
print(response.url)

3、使用 Cookie

　　　想在响应结果中获取 cookie 的一些值，可以直接访问。

response。cookies['key'] # key 为 Cookie 字典中键

　　想发送 cookie 到服务器，可以使用 cookies 参数。同样该参数是字典类型

url = ‘http://httpin.org/cookies/'

cookies = {"domain":'httpin.org',}response = requests.get(url, cookies = cookies)
print(response.text)

转载于:https://www.cnblogs.com/jcjc/p/11124992.html

urllib 库的代替品 requests 的用法相关推荐

爬虫库分享(一)：requests常见用法总结
一.前言 requests是Python中一个用来发出HTTP请求的库,它将复杂的网络请求封装为一个简单的API以供用户调用,对于一般比较简单的爬虫程序而言,requests库足矣,今天博主分享一下r ...
第三部分基本库的使用（urllib库, requests库, re库）
Python提供了功能齐全的类库来完成网络请求.基础库的HTTP库有urllib, httplib2, requests, treq等. 比如说rullib库,不用关心底层怎么实现的,只要关心请求的链 ...
urllib库的使用（一篇就够了）
在Python2中,有urllib和urllib2两个库来实现请求的发送,而在Python3中,统一为了urllib,其官方文档链接为:https://docs.python.org/3/librar ...
爬虫：urllib库的用法，关于 request，parse模块总结
urllib库它是python内置的请求库,包括 request ,error ,parse,robotparse. 这里主要介绍request 和parse模块. request 它是HTTP请求 ...
Python爬虫入门（4）：Urllib库的高级用法
Python爬虫入门(1):综述 Python爬虫入门(2):爬虫基础了解 Python爬虫入门(3):Urllib库的基本使用 Python爬虫入门(4):Urllib库的高级用法 Python爬虫 ...
Python爬虫入门四之Urllib库的高级用法
1.设置Headers 有些网站不会同意程序直接用上面的方式进行访问,如果识别有问题,那么站点根本不会响应,所以为了完全模拟浏览器的工作,我们需要设置一些Headers 的属性. 首先,打开我们的浏览 ...
【Python爬虫】requests与urllib库的区别
我们在使用python爬虫时,需要模拟发起网络请求,主要用到的库有requests库和python内置的urllib库,一般建议使用requests,它是对urllib的再次封装,它们使用的主要区别: ...
Python3爬虫入门之Urllib库的用法
urllib库的用法 urlopen urllib.request.urlopen(url,data=None,[timeout,]*,cafile=None,cadefault=False,cont ...
python requests下载图片_Python使用urllib库、requests库下载图片的方法比较
我们知道,使用Python制作一个爬虫程序,requests库是一个不错的选择,requests发送网络请求非常简单,比较使用urllib库,使用requests库可以大大减少代码量,它还可以定制请求 ...
浅谈Python两大爬虫库——urllib库和requests库区别
一.前言在使用Python爬虫时,需要模拟发起网络请求,主要用到的库有requests库和python内置的urllib库,一般建议使用requests,它是对urllib的再次封装. 那它们两者有 ...

urllib 库的代替品 requests 的用法

urllib 库的代替品 requests 的用法相关推荐

最新文章

热门文章