requests

发送http请求类型：get、post、put、delete、head

get 参数：params

值：字典格式

嵌套列表

array数组

import requests

from urllib.parse import unquote

url="http://www.example.com"

p1={"a":"1"}

r1=requests.get(url,params=p1) #字典格式

print(r1.url)

p2=[["a","1"],["a","2"]] #嵌套列表

r2=requests.get(url,params=p2)

print(r2.url)

p3={"a[]":"1,2"} #字典，传array数组

r3=requests.get(url,params=p3)

print(unquote(r3.url))

运行结果

post

1.参数：data，

值：字典格式 ；

元组列表(("a","b")，("a","b"),("c","e"))；

字符串json.dumps(字典格式)；"xml格式"(注意：字符串中内容跨行，使用\)

2.参数：json ，值：字典格式，自动转码(字符串)

3.参数：files，值：{“键名”：(“文件名”，open(“文件名”，“rb”)，“image/jpeg”)}

某一位置上传多图，

f={

(“键名”，(“文件名1”，open(“文件名1”，“rb”)，“image/jpeg”))，

(“键名”，(“文件名2”，open(“文件名2”，“rb”)，“image/jpeg”)),

}

s.post(url,files=f)

如何判断post请求中使用什么参数？可以通过fiddler抓包请求，查看Inspectors——JSON中显示数据，则使用json参数；查看Inspectors——WebForms中显示数据，则使用data参数。

响应结果

r.status_code; r.text; r.text.encode("utf-8"); r.text.encode("utf-8").decode('unicode_escape') #unicode解码; r.content; r.encoding; r.headers; r.url; r.json();

r.raw;

SSL证书验证

requests可以为HTTPS请求验证SSL证书，verify=True默认是开启的。

不启用fiddler不报SSL问题；启用fiddler抓包报SSLError；

解决办法：1.verify=False，但出现InsecureRequestWarning。

忽略Warning三种方法：

import requests

import warnings

#warnings.filterwarnings("ignore") #方式1

#requests.packages.urllib3.disable_warnings()#方式2

import urllib3

urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)#方式3

r=requests.get("https://www.baidu.com",verify=False)

print(r.status_code)

cookie绕过验证码登录

1.fiddler抓登录后cookie

2.主要请求如下：

s=requests.session()

#添加cookie

c=requests.cookies.RequestsCookieJar()

c.set("名1","值1")

c.set("名1","值1")

s.cookies.update(c)

print(s.cookies)

会话对象(保持会话)

s=requests.session()

s.get(...)

s.post(...)

requests-html爬虫框架

hs=HTMLSession()

hr=hs.get(网址)

hlinkes=hr.html.links　　#获取页面上的所有链接

alinkes=hlinkes.absolute_links　　#获取绝对路径链接

提取参数(文本内容)：css定位支持，hr.html.find("css语法"，first=True).text

xpath ,hr.html.xpath("xpath语法",first=True).text

当然这里也可以通过lxml.etree 的 xpath,python正则来提取，直接使用requests或requests.session()请求

requests-html支持JavaScript渲染；加上，hr.html.render(),类似于手工在浏览器上输入url。

不加，只有一条请求，加上可以有n条请求。

参数关联，提取参数

cookies参数关联，使用requests.session()请求就自动关联了

提取参数：针对字符串取值，python正则表达式re.findall("开头(.+?)结尾",字符串格式)；

lxml.etree 通过返回的html，解析出想要的text;a=etree.HTML(r.content); b=a.xpath("//*[@id="block"]")[0].get("value")

针对dict类型取值，jsonpath.jsonpath(字典格式，jsonpath表达式)

urlencode编码 如，%E7%94%

requests库发送请求时，会自动对url进行urlencode编码并发送，可通过r.url查看发送的url

如何自己对url进行urlencode编码？urlencode方法传字典参数，quote方法传字符串参数

如何对返回数据有urlencode编码的字符串解码？使用unquote

md5加密

import hashlib

#方式1

a=hashlib.md5()

a.update("123456".encode('utf-8'))

print(a.hexdigest())

#方式2

b=hashlib.md5('123456'.encode('utf-8'))

print(b.hexdigest())

重定向(Location)

301 永久性重定向,302 暂时性转移

默认情况下，allow_redirects=True是启用重定向的。

禁用重定向，allow_redirects=False

requests-toolsbelt

表单提交 fields={"键1"："值1","键2"："值2"}

多个文件参数名重复，使用list类型

注意:fields= 可不用写

from requests_boolbelt import MultipartEncoder

import requests

s=requests.session()

m=MultipartEncoder(

fields=[

("名1",("文件名",open("文件名","rb"),"image/jpeg")), #附件

("名1",("文件名1",open("文件名1","rb"),"image/jpeg")), #附件1

(“名2”,"值3"),

])

s.post(url,data=m,headers={'Content-Type':m.content_type})

elapsed

从发送请求的第一个字节到完成对头的解析所用的时间。

获取响应时间 r.elapsed.total_seconds()

timeout超时

requests发请求的时候有个默认的超时时间，这个时间在20秒左右

timeout=1。超过1s，就会抛出异常。

失败重试 max_retries

Requests自带一个传输适配器，也就是HTTPAdapter

每当Session被初始化，就会有适配器附着在Session上，其中一个供HTTP使用，另一个供HTTPS使用。

from requests.adapters import HTTPAdapter

s=requests.session()

s.mount('http://',HTTPAdapter(max_retries=3))#重试3次

s.mount('https://',HTTPAdapter(max_retries=3))

上传文件时自动判断文件类型(filetype)

如下，由文件路径，得到上传附件的部分参数

import filetype

import os

rp="D:\\ch.jpg"

t=filetype.guess(rp).mime

print(t)

pname=os.path.split(rp)[1]

#post请求files参数值的部分内容

print('("{}",open("{}","rb"),"{}")'.format(pname,rp,t))

运行结果