python绘制蚊香形_Python requests发送post请求的一些疑点
前言
在Python爬虫中,使用requests发送请求,访问指定网站,是常见的做法。一般是发送GET请求或者POST请求,对于GET请求没有什么好说的,而发送POST请求,有很多朋友不是很清楚,主要是因为容易混淆 POST提交的方式 。今天在微信交流群里,就有朋友遇到了这种问题,特地讲解一下。
在HTTP协议中,post提交的数据必须放在消息主体中,但是协议中并没有规定必须使用什么编码方式,从而导致了 提交方式 的不同。服务端根据请求头中的 Content-Type 字段来获知请求中的消息主体是用何种方式进行编码,再对消息主体进行解析。具体的编码方式包括如下:
application/x-www-form-urlencoded:以form表单形式提交数据,最常见也是大家最熟悉的
application/json :以json串提交数据。
下面使用requests来发送上述三种编码的POST请求。
1.提交Form表单
requests提交Form表单,一般存在于网站的登录,用来提交用户名和密码。以http://httpbin.org/post 为例,在requests中,以form表单形式发送post请求,只需要将请求的参数构造成一个字典,然后传给requests.post()的data参数即可。代码如下:
url = 'http://httpbin.org/post'
d = {'key1': 'value1','key2': 'value2'}
r = requests.post(url,data=d)
print r.text
输出效果如下:
{
"args":{},
"data":"",
"files":{},
"form":{"key1":"value1","key2":"value2"},
"headers":{"Accept":"*/*","Accept-Encoding":"gzip,deflate",
"Connection":"close",
"Content-Length":"23",
"Content-Type":"application/x-www-form-urlencoded",
"Host":"httpbin.org",
"User-Agent":"python-requests/2.12.3"},
"json":null,
"origin":"113.140.11.122",
"url":
httpbin.org网站可以显示你提交请求的内容,大家注意一下输出的"Content-Type":"application/x-www-form-urlencoded",证明这是提交Form的方式。大家在登录一个网站时,可以观察一下Content-Type是什么。
2.提交json串
对于提交json串,主要是用于发送ajax请求中,动态加载数据。以拼多多网站为例,加载商品的方式为ajax,商品的内容在响应中。
下面把请求头和请求实体列举一下:
一些初学者根据请求头写爬虫,就会犯requests的使用错误。
错误写法
import requests
__author__ = 'qiye'
__date__ = '2018/5/19 21:59'
url = "http://jinbao.pinduoduo.com/network/api/common/goodsList"
data ={"pageSize":60,"pageNumber":1,"withCoupon":0,"sortType":0}
headers = {
'Content-Type':'application/json; charset=UTF-8','Host':'jinbao.pinduoduo.com','Origin':'http://jinbao.pinduoduo.com','Referer':'http://jinbao.pinduoduo.com/','User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/66.0.3359.181 Mobile Safari/537.36','Accept': 'application/json,text/javascript,*/*; q=0.01',}
r = requests.post(url=url,data =data,headers=headers)
print(r.text)
打印的内容如下:
{"success":false,"errorCode":4000000,"errorMsg":"System Error","result":null}
返回出错了,这时候百思不得其解,请求头我都保持一致了呀,'Content-Type':'application/json; charset=UTF-8'都加上了,为什么会出错呀?
答案在于,你的请求实体的格式错了,服务端无法解码。
正确写法1
正确代码是把data进行json编码,再发送。代码如下:
r = requests.post(url=url,data =json.dumps(data),headers=headers)
这个时候再看一下打印内容,已经正确返回商品内容了。
{"success":true,"errorCode":1000000,"errorMsg":null,"result":{"total":2271278,"goodsList":[{"goodsId":998422995,"goodsName":"【4液+1器】皎洁电热蚊香液 孕妇宝宝驱蚊儿童婴无味防蚊液体","goodsImageUrl":"http://t11img.yangkeduo.com/images/2018-04-12/0292b5e75053dfa748b9762d3f3e74ef.jpeg","soldQuantity":175,"minGroupPrice":24890,"categoryId":4,"categoryName":"母婴","hasCoupon":true,"couponMinOrderAmount":5000,"couponDiscount":5000,"couponTotalQuantity":5000,"couponRemainQuantity":3940,"couponStartTime":1526572800,"couponEndTime":1527782399,"promotionRate":280},
...
正确写法2
处理将data主动编码为json发送之外,requests还提供了一个json参数,自动使用json方式发送,而且在请求头中也不用显示声明'Content-Type':'application/json; charset=UTF-8'。完整代码如下:
import requests
__author__ = 'qiye'
__date__ = '2018/5/19 21:59'
url = "http://jinbao.pinduoduo.com/network/api/common/goodsList"
data ={"pageSize":60,"sortType":0}
headers = {
'Host':'jinbao.pinduoduo.com',json =data,headers=headers)
print(r.text)
3.上传文件
上传文件在爬虫中使用的很少,不过还是使用requests讲解一下使用方式。Content-Type类型为multipart/form-data,以multipart形式发送post请求,只需将一文件传给requests.post()的files参数即可。还是以http://httpbin.org/post 为例,代码如下:
url = 'http://httpbin.org/post'
files = {'file': open('upload.txt','rb')}
r = requests.post(url,files=files)
print(r.text)
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持编程小技巧。
python绘制蚊香形_Python requests发送post请求的一些疑点相关推荐
- python绘制蚊香形_python之turtle画蚊香
原理:利用turtle绘制圆形,并使圆半径逐步增加 代码如下: import turtle turtle.pensize(30) for i in range(30): turtle.circle(i ...
- requests发送post请求的一些疑点
requests发送post请求的一些疑点 前言 在Python爬虫中,使用requests发送请求,访问指定网站,是常见的做法.一般是发送GET请求或者POST请求,对于GET请求没有什么好说的,而 ...
- python+pytest接口自动化(5)-requests发送post请求
[文章末尾给大家留下了大量的福利] 简介 在HTTP协议中,与get请求把请求参数直接放在url中不同,post请求的请求数据需通过消息主体(request body)中传递. 且协议中并没有规定po ...
- 用python绘制心形_python小趣味_520绘制一个心形.
#!/usr/bin/env python#coding:utf-8 importturtleimporttime#画爱心的顶部 defLittleHeart():for i in range(200 ...
- 用python绘制心形_python绘制心形图像-Go语言中文社区
一.打印心形 print('n'.join([''.join([('Lovezhuzhu'[(x-y)%8]if((x*0.05)**2+(y*0.1)**2-1)**3-(x*0.05)**2*(y ...
- python post请求实例_Python使用requests发送POST请求实例代码
本文研究的主要是Python使用requests发送POST请求的相关内容,具体介绍如下. 一个http请求包括三个部分,为别为请求行,请求报头,消息主体,类似以下这样: 请求行 请求报头 消息主体 ...
- python合成心形_python如何绘制心形
python绘制心形的方法:利用matplotlib和numpy画心形,代码为[init = np.arange(-np.pi, np.pi, 0.001);plt.fill_between(x, y ...
- python爬虫今日头条_python爬虫—分析Ajax请求对json文件爬取今日头条街拍美图
python爬虫-分析Ajax请求对json文件爬取今日头条街拍美图 前言 本次抓取目标是今日头条的街拍美图,爬取完成之后,将每组图片下载到本地并保存到不同文件夹下.下面通过抓取今日头条街拍美图讲解一 ...
- python接口自动化(六)--发送get请求接口(详解)
简介 如果想用python做接口测试,我们首先有不得不了解和学习的模块.它就是第三方模块:Requests. 虽然Python内置的urllib模块,用于访问网络资源.但是,它用起来比较麻烦,而且,缺 ...
最新文章
- 安全服务如何为SD-WAN增值?—Vecloud
- 利用vue-resource模拟百度下拉列表
- linear-gradient与radial-gradient
- mysql 内存表使用教程_MySQL的内存表的基础学习教程
- [渝粤教育] 广东-国家-开放大学 21秋期末考试招投标与合同管理10217k2 (2)
- 19 CO配置-控制-产品成本控制-产品成本计划编制-定义日期控制
- SharePoint REST API - 一个请求批量操作
- python tcp实例_实现tcp的自动重连实例教程
- python编程100个小程序-【Python精华】100个Python练手小程序
- ISO50001认证咨询,ISO50001能源管理体系认证企业初次审核需要准备的材料
- vba set语句_零基础学VBA编程06:什么是变量?
- ENGLISH-英文进修
- c语言间接级别不同_间接寻址不同问题?求解决!
- win10系统IIS服务器配置详细教程,win10系统配置iis的操作方法
- 使用Hex view编写脚本生成特定格式刷写文件
- win7激活成功 但每次开机后又显示此windows副本不是正版的解决办法
- 服务器增加承载能力,关于服务器承载能力(并发数/CPU100%)
- 题目内容: 你的程序要读入一个整数,范围是[-100000,100000]。然后,用汉语拼音将这个整数的每一位输出出来。 如输入1234,则输出: yi er san si 注意,每个字的拼音之间有一
- 蜂窝物联网通信技术的演进,有人竟然用“谈恋爱”的过程给讲明白了
- 解决win10系统搜索框无法使用