爬虫处理payload请求

在爬取网站的时候经常遇到post请求，对于一般的form_data参数的就很好处理，是不是遇到过下面的这种payload形式呢？

像这种payload类型的网站，需要由特定的处理方式处理。

处理方法：

import requests
import json
headers = {"Content-Type":"application/json;charset=UTF-8","User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 11_2_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36",
}
payload_data = {"token": "", "pn": 20, "rn": 20, "sdt": "", "edt": "", "inc_wd": "", "exc_wd": "", "fields": "title","cnum": "001", "sort": "{\"infodatepx\":\"0\"}", "ssort": "title", "cl": 200, "terminal": "","condition": [{"fieldName": "categorynum", "likeType": 2, "equal": "003004002"}], "time": [{"fieldName": "infodatepx", "startTime": "2021-01-07 00:00:00","endTime": "2021-04-07 23:59:59"}], "highlights": "title", "accuracy": "", "noParticiple": "1","isBusiness": "1"}
url = "http://jsggzy.jszwfw.gov.cn/inteligentsearch/rest/inteligentSearch/getFullTextData"
resp = requests.post(url,headers=headers,data=json.dumps(payload_data))

与form_data的不同点是用json.dumps封装了一下

需要注意的点：如果是json格式，要在headers里加上"Content-Type":"application/json;charset=UTF-8"

还有一种处理方法。将payload_data改写成"token=''\npn=20\nrn=20\nsd=" 这种形式，即参数之间加上\n，不需要json.dumps也能解决问题。

爬虫处理payload请求相关推荐

python requests form data_Python爬虫:Request Payload和Form Data的简单区别说明
Request Payload 和 Form Data 请求头上的参数差别在于: Content-Type Form Data Post表单请求代码示例 headers = { "Cont ...
爬虫进行request请求时User-Agent怎样写
场景在写爬虫进行request请求时,如果不能正常请求就要添加请求头. 常用的是修改User-Agent来伪装浏览器. 我们除了复制之外,这里可以参照一个库叫fake-useragent. 网址: ...
python爬虫今日头条_python爬虫—分析Ajax请求对json文件爬取今日头条街拍美图
python爬虫-分析Ajax请求对json文件爬取今日头条街拍美图前言本次抓取目标是今日头条的街拍美图,爬取完成之后,将每组图片下载到本地并保存到不同文件夹下.下面通过抓取今日头条街拍美图讲解一 ...
python header头部请求_python3爬虫怎样构建请求header
写一个爬虫首先就是学会设置请求头header,这样才可以伪装成浏览器.下面小编我就来给大家简单分析一下python3怎样构建一个爬虫的请求头header. 1.python3跟2有了细微差别,所以我们 ...
python伪造请求头x-forwarded-for的作用_Pyspider中给爬虫伪造随机请求头的实例
Pyspider 中采用了 tornado 库来做 http 请求,在请求过程中可以添加各种参数,例如请求链接超时时间,请求传输数据超时时间,请求头等等,但是根据pyspider的原始框架,给爬虫添加 ...
爬虫-发起post请求-稿件
目标发起一个post请求带上相关的参数例子代码 import requests, jsonurl = 'http://httpbin.org/post' data = {'key1': 'val ...
python网页请求超时_python爬虫多次请求超时的几种重试方法(6种)
第一种方法 headers = Dict() url = 'https://www.baidu.com' try: proxies = None response = requests.get(url ...
python爬虫怎么发布请求_http请求如何在python爬虫中实现？
最近我们会比较多的提到网页,因为这和python中的爬虫密切相关.当然,我们也会需要处理一些网页的请求.处理http的方法并不是单一的,学过urllib库的小伙伴好好思考下,其中有没有解决的办法呢?答 ...
一木.溪桥学爬虫-03：请求模块urllib、 urllib.request、urllib.parse.urlencode、urllib.parse.quote(str)、.unquote()
一木.溪桥在Logic Education跟Jerry学爬虫 07期:Python 爬虫一木.溪桥学爬虫-03:请求模块urllib. urllib.request.urllib.parse.ur ...

爬虫处理payload请求

爬虫处理payload请求相关推荐

最新文章

热门文章