背景

一般我们进行网络资源的爬取操作时，通常需要把浏览器中的request header的内容复制出来，放在脚本中进行操作。

通常我们是手动在每个key和value的两边都加上''，但是这种方法比较麻烦，且比较耗时，以下为输入一段浏览器header内容字符串，自动格式化为字典类型的方法。

代码实现

def get_headers(input_headers_string):'''自动格式化爬虫浏览器请求头参数，输入一个从浏览器中复制过来的请求头，自动转换为字典格式内容，一键粘贴为headers即可:param input_headers_string:str，从浏览器中复制过来的请求头,例如：    headers = """Host: zhan.qq.comProxy-Connection: keep-aliveContent-Length: 799432Pragma: no-cacheCache-Control: no-cache""":return:'''# 使用三引号将浏览器复制出来的requests headers参数赋值给一个变量headers =str(input_headers_string)# 去除参数头尾的空格并按换行符分割headers = headers.strip().split('\n')# 使用字典生成式将参数切片重组，并去掉空格，处理带协议头中的://headers = {x.split(':')[0].strip(): ("".join(x.split(':')[1:])).strip().replace('//', "://") for x in headers}# 使用json模块将字典转化成json格式打印出来return_headers=json.dumps(headers, indent=1)print('headers={}'.format(return_headers))return

代码调用

if __name__ == '__main__':headers = """
accept-encoding: gzip, deflate, br
accept-language: zh-CN,zh;q=0.9
content-length: 14
content-type: application/x-www-form-urlencoded; charset=UTF-8
origin: https://www.2ppt.com
referer: https://www.2ppt.com/so/1.html
sec-ch-ua: " Not A;Brand";v="99", "Chromium";v="96", "Google Chrome";v="96"
sec-ch-ua-mobile: ?0
sec-ch-ua-platform: "Windows"
sec-fetch-dest: empty
sec-fetch-mode: cors
sec-fetch-site: same-origin
user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36
x-requested-with: XMLHttpRequest"""get_headers(headers)

运行结果

headers={"accept-encoding": "gzip, deflate, br","accept-language": "zh-CN,zh;q=0.9","content-length": "14","content-type": "application/x-www-form-urlencoded; charset=UTF-8","origin": "https://www.2ppt.com","referer": "https://www.2ppt.com/so/1.html","sec-ch-ua": "\" Not A;Brand\";v=\"99\", \"Chromium\";v=\"96\", \"Google Chrome\";v=\"96\"","sec-ch-ua-mobile": "?0","sec-ch-ua-platform": "\"Windows\"","sec-fetch-dest": "empty","sec-fetch-mode": "cors","sec-fetch-site": "same-origin","user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36","x-requested-with": "XMLHttpRequest"
}

爬虫工具|输入浏览器header内容字符串，自动格式化为字典类型相关推荐

html手机号输入框,手机号输入框自动格式化为344
写在前面相信大家已经看过某些手机号的输入框在输入的时候,手机号是3 4 4格式,即输入一个手机号时,会隔成 159 8888 3333 这样的输入框.笔者也实现了一个这样的组件,这个组件的特点是: ...
sscanf，sscanf_s及其相关用法(字符串格式化为其他类型)
#include<stdio.h> 定义函数 int sscanf (const char *str,const char * format,........); 函数说明 sscan ...
js将字符串 YYMMDDHHmmss 转化为 date类型
微信支付的回调参数time_end为日期字符串. 需求:将20190523101156转化为转换为Date日期格式Thu May 23 2019 10:11:56 GMT+0800 (中国标准时间) ...
排名前20的网页爬虫工具，超多干货
网络爬虫在许多领域都有广泛的应用,它的目标是从网站获取新的数据,并加以存储以方便访问.而网络爬虫工具越来越为人们所熟知,因为它能简化并自动化整个爬虫过程,使每个人都可以轻松访问网络数据资源. 1. O ...
Python程序员都在用的20个网页爬虫工具
网络爬虫在许多领域都有广泛的应用,它的目标是从网站获取新的数据,并加以存储以方便访问.而网络爬虫工具越来越为人们所熟知,因为它能简化并自动化整个爬虫过程,使每个人都可以轻松访问网络数据资源. 1. O ...
菜鸟教程python3在线工具_3个非常实用的Python爬虫工具,你会几个？
Xpath Helper 是一个面向 Xpath 初学者的 Google Chrome 插件.相对于人工找 Xpath 语法,Xpath Helper 可以实现自动分析.只要你打开一个网页,然后点击任 ...
怎么用python做一个解压缩小工具，以后再也不用下载各种格式的解压缩软件了...
经常由于各种压缩格式的不一样用到文件的解压缩时就需要下载不同的解压缩工具去处理不同的文件,以至于桌面上的压缩工具就有三四种,于是使用python做了一个包含各种常见格式的文件解压缩的小工具. 阅读全文 ...
json字符串和字典类型的相互转换（转载）
转自:http://www.cnblogs.com/YUTOUYUWEI/p/5585863.html 在开发过程中,有时候需要将json字符串转为字典类型,反之亦然,通常采用.Net的开源类库New ...
vba 删除添加checkbox_如何设置EXCEL输入内容后自动添加边框？
在Excel中我们经常需要对输入的表格内容添加边框,一般的操作步骤是,先输入内容,再设置边框.但这样的问题在于,如果我们下次还要继续输入内容,还要再次添加边框,如果删除内容,还要手动去除边框. 那有没 ...

爬虫工具|输入浏览器header内容字符串，自动格式化为字典类型

背景

代码实现

代码调用

运行结果

爬虫工具|输入浏览器header内容字符串，自动格式化为字典类型相关推荐

最新文章

热门文章