浏览器请求头 request headers转换为字典小工具

功能说明：
在我们进行爬虫的时候，经常需要在浏览器上copy请求头，粘贴到我们的请求头上模拟访问，但是得转化为字典，所以这里用正则简单处理复制下来的文本字符串，自动的转化为字典。
首先把复制下来的请求头放在转换.txt下

Accept: */*
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9
Connection: keep-alive
Content-Length: 308
Content-Type: application/x-www-form-urlencoded; charset=UTF-8
Cookie: BIDUPSID=EAAEC44F956EC0051F3EB986A600267F; PSTM=1618841564; __yjs_duid=1_fc17df5ce48c903e96c35412849fa9c21618841573172; REALTIME_TRANS_SWITCH=1; FANYI_WORD_SWITCH=1; HISTORY_SWITCH=1; SOUND_SPD_SWITCH=1; SOUND_PREFER_SWITCH=1; BAIDUID=58E797C56B56EEAA4E183F111062945A:FG=1; BDORZ=FFFB88E999055A3F8A630C64834BD6D0; BDSFRCVID=9WFOJeC62in8FrOemwHyhfDYr5-hmKbTH6aoKDwU8Z-tNrQ3mKEQEG0Psx8g0K4bNocCogKKL2OTHmuF_2uxOjjg8UtVJeC6EG0Ptf8g0f5; H_BDCLCKID_SF=JRA8oKPXJKvhDRTvhCcjh-FSMgTBKI62aKDsKb_MBhcqEIL4Lpb1KjtubfcubhJ35enkQDocWp6SjxbSj4QohqFWhaO0LfRuQ6cbVxjNJp5nhMJIb67JDMP0qJ7j0-5y523i2IovQpnVfqQ3DRoWXPIqbN7P-p5Z5mAqKl0MLPbtbb0xXj_0D6byDGK8t5LsaCkXBbjOMRj_hILGq4b_eTFiQ4nZKxtqtD5XVpQ-Bb5VfpnwM-jUWJj0qf7LB-jnWncKWhvgbMKWo66mXR5GDPuUQJQ405OT-5-O0KJcJnoFDnOJhPJvyU7XXnO72RQlXbrtXp7_2J0WStbKy4oTjxL1Db3JKjvMtIFtVJO-KKChhC-xjxK; BDSFRCVID_BFESS=9WFOJeC62in8FrOemwHyhfDYr5-hmKbTH6aoKDwU8Z-tNrQ3mKEQEG0Psx8g0K4bNocCogKKL2OTHmuF_2uxOjjg8UtVJeC6EG0Ptf8g0f5; H_BDCLCKID_SF_BFESS=JRA8oKPXJKvhDRTvhCcjh-FSMgTBKI62aKDsKb_MBhcqEIL4Lpb1KjtubfcubhJ35enkQDocWp6SjxbSj4QohqFWhaO0LfRuQ6cbVxjNJp5nhMJIb67JDMP0qJ7j0-5y523i2IovQpnVfqQ3DRoWXPIqbN7P-p5Z5mAqKl0MLPbtbb0xXj_0D6byDGK8t5LsaCkXBbjOMRj_hILGq4b_eTFiQ4nZKxtqtD5XVpQ-Bb5VfpnwM-jUWJj0qf7LB-jnWncKWhvgbMKWo66mXR5GDPuUQJQ405OT-5-O0KJcJnoFDnOJhPJvyU7XXnO72RQlXbrtXp7_2J0WStbKy4oTjxL1Db3JKjvMtIFtVJO-KKChhC-xjxK; MCITY=-224%3A; H_PS_PSSID=31254_26350; Hm_lvt_64ecd82404c51e03dc91cb9e8c025574=1621132314,1621482169,1621561297,1621863154; ZD_ENTRY=baidu; delPer=0; PSINO=3; BDRCVFR[IuwK-wiJ3L3]=K7PavkeTFPTUAN8ULuEQhPEUi4WU6; __yjs_st=2_NTA0ZTY2YWRhOWZlYzFhYjhlMjVlYjhkODFhYzZjN2Q1OTg2MzU3OTU3Zjc0MGZhZDUzZWM5MzJmMWE4NjVmNjFiZTJlM2Y1NTYyNTk4M2VhZTM4YmQxMjE1MjdkZDM0MjAzMjlhOWViZTY5MTBhZDA5ODNmYTRhMjhjM2MxZmM5ODgyOTlhOThlMGY4N2RiZTQyMzFjOGI4ZmRjMGNkMzA4ZWEyNTFkNDNiZjJkY2E0N2U5NGRhZTExYTcwZWM5ZGVlMzEyYjE1OGQ1MDUzZTI2MDZiMWFkNzhhNzEwYzUzZDAxODFmOGRmYjA0MGExY2Q5ZTY1N2IyZDA0ODA5Yl83XzM4ZjBkMDA1; ab_sr=1.0.0_MWM4ZjQxMGUwZDg3NjNhNGQ3MDQwMTkyYWRmMzdlODM2NTA1ODRmZjI3M2ZjMDZjYmY5ODUwYzU5MGNkMDBiOWExMmExYWFlNDViMmRiZmViMGFmY2NjYWQ0ZjU3ZGQ1; Hm_lpvt_64ecd82404c51e03dc91cb9e8c025574=1621941504
Host: fanyi.baidu.com
Origin: https://fanyi.baidu.com
Referer: https://fanyi.baidu.com/?aldtype=16047
Sec-Fetch-Dest: empty
Sec-Fetch-Mode: cors
Sec-Fetch-Site: same-origin
User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36 SLBrowser/7.0.0.4071 SLBChan/15
X-Requested-With: XMLHttpRequest

然后再运行转换.py文件

import redir_requests={}
with open("转换.txt","r",encoding="utf8") as F:while True:dir_lin=re.match(r'.*',F.readline()).group()print(dir_lin)dir_list=list(dir_lin.split(":"))try:dir_requests.update({dir_list[0].strip():dir_list[1].strip()})except:breakprint(dir_requests)
import os# os.makedirs(r"C:\Users\Windows_pycharm\AppData\Local\pyppeteer\pyppeteer\local-chromium\575458\chrome-win32")

注意转换.txt与转换.py文件在同一目录下，当然也可以自己改一下，转换为字典后，可能不需要某些请求参数，那么我们按需要去按键拿值就ok了

浏览器请求头 request headers转换为字典小工具相关推荐

请求头(request headers)和响应头(response headers)解析
原文地址:https://www.cnblogs.com/fighter007/p/8445435.html HTTP 中文开发手册:http://www.php.cn/manual/view/355 ...
微信小程序websocket请求头provisional headers are shown
在开发微信小程序时,用到wx.request请求后台数据,同时也用到了wx.connectSocket与后台进行websocket连接,由于处于开发阶段,没有域名,没有证书,开发环境选择不校验合法域名 ...
python访问网站添加请求头_Python headers请求头如何实现快速添加
1.为什么要设置headers?J1Q免费资源网在请求网页爬取的时候,输出的text信息中会出现抱歉,无法访问等字眼,这就是禁止爬取,需要通过反爬机制去解决这个问题.J1Q免费资源网 headers ...
杂谈——常用的浏览器请求头User - Agent大全
欢迎关注WX公众号:[程序员管小亮] 如果急需使用的话,直接用目录调到后面即可:如果不是急需使用的话,可以看看基础. 目录欢迎关注WX公众号:[程序员管小亮] 一.基础二.代码三.第三方库参考 ...
python伪造浏览器请求头_python浏览器伪装
https://www.jb51.net/article/139587.htm python爬虫浏览器伪装 1. #导入urllib.request模块 import urllib.request # ...
python伪造浏览器请求头_Python3 伪装浏览器的方法示例
一.伪装浏览器对于一些需要登录的网站,如果不是从浏览器发出的请求,则得不到响应.所以,我们需要将爬虫程序发出的请求伪装成浏览器正规军. 具体实现:自定义网页请求报头. 二.使用Fiddler查看请求 ...
认识浏览器请求头User-Agent
一.定义 User Agent中文名为用户代理,是Http协议中的一部分,属于头域的组成部分,User Agent也简称UA. 它是一个特殊字符串头,是一种向访问网站提供你所使用的浏览器类型及版本.操 ...
fetch jsonp连接mysql_fetch跨域浏览器请求头待研究
git bash操作 1. GIT说明 1> git是分布式,或者说是去中心化的.表现为: 开发者的可以在本地使用git并完美的控制自己的版本,而无需与服务端交互: 开发者可以将本地库在某个服务 ...
pdf转换为word小工具，挺好
这个工具不错啊,曾经我一直想找一个pdf转换为word的,但是一直不怎么合心意.感觉转换的格式都不是非常好,但是这个工具转换出来的东西和原来的pdf差点儿相同.是个好东西. 链接下载链接只是要注冊 ...
转换为json小工具
将&连接的键值转换为json格式(常用于爬虫) "a=1&b=2&c=3" 转化为 { "a": "1", &quo ...

浏览器请求头 request headers转换为字典小工具

浏览器请求头 request headers转换为字典小工具相关推荐

最新文章

热门文章