错题集（已解决）：爬虫中碰到请求头header里有冒号‘:‘在key前面，直接调用requests报错valueError: Invalid header name b‘:authority‘

不说闲话直接入题：
碰到如下这样有冒号’:‘在前面的请求标头，如果直接在requests的headers参数里写冒号的话会报错

具体报错如下ValueError: Invalid header name b’:<你的header中带有冒号的key名>’：

原因是http2.0的应用（相关解释），在requests这个包中没有得到兼容，因此需要导入一个小帮手，在这里感谢这位大佬的文章

解决方案（使用hyper包）：

from hyper.contrib import HTTP20Adapter  # 帮助解析http2.0的帮手
import requestsurl = 'https://XXXXXXXXXX'
hdr = {':authority': 'api.xxxxxxxxxx.com', ':method': 'POST',':path': '/xxxx/result/list',':scheme': 'https','accept': 'application/json, text/plain, */*',
}  # 这里根据我们的目标网页填写相应的header，冒号直接原样保留
dts = {...}  # 这里根据我们的页面需要和请求类型发送datasessions = requests.session()            # 实例化一个可以定制的requests.session类
sessions.mount(url, HTTP20Adapter())    # 指定对http2.0中':'header的解码
res = sessions.post(url, headers=hdr, data=dts)  # 接下来与原有requests的使用方式一致，不再报错

成功

错题集（已解决）：爬虫中碰到请求头header里有冒号‘:‘在key前面，直接调用requests报错valueError: Invalid header name b‘:authority‘相关推荐

java 爬虫身份设定_Java爬虫中HttpClient请求头的设置
在做爬虫的时候发现如果不设置请求头的话,每次httpclient发起的请求都是响应移动端板式的,无法抓取响应的内容,后面查了一下才知道,需要重新设置请求头,让服务端误以为是某个真实浏览器发起的请求: ...
已解决（Python爬虫requests报错）requests.exceptions.ProxyError: HTTPSConnectionPool
成功解决(Python爬虫requests报错):requests.exceptions.ProxyError: HTTPSConnectionPool 文章目录报错信息报错翻译报错原因解决方 ...
c语言解三元一次方程组_七年级下学期《8.3 一元一次不等式组》2020年高频易错题集...
一．选择题(共10小题) 二．填空题(共5小题) 三．解答题(共5小题) 七年级下学期<8.5 一元一次不等式组>2020年高频易错题集参考答案与试题解析一．选择题(共10小题) [点 ...
阿里云ACP云计算错题集101-120
每天学一点阿里云ACP认证,这里是ACP错题集.温故而知新,从错题入手,可以更好理解出题点.难点. by zhengkai.blog.csdn.net 101.A公司基于阿里云服务构建了一套销售管理平 ...
阿里云ACP云计算错题集41-70
每天学一点阿里云ACP认证,这里是ACP错题集.by Moshow郑锴(大狼狗) zhengkai.blog.csdn.net 41.在使用阿里云弹性伸缩(Auto Scaling)时,伸缩组中包含的 ...
阿里云ACP云计算错题集121-140
每天学一点阿里云ACP认证,这里是ACP错题集.温故而知新,从错题入手,可以更好理解出题点.难点. by zhengkai.blog.csdn.net 121.当您发现无法将指定的阿里云的块存储挂载到 ...
PMP备考-错题集（第6版）
这是我自己备考过程中,记录的错题集. 1. [单选] 作为你们公司项目办公室的经理,你必须经常判定哪些项目应该得到额外的资源.你还要建议哪些项目应该启动.继续进行或取消.有利于你做出这些决策的一个方法 ...
《考研计算机专业基础综合考试解析配套1000题》错题集20155314刘子健
<考研计算机专业基础综合考试解析配套1000题>错题集 By20155314刘子健目录数据结构部分第一章线性表第二章栈.队列和数组第三章树与二叉树第四章图第五章查找 ...
计算错题集（有错误就加入错题集，持续更新）
VASP计算错题集万事开头难,学习第一性原理计算的一年中碰到了很多让我困惑的问题,在这里总结整理出来(随时更新),防止师弟师妹们陷入困惑,真的很让人头大,并且超级费时间,希望能帮助避雷!如果师弟 ...

错题集（已解决）：爬虫中碰到请求头header里有冒号‘:‘在key前面，直接调用requests报错valueError: Invalid header name b‘:authority‘

错题集（已解决）：爬虫中碰到请求头header里有冒号‘:‘在key前面，直接调用requests报错valueError: Invalid header name b‘:authority‘相关推荐

最新文章

热门文章