python爬虫记一次cookie翻车

起因

用requests 请求天眼查 https://www.tianyancha.com/company/3095761828
我已经登录了,cookie中有东西
cookiestr2dict是我写的一个将cookie字符串直接转变为字典的函数

def cookiestr2dict(cookiestr):l = {}res = cookiestr.split("; ")for kv in res:m, n = kv.split("=", maxsplit=1)l[m] = nr = {}return r

问题也就出在这里,加上这个cookie之后,就报错了,什么编码问题
那么是什么原因呢?
cookie中不能有中文!!
所以,我们需要先url encoding一下
吐槽一下,requests库居然没有这个功能,感觉封装过度了,按理说这么有用的功能

from urllib.parse import quote
print(quote('/a=b c?'))  # 不能 编码  /
print(quote('/a=b c?',safe=""))  # 能 编码  /

然后将cookie中的中文url encoding一下就好了

完结撒花

urlencoding
cookie中文

python爬虫记一次cookie翻车相关推荐

python爬虫 - Urllib库及cookie的使用
lz提示一点,python3中urllib包括了py2中的urllib+urllib2.[python2和python3的区别.转换及共存 - urllib] 怎样扒网页? 其实就是根据URL来获取它 ...
Python爬虫入门六之Cookie的使用
大家好哈,上一节我们研究了一下爬虫的异常处理问题,那么接下来我们一起来看一下Cookie的使用. 为什么要使用Cookie呢? Cookie,指某些网站为了辨别用户身份.进行session跟踪而储存在 ...
Python爬虫--人人网模拟登录cookie（四）
文章目录模拟登录一.人人网模拟登录 1.1 验证码识别 1.2 发送post请求 1.3 模拟登录cooki操作 1.4 cookie 1. 手动cookie处理 2. 自动处理二.代理讲解总 ...
初探python爬虫（三）——cookie和session
##什么是cookie http请求是无状态的请求协议不会记住用户的状态和信息也不清楚你在者这之前的访问过什么因为网站需要记录用户是否登录时, 就需要在用户登录后创建一些信息并且要把这些信息记 ...
python爬虫（四）cookie模拟登录和反反爬案例
处理不被信任证书的网站 SSL证书:数字证书的一种,配置在服务器上面的,类似于驾驶证.护照和营业执照的电子副本.因为配置在服务器上,也称为SSL服务器证书. SSL证书的特点:遵循了SSL协议,由收信 ...
python爬虫（4）--Cookie的使用
Cookie,指某些网站为了辨别用户身份.进行session跟踪而储存在用户本地终端上的数据(通常经过加密) 比如说有些网站需要登录后才能访问某个页面,在登录之前,你想抓取某个页面内容是不允许的.那么 ...
python爬虫百科-python爬虫百科
广告关闭腾讯云双11爆品提前享,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高满返5000元! 专业点来说就是应用多台机器同时实现爬虫任务,这多台机器上的爬虫,就是称作分布式爬虫 ...
python爬虫教程视频-python爬虫（入门教程、视频教程）
python的版本经过了python2.x和python3.x等版本,无论哪种版本,关于python爬虫相关的知识是融会贯通的,脚本之家关于爬虫这个方便整理过很多有价值的教程,小编通过本文章给大家做一 ...
Python爬虫实战（3）：计算大学本学期绩点
Python爬虫入门(1):综述 Python爬虫入门(2):爬虫基础了解 Python爬虫入门(3):Urllib库的基本使用 Python爬虫入门(4):Urllib库的高级用法 Python爬虫 ...
Python爬虫学习系列教程
大家好哈,我呢最近在学习Python爬虫,感觉非常有意思,真的让生活可以方便很多.学习过程中我把一些学习的笔记总结下来,还记录了一些自己实际写的一些小爬虫,在这里跟大家一同分享,希望对Python爬虫 ...

python爬虫记一次cookie翻车

起因

python爬虫记一次cookie翻车相关推荐

最新文章

热门文章