python 爬虫 requests模块中的Cookies 验证通过验证cookies模拟登陆豆瓣登陆

在爬取某些数据时，需要进行网页的登陆，才可以进行数据的抓取工作。Cookies登陆就像很多网页中的自动登陆功能一样，可以让用户第二次登陆时不在需要验证账号和密码的情况下进行登陆。在requests模块中实现Cookies登陆时，首先需要在浏览器的开发者工具中找到可以实现登陆的Cookies信息，然后将Cookies信息处理并添加至RequestsCookieJar的对象中，最后将RequestsCookieJar对象作为网络请求的Cookies参数发送网络请求即可。

登陆前F12打开开发者工具，然后点击登陆，在Network中点击Name为www.douban.com的标签，然后找到Request Headers 找到Cookie和Referer 把数据填写到代码响应的位置，然后执行如下代码：

import requests#导入网络请求模块
from lxml import etree#导入lxml模块
from requests.cookies import RequestsCookieJarcookies = 'bid=pjgLNxf4l58; gr_user_id=3810b31e-93ac-4218-8854-beb0a92270f3; _vwo_uuid_v2=D723216EF67BD847DE34C8293BBE9E476|580f3421ba24bf6f046142cfc8687e24; ll="118177"; __yadk_uid=QGASRU74csarwZMirNUKV2UKBsgYb1jE; douban-fav-remind=1; __utmv=30149280.21866; douban-profile-remind=1; __utmz=30149280.1606616223.6.3.utmcsr=baidu|utmccn=(organic)|utmcmd=organic; __gads=ID=ea2ae52b8181609a-22edd78d4cc200fc:T=1593688576:RT=1593688576:R:S=ALNI_MZie4Sb8bYIKcULjos76IVwiLehCA; _pk_ref.100001.8cb4=%5B%22%22%2C%22%22%2C1606700574%2C%22https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3DdebQUs80fHnuan4dSHOFIclPn6nRfmywWRzpgSnxoEQPNMcF4PvJpy6HRBbBsHonagTUyVIVFfQc2_fFDT25QK%26wd%3D%26eqid%3Dbb0850e80003e0bc000000055fc30448%22%5D; _pk_id.100001.8cb4=0f4e7ccad794e91b.1593688463.6.1606700574.1606616222.; _pk_ses.100001.8cb4=*; __utma=30149280.1002979081.1587122057.1606616223.1606700575.7; __utmc=30149280; __utmt=1; __utmb=30149280.1.10.1606700575; dbcl2="226532095:bJULCGInIN8"'#此处填写登陆后网页中的Cookies信息
headers = {'Host': 'www.douban.com','Referer': 'https://accounts.douban.com/','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36'
}
#创建requestsCookieJar对象，用于设置Cookies信息
cookies_jar = RequestsCookieJar()
for cookie in cookies.split(';'):key,value = cookie.split('=', 1)cookies_jar.set(key,value)#将Cookies保存requestsCookieJar当中
#发送网络请求
response = requests.get('http://www.douban.com/',headers=headers,cookies=cookies_jar)
if response.status_code==200:html = etree.HTML(response.text)#解析HTML代码#获取用户名name = html.xpath('//*[@id="db-global-nav"]/div/div[1]/ul/li[2]/a/span[1]/text()')print(name[0])#打印用户名

输出结果：
戴上微笑的帐号 #此处应该显示的是你登陆时候的账号的用户名

python 爬虫 requests模块中的Cookies 验证通过验证cookies模拟登陆豆瓣登陆相关推荐

Python爬虫---requests模块的基本使用
Python爬虫-requests模块的基本使用基础什么是爬虫? 就是通过编写程序模拟浏览器上网,然后让其去互联网上爬取数据的过程. 爬虫的分类通用爬虫抓取互联网中的一整张页面数据聚焦爬虫 ...
Python爬虫 — requests模块(1)
Requests 唯一的一个非转基因的 Python HTTP 库,人类可以安全享用. 警告:非专业使用其他 HTTP 库会导致危险的副作用,包括:安全缺陷症.冗余代码症.重新发明轮子症.啃文档症.抑 ...
python爬虫requests模块
读书使人充实,讨论使人机智,笔记使人准确-.凡有所学,皆成性格. ---- (英国)培根文章目录简单的代码实现 requests.text与requests.content的区别通过对 resp ...
Python爬虫requests模块在线生成请求头
写爬虫的时候,请求头几乎是必写的,但是写起来有点繁琐,虽然不难,但是麻烦,所以这时候,一个自动生成请求头的方法就显得很重要了在线生成请求头 https://curlconverter.com/ 使用 ...
python怎么爬取Linux作业,Python爬虫之使用Fiddler+Postman+Python的requests模块爬取各国国旗...
介绍本篇博客将会介绍一个Python爬虫,用来爬取各个国家的国旗,主要的目标是为了展示如何在Python的requests模块中使用POST方法来爬取网页内容. 为了知道POST方法所需要传递的HT ...
Python爬虫之使用Fiddler+Postman+Python的requests模块爬取各国国旗
介绍本篇博客将会介绍一个Python爬虫,用来爬取各个国家的国旗,主要的目标是为了展示如何在Python的requests模块中使用POST方法来爬取网页内容. 为了知道POST方法所需要传 ...
爬虫之requests模块中cookies参数的使用
爬虫之requests模块中cookies参数的使用上一篇文章在headers参数中携带cookie,也可以使用专门的cookies参数 cookies参数的形式:字典 cookies = {&qu ...
数据采集与清洗基础习题（二）Python爬虫常用模块，头歌参考答案
数据采集习题参考答案,会持续更新,点个关注防丢失.为了方便查找,已按照头歌重新排版,朋友们按照头歌所属门类查找实训哦,该篇为Python爬虫常用模块. 创作不易,一键三连给博主一个支持呗. 文章目录 ...
【python】python爬虫requests库详解
1.安装:pip install requests 简介:Requests是一个优雅而简单的Python HTTP库,与之前的urllibPython的标准库相比,Requests的使用方式非常的简单 ...

python 爬虫 requests模块中的Cookies 验证通过验证cookies模拟登陆豆瓣登陆

python 爬虫 requests模块中的Cookies 验证通过验证cookies模拟登陆豆瓣登陆相关推荐

最新文章

热门文章

python 爬虫 requests模块 中的Cookies 验证 通过验证cookies模拟登陆豆瓣登陆

python 爬虫 requests模块 中的Cookies 验证 通过验证cookies模拟登陆豆瓣登陆相关推荐

最新文章

热门文章

python 爬虫 requests模块中的Cookies 验证通过验证cookies模拟登陆豆瓣登陆

python 爬虫 requests模块中的Cookies 验证通过验证cookies模拟登陆豆瓣登陆相关推荐