爬虫中requests模块中session的实战应用

本文以学习通为例，来实际应用session（没有学习通的小伙伴可以自己去找一个登录页面，但要尽量找一个表单数据（下面提到了）没有变化的来实验，因为简单）

1.首先我们新建隐身窗口（无痕模式）进入学习通登录页面的网址：

2.开始抓包，输入账号密码登录进入

3.在所抓的包中找到fanyalogin包

4.找到其中的User-Agent记录下来，headers中会用到。

5.同时记录下该包的表单数据（如下图）：

6.重复上述1 2 3 5步骤，对比两次记录的表单数据有哪些是不同的，由此可以看出两次的数据一致（马赛克部分为你的账号密码），数据一致证明数据为固定值（账号密码为输入值），可以直接放入data中构建data字典。

7.把该包的网址记录下来作为登录url，同时可以在该包中看到请求类型为post类型。

8.在登录成功的页面找到账号管理点击进入，并记录下其网址作为验证url，登录成功其title为：

账号管理---xx大学安全教育平台，若打开一个新页面，输入网址，则其title为：用户登录。

下面直接上代码：

import requestsdef login():session = requests.session()session.headers = {'User-Agent': '改为你的user-agent'}# 登录urlurl = 'https://passport2.chaoxing.com/fanyalogin'data = {'fid': '129838','uname': '改为你的账号','password': '改为你的密码','refer': 'http%3A%2F%2Fysdxaqjy.aqjy.chaoxing.com','t': 'true'}session.post(url, data=data)# 验证url2url2 = 'http://i.mooc.chaoxing.com/settings/info?t=1637052365105'response = session.get(url2)with open('xxt.html', 'wb')as f:f.write(response.content)if __name__ == '__main__':login()

结果：

通过结果可以看到，登录成功了。以上就是session：状态保持的实战应用。

爬虫中requests模块中session的实战应用相关推荐

爬虫之requests模块中cookies参数的使用
爬虫之requests模块中cookies参数的使用上一篇文章在headers参数中携带cookie,也可以使用专门的cookies参数 cookies参数的形式:字典 cookies = {&qu ...
爬虫之requests模块在headers参数中携带cookie发送请求
爬虫之requests模块在headers参数中携带cookie发送请求网站经常利用请求头中的Cookie字段来做用户访问状态的保持,那么我们可以在headers参数中添加Cookie,模拟普通用户 ...
python 爬虫 requests模块中的Cookies 验证通过验证cookies模拟登陆豆瓣登陆
在爬取某些数据时,需要进行网页的登陆,才可以进行数据的抓取工作.Cookies登陆就像很多网页中的自动登陆功能一样,可以让用户第二次登陆时不在需要验证账号和密码的情况下进行登陆.在requests模块 ...
爬虫之lxml模块中etree.tostring函数的使用
爬虫之lxml模块中etree.tostring函数的使用运行下边的代码,观察对比html的原字符串和打印输出的结果 from lxml import etree html_str = ''' &l ...
关于python中requests模块导入问题-python中requests模块的使用方法
本文实例讲述了python中requests模块的使用方法.分享给大家供大家参考.具体分析如下: 在HTTP相关处理中使用python是不必要的麻烦,这包括urllib2模块以巨大的复杂性代价获取综合 ...
python的requests模块功能_python中requests模块的使用方法
本文实例讲述了python中requests模块的使用方法.分享给大家供大家参考.具体分析如下: 在HTTP相关处理中使用python是不必要的麻烦,这包括urllib2模块以巨大的复杂性代价获取综合 ...
python模块的使用方法_python中requests模块的使用方法
本文实例讲述了python中requests模块的使用方法.分享给大家供大家参考.具体分析如下: 在HTTP相关处理中使用python是不必要的麻烦,这包括urllib2模块以巨大的复杂性代价获取综合 ...
python如何导入requests模块_浅谈python中requests模块导入的问题
浅谈python中requests模块导入的问题今天使用Pycharm来抓取网页图片时候,要导入requests模块,但是在pycharm中import requests 时候报错. 原因: pyt ...
python requests_Python爬虫之requests模块
# requests模块知识点: 掌握 headers参数的使用掌握发送带参数的请求掌握 headers中携带cookie 掌握 cookies参数的使用掌握 cookieJar的转换方法 ...

爬虫中requests模块中session的实战应用

爬虫中requests模块中session的实战应用相关推荐

最新文章

热门文章