数据抓包(网络爬虫)-正方教务管理系统登录
本文是基于java EE6.0 + HttpClient + fiddler为基础的。
最近在学jsp,闲来无事,做点东西锻炼锻炼,也可以学习学习,想学习数据抓包。第一印象就是我们学校的正方教务管理系统,先拿它开涮。
好,我们现在进入正题,我这边是jsp的网页,所以jsp的环境配置我不说了,就着重讲一下这个抓包需要的工具吧:Fiddler(fiddler4_V4.4.9.9_setup.1425627999.exe_免费高速下载|百度网盘-分享无限制),当然我这里还有jsp用到的HttpClient-jar包(httpcomponents-client-4.5.2.rar_免费高速下载|百度网盘-分享无限制)。
我就简单说明一下我们抓包需要用的功能:
1、当访问记录过多时,如何清除访问记录。
2、如何管理监控的软件(默认浏览器是加入监控的,即浏览器访问Internet会被记录)
3、查看请求数据方式(1-鼠标拖拽请求网址,多用于GET请求)
4、查看请求数据方式(2-选择Inspectors,多用于POST请求)
了解了基本功能,我们现在去我们教务管理系统试试吧
首先,我们清空访问记录,访问一下我们学校,看看有什么结果(这里我是把cookie删除了访问的)。
我们获取到的cookie是:Set-Cookie: ASP.NET_SessionId=m5ys1p55i3ffk145s2u5twib; path=/
接着我们第二次访问
我们发现第二次的请求中的cookie正好是第一次(删除了cookie访问)接收的cookie,这对于我们理解登录过程是很有用的。
好的,接着我们尝试登录教务管理系统,登录成功后,我们看看什么样的数据包
我们看登录请求的头部信息:
似乎没有找到我们的用户名,密码,验证码信息,不着急,我们说过post提交的,我们可以通过webforms来查看:
我们发现了,原来登录教务管理系统是发送几个参数,配备一些请求信息来实现的,
但是关于这些参数,我们有几个疑问:这个
__VIEWSTATE |
dDwyODE2NTM0OTg7Oz5Xow52LfADXBpsau1uxa8+qTHKbQ== |
是什么意思?怎样获得?还有就是验证码的问题,怎么获取验证码?
带着这个问题,我们去看看我们教务管理系统首页的源代码:
好的,我们在源代码中找到了需要的__VIEWSTATE参数。
接下来是验证码,为了不拐弯抹角,我将自己吸取的教训直接转换为方法,教大家这个验证码的获取:
在教务管理系统首页的源代码中我们找到了验证码的获取网址,我们再去看fiddler中的这个网址:
在此说明我学习的成果:获取验证码是要带着cookie获取的,如果直接访问验证码图片网址可以获取到图片,但是没有任何作用,所以在模拟登录过程中一定要带着cookie一起访问,这个cookie就是登录时候用的cookie,你可以监视“点击看不清换一张”这个请求过程。
搞清楚登录原理之后我们就可以模拟登录过程了。
流程如下:
1、模拟访问(模拟无cookie的访问)首页的过程。
2、获取到响应的头部信息, 将获取到的cookie记录下来,后面会用到。获取源代码中的VIEWSTATE并且记录下来,后面也要用。
__VIEWSTATE |
dDwyODE2NTM0OTg7Oz5Xow52LfADXBpsau1uxa8+qTHKbQ== |
3、将获取到的cookie添加的新的请求头部,用于获取验证码,将验证码添加显示出来(后面会讲一个自动识别验证码的功能代码)。
4、将必要的参数封装到请求中,模拟登录请求。
完整工程的源代码(百度网盘:LoginSuse.rar_免费高速下载|百度网盘-分享无限制,CSDN怎么给我转成VIP资源了)
效果截图:
点击登录按钮之后
后面有时间再讲教大家获取课程表的信息,今天就到这儿了哈,有问题的可以联系我,我们一起探讨哈。
数据抓包(网络爬虫)-正方教务管理系统登录相关推荐
- 数据抓包(网络爬虫)-正方教务管理系统登录后获取自己的课程表
上次发的博客是:数据抓包(网络爬虫)-正方教务管理系统登录 好的,今天我们来抓自己的课程表数据,说实话,都会模拟登录了,抓个课程表的什么就不再话下了. 直接来步骤: 1.首先还是监视浏览器中得到自己课 ...
- 2020年最佳的5种社交媒体的数据抓取/网络爬虫工具
2020年最佳的5种社交媒体的数据抓取/网络爬虫工具 查看原文章: 2020年最佳的5种社交媒体的网络爬虫工具 社交媒体数据抓取工具通常是指一种自动化网络爬虫工具,可从社交媒体渠道提取数据.它不仅包括 ...
- 关于学校正方教务管理系统登录的分析
步骤 获得execution和`JSESSIONID 获得modulus和exponent和_pv0 利用modulus和exponent加密密码 请求POST登录并获得_pc0,_pf0,iPlan ...
- python爬虫登录正方教务管理系统获取成绩数据
本程序以四川理工学院教务管理系统为例.... 准备工作:1.ruquests库的使用(或者urllib也可行) 2.正则表达式的书写 3.HTTP通信基础 4.一些解析库的使用 准备一个浏览器监视工具 ...
- 「Python爬虫系列讲解」十四、基于开发者工具 Network 的数据抓包技术
本专栏是以杨秀璋老师爬虫著作<Python网络数据爬取及分析「从入门到精通」>为主线.个人学习理解为主要内容,以学习笔记形式编写的. 本专栏不光是自己的一个学习分享,也希望能给您普及一些关 ...
- Wireshark数据抓包分析(网络协议篇)1.2安装Wireshark
Wireshark数据抓包分析(网络协议篇)1.2安装Wireshark Wireshark(前称Ethereal)是一个网络包分析工具.该工具主要是用来捕获网络包,并显示包的详细情况.本节将分别介绍 ...
- Wireshark数据抓包分析(网络协议篇)第1章网络协议抓包概述
Wireshark数据抓包分析(网络协议篇)第1章网络协议抓包概述 网络协议是用于不同计算机之间进行网络通信的.网络协议是网络上所有设备(如网络服务器.计算机.交换机.路由器等)之间通信规则的集合,它 ...
- Wireshark数据抓包分析——网络协议篇
Wireshark数据抓包分析--网络协议篇 Wireshark是目前最受欢迎的抓包工具.它可以运行在Windows.Linux及MAC OS X操作系统中,并提供了友好的图形界面.同时,Wiresh ...
- iphone实用配置工具_Debookee for Mac(网络数据抓包及分析工具)
Debookee for Mac(网络数据抓包及分析工具)www.macw.com Debookee Mac破解版是MacOS上的一款非常不错的抓包软件,Debookee Mac破解版能够进行网络流 ...
最新文章
- 高通为何46亿美元ADAS Veoneer Arriver
- WiFi 802.11ax
- ansys流固耦合分析与工程实例模型文件_平板射流冲击流固耦合分析
- python tus股票数据分析_python 股票量化分析(一)---基于Tushare平台的个股历史行情获取...
- android 框架_推荐一个更贴近 android 场景的启动框架 | Anchors
- linux中特殊符号分割,Shell_Linux Shell 中实现字符串切割的几种方法
- MySQL复习(基本操作)
- java 并发原子性与易变性 来自thinking in java4 21.3.3
- 【云计算】Netflix 开源持续交付平台 Spinnaker
- Ubuntu 14.04 系统安装后无法上网的问题(eth0识别不出)
- android5.0百度地图,百度地图安卓版5.0.0 官方版
- java敏感词汇过滤工具类
- 应用软件与系统不兼容的解决办法,仅供参考
- 视频云服务是什么模式的服务,具体一般有哪些功能?
- 海绵宝宝的视频配音怎么制作?简单的小方法来帮忙
- STL和泛型编程_学习笔记01
- daimayuan每日一题#849 国家铁路
- UIP协议栈笔记·一
- 10GHz带宽/USB3.1芯片,AW3410S高速切换开关系列方案及产品介绍
- ES隔断时间会莫名其妙删除索引…………我头上一堆小朋友**喵喵机器人??还是病毒??
热门文章
- 机场生产运行数据统计指标-第一篇-总述
- 亲戚B (普通并查集)
- EVE-NG模拟器社区版网络模拟环境搭建教程
- 基于RFID的资产智能盘点及仓储管理云平台
- 路由器交换机软件测试,你真的懂集线器、交换机、路由器之间的区别吗?
- 【STM32】HAL库 SPI DMA UART驱动开发
- oppoa57升级android版本,OPPO A57刷机教程_OPPO A57升级更新官方系统包
- 门级仿真经验(SDF反标及其工作原理)
- Problem F: Matrix Problem (III) : Array Practice Time Limit: 1 Sec Memory Limit: 4 MB Submit: 8787
- 另一只眼看软件研发效能提升,软件研发效能的“人性”与“物性”