爬取武汉大学教务系统数据
#coding:utf-8
__author__ = 'zy'
import urllib2
import cookielib
import urllib
import requests
import re
import sys
'''模拟登录'''
CaptchaUrl = "http://210.42.121.241//servlet/GenImg"
PostUrl = "http://210.42.121.241/servlet/Login"
# 验证码地址和post地址
cookie = cookielib.CookieJar()
handler = urllib2.HTTPCookieProcessor(cookie)
opener = urllib2.build_opener(handler)
# 将cookies绑定到一个opener cookie由cookielib自动管理
username = '?'
password = '?'
# 用户名和密码
picture = opener.open(CaptchaUrl).read()
# 用openr访问验证码地址,获取cookie
local = open('e:/image.jpg', 'wb')
local.write(picture)
local.close()
# 保存验证码到本地
SecretCode = raw_input('输入验证码: ')
# 打开保存的验证码图片 输入
postData = {
'id': username,
'pwd': password,
'xdvfb': SecretCode,
}
# 根据抓包信息 构造表单
headers = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Accept-Encoding':'gzip, deflate',
'Accept-Language': 'zh-CN,zh;q=0.8,en;q=0.6',
'Cache-Control':'max-age=0',
'Connection': 'keep-alive',
'Content-Length':'64',
'Content-Type': 'application/x-www-form-urlencoded',
'Host':'210.42.121.241',
'Origin':'http://210.42.121.241',
'Cookie':cookie,
'Referer':'http://210.42.121.241/',
#'Upgrade-Insecure-Requests':1,
'User-Agent': 'User-Agent:Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.59 Safari/537.36',
}
# 根据抓包信息 构造headers
data = urllib.urlencode(postData)
# 生成post数据 ?key1=value1&key2=value2的形式
request = urllib2.Request(PostUrl, data, headers)
# 构造request请求
#try:
response = opener.open(request)
result = response.read().decode('gb2312')# 由于该网页是gb2312的编码,所以需要解码
print result# 打印登录后的页面
#except (urllib2.HTTPError),e:
# print e.code66
# 利用之前存有cookie的opener登录页面
爬取武汉大学教务系统数据相关推荐
- python爬去学校_python爬取学校教务系统
写这个爬虫的缘由 以前用java写过一个爬取学校的教务系统的爬虫 https://blog.csdn.net/ygdxt/article/details/81158321,最近痴迷Python爬虫,了 ...
- Python爬取URP教务系统课程表并保存到excel
Python爬取URP教务系统课程表并保存到excel 爬取URP教务系统课程表最终结果如图所示: 接下来开始操作: 首先打开教务系统->按F12->点击Network->刷新一下界 ...
- python学校_python爬取学校教务系统
写这个爬虫的缘由 以前用java写过一个爬取学校的教务系统的爬虫 https://blog.csdn.net/ygdxt/article/details/81158321,最近痴迷Python爬虫,了 ...
- 爬取正方教务系统课程表
被一个学长布置下的任务-有些地方可能不够完整- 思路: 首先你需要完成登录操作: (1) 首先根据教务系统网站的审查元素, 发现了一个验证码的网址:http://210.40.2.253:8888/( ...
- 爬取正方教务系统完成成绩查询
刚刚开始接触爬虫,在爬过起点中文网这种不要登陆的网页后转向教务系统这种需要登陆的网页,登录这个因为还有验证码,刚接触所以花费了很长时间,说到底其实就是把你的信息交给网站让它可以认得你的过程,而登录过后 ...
- java计算课程学分绩点_【Java爬虫】爬取南通大学教务系统成绩计算绩点
以前写过一个python版的,但是想做一个jsp网页版的,就又用Java有写了一下. 具体地址的分析过程在这里,这里简单说一下HttpCliet的Get,Post方法的使用 1.Get请求方法 //创 ...
- 爬取正方教务管理系统获取学生信息
新版正方教务系统请点这里:模拟登陆新版正方教务管理系统(获取学籍信息.课表和成绩) 最近想学点爬虫玩玩,拿学校的教务系统练练手.学校与很多高校一样,用的是正方教务管理系统,非常的不好用,经常出现登陆不 ...
- python爬取学校教务管理系统
写这个爬虫的缘由 以前用java写过一个爬取学校的教务系统的爬虫 https://blog.csdn.net/ygdxt/article/details/81158321,最近痴迷Python爬虫,了 ...
- go语言爬取新版正方教务系统数据
go语言爬取新版正方教务系统数据 学完go语言的基础之后已经过了一个多月了,开始想试着利用些时间写写博客,就打算将半个月前练着写的一个go爬虫小项目翻出来写写.由于之前对go爬虫的一些基础知识不熟悉, ...
- android之爬取正方教务管理系统获取信息
一.问题 由于项目需要,要做一个课程表,所以需要获取学校中的课程表数据. 二.方法 模拟浏览器一样向服务器发送数据和获取数据 需要工具:抓包工具fiddler4和解析HTTP代码的Jsoup 三.代码 ...
最新文章
- 面试官:谈谈你对 Spring AOP 的了解?请加上这些内容,绝对加分!
- 用初次训练的SVM+HOG分类器在负样本原图上检测HardExample
- mysql执行查询出来的数据_F#连接到在线MySQL数据库执行查询
- 添加gitignore文件后使其生效
- Tomcat 下 Memcached 集群与 Terracotta 集群比较
- 计算机维修与维护入门,计算机组装与维护基础知识
- [20180810]exadata--豆腐渣系统的保护神.txt
- python解acm题_python ACM ,持续更新中。。。。。。。。。。。。
- for循环提高内存访问效率的做法
- SQL 个人所学目录
- 服务器硬盘和台式机有什么区别,服务器和电脑主机有什么区别?
- python博弈论代码_博弈论的算法总结
- UE4 碰撞射线检测
- panabit策略路由
- Spring中关于IOC的详解
- Leet Code OJ 刷题顺序参考
- 设计一个抽象类图形类,在该类中包含有至少两个抽象方法求周长和求面积,分别定义圆形类、长方形类、正方形类、三角形类来继承图形类,并实现上述两个方法
- java使用axis2调用webservice接口实例
- Beosin(成都链安)双周报4月6日—4月19日
- 百度电子地图自定义marker图标